CadenasvDe Maokov-continuos

7/22/2019 CadenasvDe Maokov-continuos

1/44

Captulo 4

El proceso de Poisson

Estudiaremos en este y en el siguiente captulo el modelo de cadena de Markov atiempo continuo. Como una introduccion a la teora general que se expondra masadelante, en el presente captulo estudiaremos uno de los ejemplos mas importantesde este tipo de modelos: el proceso de Poisson. Definiremos este proceso de variasformas equivalentes, y estudiaremos algunas de sus propiedades y generalizaciones.El proceso de Poisson es un modelo relevante tanto en las aplicaciones como en lateora general de los procesos estocasticos.

4.1. Proceso de Poisson

0

Figura 4.1:

Suponga que un cierto evento ocurre repe-tidas veces de manera aleatoria a lo largodel tiempo como se muestra en la Figu-ra 4.1. Tal evento puede ser por ejemplola llegada de una reclamacion a una com-pana aseguradora, o la recepcion de unallamada a un conmutador, o la llegada de un cliente a una ventanilla para solicitaralgun servicio, o los momentos en que una cierta maquinaria requiere reparaci on,

etcetera. Suponga que las variables aleatorias T1, T2 . . . representan los tiemposque transcurren entre una ocurrencia del evento y la siguiente ocurrencia. Supongaque estos tiempos son independientes uno del otro, y que cada uno de ellos tienedistribucion exp(). Se define el proceso de Poisson al tiempo t como el numero

97


2/44

98 4.1. Proceso de Poisson

de ocurrencias del evento que se han observado hasta ese instante t. Esta es unadefinicion constructiva de este proceso y la formalizaremos a continuacion. Masadelante enunciaremos otras definiciones axiomaticas equivalentes de este mismoproceso.

Definicion. (I) Sea T1, T2, . . . una sucesion de variables aleatorias indepen-dientes cada una con distribucion exp(). El proceso de Poissonde parametroes el proceso a tiempo continuo {Xt : t 0} definido de la siguiente manera:

Xt = max {n 1 :T1+ +Tn t}.

Se postula ademas que el proceso inicia en cero y para ello se define m ax = 0.En palabras, la variableXt es el entero n maximo tal queT1+ + Tn es menor oigual at, y ello equivale a contar el numero de eventos ocurridos hasta el tiempo t.A este proceso se le llama proceso de Poisson homogeneo, tal adjetivo se refiere aque el parametro no cambia con el tiempo, es decir, es homogeneo en el tiempo.

1

2

3

t

Xt()

T1 T2 T3 T4

0 W1 W2 W3

Figura 4.2:

Una trayectoria tpica de este proce-so puede observarse en la Figura 4.2,la cual es no decreciente, constante

por pedazos, continua por la derechay con lmite por la izquierda. A lostiempos T1, T2, . . . se les llama tiem-pos de estancia, o tiempos de inter-arribo, y corresponden a los tiemposque transcurren entre un salto delproceso y el siguiente salto. Hemossupuesto que estos tiempos son in-dependientes y que todos tienen dis-tribucion exp(). En consecuencia, lavariable Wn= T1 + + Tntiene dis-tribucion gama(n, ). Esta variable representa el tiempo real en el que se observa laocurrencia del n-esimo evento. Observe la igualdad de eventos (Xt n) = (Wn t), esto equivale a decir que al tiempo t han ocurrido por lo menos n eventos si, ysolo si, el n-esimo evento ocurrio antes de t.

Una de las caractersticas sobresalientes de este proceso es que puede encontrarse


3/44

Captulo 4. El proceso de Poisson 99

explcitamente la distribucion de probabilidad de la variable Xt para cualquiervalor det. La respuesta es la distribucion Poisson, y es de all de donde el procesoadquiere su nombre.

Proposicion. La variable Xt tiene distribucion Poisson(t), es decir, paracualquiert >0, y para n = 0, 1, . . .

P(Xt= n) = et(t)

n

n! .

Demostracion. ComoWn tiene distribucion gama(n, ), su funcion de distribuciones, parat >0,

P(Wn t) = 1 et

n1k=0

(t)k

k! .

Entonces para cualquier t >0 y para cadan = 0, 1, . . .

P(Xt = n) = P(Xt n) P(Xt n+ 1)

= P(Wn t) P(Wn+1 t)

= et (t)k

k! .

Entonces, dado que Xt tiene una distribucion Poisson(t), se tiene que E(Xt) =t, y Var(Xt) = t. Por lo tanto t es el promedio de observaciones o registrosdel evento de interes en el intervalo [0, t]. As, mientras mayor es la longitud delintervalo de observacion, mayor es el promedio de observaciones realizadas, y mayortambien la incertidumbre del numero de observaciones.

Perdida de memoria y sus consecuencias.Una de las propiedades que ca-racterizan de manera unica a la distribucion exponencial dentro del conjunto de

distribuciones continuas es que satisface la propiedad de perdida de memoria, estoes, si T tiene distribucion exp(), entonces para cualesquiera tiempos s, t > 0 secumple la igualdad

P(T > t +s | T > s) = P(T > t).


4/44


En otras palabras, condicionada al evento (T > s), la variableT ssigue teniendodistribucion exp(). Esto significa que el proceso de Poisson puede estudiarse apartir de cualquier tiempo s 0, teniendo las mismas propiedades a partir de esemomento hacia adelante. Esto es, si uno toma cualquier tiempos 0 y empieza acontar desde cero las ocurrencias de eventos a partir de ese momento, lo que unoobtiene es nuevamente un proceso de Poisson. Entonces, para cualquier t > 0 yparan = 0, 1, . . .

P(Xt+s Xs= n) = P(Xt= n) = et(t)

n

n! . (4.1)

Esta propiedad caracteriza de manera unica a este proceso y de ella pueden derivar-se todas las propiedades del Proceso de Poisson, incluida la propiedad de Markov,la cual demostraremos a continuacion.

Proposicion. El proceso de Poisson satisface las siguientes propiedades.

a) Es un proceso de Markov.

b) Tiene incrementos independientes.

c) Tiene incrementos estacionarios.

d) Para cualesquiera s,t >0, Xt+s Xs Poisson(t).

e) Para cualesquiera s, t 0, y enteros 0 i j, las probabilidades de

transicion sonP(Xt+s = j | Xs= i) = e

t (t)ji

(j i)!. (4.2)

Demostracion.

a) Considere la probabilidad condicional P(Xtn = xn | Xt1 = x1, . . . , X tn1 =xn1), para cualesquiera n tiempos 0 t1 t2 tn, y estados 0 x1 . . . xn. Entonces al tiempotn1ha habidoxn1ocurrencias del evento de interes.A partir de ese momento inicia un nuevo proceso de Poisson y para que al tiempotn hayanxn ocurrencias es necesario que en el intervalo de tiempo (tn1, tn] hayanocurrido xn xn1 eventos. Esto es exactamente P(Xtn =xn | Xtn1 =xn1).

b) Considere cualesquieran tiempos 0 t1 t2 tn, y cualesquiera estadosx1, . . . , xn. Por comodidad llamaremossna la sumax1 + + xn, para cadan 1.


5/44


Por la propiedad de Markov y por (4.1),

P(Xt1 =x1, Xt2 Xt1 =x2, . . . , X tn Xtn1 =xn)

=P(Xt1 =s1, Xt2 =s2, . . . , X tn =sn)

=P(Xt1 =s1) P(Xt2 =s2 | Xt1 =s1)

P(Xtn =sn | Xtn1 =sn1)

=P(Xt1 =x1) P(Xt2 Xt1 =x2) P(Xtn Xtn1 =xn).

Las propiedades c), d) y e) son consecuencia inmediata de (4.1).

La expresion (4.2) establece de manera evidente que las probabilidades de transicionson estacionarias en el tiempo, es decir, no dependen del parametros, y se escribensimplemente como pij(t). Pero tambien es interesante observar que (4.2) dice queestas probabilidades son estacionarias en el espacio, es decir, dependen de los esta-dosi y j unicamente a traves de la diferencia j i. En smbolos,pij(t) =p0,ji(t),paraj i.

Ejemplo. (Paradoja del autobus). Suponga que la llegada de autobuses a una esta-cion se modela mediante un proceso de Poisson de parametro, es decir, el tiempoque transcurre entre la llegada de un autobus y el siguiente es una variable alea-toria con distribucion exp(). Suponga que el tiempo es medido en minutos. La

propiedad de perdida de memoria en este contexto puede interpretarse de la si-guiente forma: Un persona ha llegado a la estacion y ha esperados minutos sin queun autobus aparezca. La probabilidad de que tenga que esperar mas de t minutosadicionales es la misma que la probabilidad de espera de m as de t minutos parauna persona que acaba de llegar a la estacion!

Ejemplo. Sean{Xt}y {Yt}dos procesos de Poisson independientes de parametros1 y 2 respectivamente. Demostraremos que el proceso suma {Xt + Yt} es unproceso de Poisson de parametro1 + 2. Denotaremos porT1, T2, . . .a los tiemposde interarribo del proceso suma. La forma en la que se obtienen estos tiemposse muestra en la Figura 4.3. Demostraremos que estas variables aleatorias sonindependientes con identica distribucion exp(1+2).

Para cualesquiera tiempos t1, . . . , tn, el evento

(T1 > t1, T2 > t2, . . . , T n> tn)


6/44


Xt

Yt

Xt+ Yt

Figura 4.3:

puede expresarse como

((X+ Y)[0,t1]= 0, (X+ Y)[T1,T1+t2]= 0, . . . , (X+ Y)[Tn1,Tn1+tn]= 0),

esto es,

(X[0,t1]= 0) (Y[0,t1]= 0)

(X[T1,T1+t2]= 0) (Y[T1,T1+t2] = 0)

(X[Tn1,Tn1+tn]= 0) (Y[Tn1,Tn1+tn]= 0).

Por la independencia de los procesos y la propiedad de incrementos independientesde cada uno de ellos, la probabilidad de este evento es

P(X[0,t1] = 0) P(Y[0,t1]= 0)

P(X[T1,T1+t2]= 0) P(Y[T1,T1+t2]= 0)

P(X[Tn1,Tn1+tn]= 0) P(Y[Tn1,Tn1+tn]= 0).

Por lo tanto,

P(T1> t1, T2 > t2, . . . , T n> tn) = e(1+2)t1 e(1+2)t2 e(1+2)tn .

Esta identidad demuestra que las variables T1, T2, . . . , T n son independientes conidentica distribucion exp(1+2).

Distribuciones asociadas al proceso de Poisson. Ademas de las distribucionesexponencial y gama ya mencionadas, existen otras distribuciones de probabilidadque surgen al estudiar ciertas caractersticas del proceso de Poisson. Mencionaremosa continuacion algunas de ellas.


7/44


Proposicion. Dado el evento (Xt = n), el vector de tiempos reales(W1, . . . , W n) tiene la misma distribucion que el vector de las estadsticas deorden (Y(1), . . . , Y (n)) de una muestra aleatoria Y1, . . . , Y n de la distribucionuniforme en el intervalo [0, t], es decir,

fW1,...,Wn|Xt(w1, . . . , wn | n) =

n!

tn si 0< w1 < < wn< t,

0 otro caso.

Demostracion. La formula general para la funcion de densidad conjunta de lasestadsticas de orden Y(1), . . . , Y (n) de una muestra aleatoria Y1, . . . , Y n de unadistribucion con funcion de densidad f(y) es, para y1 < < yn,

fY(1),...,Y(n) (y1, . . . , yn) = n! f(y1) f(yn).

Cuando la funcion de densidadf(y) es la uniforme en el intervalo [0, t], esta funcionde densidad conjunta es la que aparece en el enunciado. Demostraremos que ladistribucion conjunta de las variablesW1, . . . , W n, condicionada al evento (Xt = n)tambien tiene esta misma funcion de densidad. Usaremos nuevamente la identidadde eventos (Xt n) = (Wn t). Para tiempos 0 < w1 < < wn < t, se tiene

que

fW1,...,Wn|Xt(w1, . . . , wn | n)

= n

w1 wnP(W1 w1, W2 w2, . . . , W n wn | Xt = n)

= n

w1 wnP(Xw1 1, Xw2 2, . . . , X wn n | Xt = n)

= n

w1 wnP(Xt Xwn = 0, Xwn Xwn1 = 1, . . .

. . . , X w2 Xw1 = 1, Xw1 = 1)/P(Xt = n)

= n

w1 wne(twn) e(wnwn1)(wn wn1)

e(w2w1)(w2 w1) ew1 w1/[ et(t)n/n! ]

= n

w1 wnn! (wn wn1) (w2 w1)w1/t

n

= n!/tn.


8/44


Observe que bajo el signo de derivada, la probabilidad del evento ( Xw1 1, Xw2 2, . . . , X wn n, Xt = n), que aparece en la segunda igualdad, es identica a laprobabilidad de (Xt Xwn = 0, Xwn Xwn1 = 1, . . . , X w2 Xw1 = 1, Xw1 = 1),pues si alguna de estas identidades (exceptuando la primera) fuera distinta de uno,la derivada se anula.

La formula anterior nos provee de un mecanismo para obtener simulaciones porcomputadora de las trayectorias del proceso Poisson. El procedimiento es el si-guiente: Fije un valor t y asigne un valor para . Genere un valor al azar de la

variable Xt con distribucion Poisson(t). Suponga Xt = n. A continuacion generen valores u1, . . . , un de la distribucion unif(0, t), y ordene estos valores de menora mayor: u(1) u(n). Estos son los tiempos en donde la trayectoria tienesaltos. De esta forma pueden obtenerse trayectorias como la que se muestra en laFigura 4.2.

El siguiente resultado establece una forma de obtener la distribucion binomial apartir del proceso de Poisson. Suponga que durante el intervalo de tiempo [0, t] sehan observadon ocurrencias del evento de interes, es decir, el evento (Xt = n) haocurrido. La pregunta es cuantos de estos eventos ocurrieron en el subintervalo[0, s]? Demostraremos a continuacion que esta variable aleatoria tiene distribucionbinomial(n, s/t).

Proposicion. Sean s y t tiempos tales que 0 < s < t, y sean k y n enterostales que 0 k n. Entonces

P(Xs= k | Xt= n) =

n

k

(

s

t)k (1

s

t)nk.

Demostracion. Por la propiedad de incrementos independientes,

P(Xu= k | Xt = n) = P(Xu= k, Xt = n)/P(Xt = n)

= P(Xu= k, Xt Xu= n k)/P(Xt = n)

= P(Xu= k)P(Xt Xu = n k)/P(Xt= n)

= P(Xu= k)P(Xtu= n k)/P(Xt = n).

Substituyendo estas probabilidades y simplificando se obtiene el resultado.


9/44


Recordando que la suma de dos procesos de Poisson independientes es nuevamenteun proceso de Poisson, se puede comprobar facilmente el siguiente resultado.

Proposicion. SeanX1(t) yX2(t) dos procesos de Poisson independientes conparametros1 y2 respectivamente, y sean k y n enteros tales que 0 k n.Entonces

P(X1(t) = k | X1(t) +X2(t) = n) =

n

k

(

11+2

)k (1 1

1+2)nk.

Demostracion. Por la hipotesis de independencia entre los procesos,

P(X1(t) = k | X1(t) +X2(t) = n)

= P(X1(t) =k, X1(t) +X2(t) = n)/P(X1(t) +X2(t) =n)

= P(X1(t) =k, X2(t) = n k)/P(X1(t) +X2(t) = n)

= P(X1(t) =k) P(X2(t) = n k)/P(X1(t) +X2(t) = n).

Substituyendo estas probabilidades se obtiene el resultado.

4.2. Definiciones alternativas

La definicion (I) de proceso de Poisson es constructiva pues a partir de los tiemposde interarribo se construye el proceso de conteo correspondiente. Existen otrasformas equivalentes y un tanto axiomaticas de definir a este proceso. Revisaremosy comentaremos a continuacion dos de ellas. Una de las ventajas de contar conestas definiciones alternativas es que para demostrar que un cierto proceso es dePoisson se puede tomar cualquiera de las definiciones a conveniencia.


10/44

106 4.2. Definiciones alternativas

Definicion. (II) Un proceso de Poissonde parametro > 0 es un proceso atiempo continuo {Xt : t 0}, con espacio de estados {0, 1, . . .}, y que cumplelas siguientes propiedades:

a) X0= 0.

b) Tiene incrementos independientes y estacionarios.

c) Para cualquier t 0, y cuando h 0,

i) P(Xt+h Xt 1) = h+o(h).ii) P(Xt+h Xt 2) = o(h).

Esta definicion hace uso de las probabilidades infinitesimalesdel proceso y ello tienealgunas ventajas desde el punto de vista de la interpretacion de lo que sucede enun intervalo infinitesimal de tiempo (t, t+h]. El proceso empieza en cero y por eltercer postulado la probabilidad de que pase al estado uno al final de un intervalode tiempo pequeno [0, h] es h+o(h), la probabilidad de que el proceso no sufraningun cambio en dicho intervalo es 1 h + o(h), y finalmente la probabilidad deque el proceso tenga dos o mas incrementos en tal intervalo es o(h). Es decir, en unintervalo cualquiera de longitud infinitesimal h solo pueden ocurrir dos situaciones:

que haya un incremento o que no lo haya.

Ejemplo.(Demostracion de que la variableXt+sXstiene distribucion Poisson(t)a partir de los postulados de la definici on (II)). Se define pn(t) = P(Xt = n)y se considera cualquier h > 0. Denotaremos por pn(t, t+ h] a la probabilidadP(Xt+h Xt = n). Por la hipotesis de independencia, parat 0 y cuando h 0,

p0(t+h) = p0(t)p0(t, t+h]

= p0(t) (1 h+o(h)).

Haciendoh 0 se obtiene la ecuacion diferencial p

0(t) = p0(t), cuya solucionesp0(t) =c et, en donde la constantec es uno por la condicion inicialp0(0) = 1.Ahora encontraremospn(t) paran 1. Nuevamente por independencia,

pn(t+h) = pn(t)p0(t, t+h] +pn1(t)p1(t, t+h] +o(h)= pn(t) (1 h+o(h)) +pn1(t) (h+o(h)) +o(h).

Entonces p

n(t) = pn(t) + pn1(t), con condicion inicial pn(0) = 0 paran 1. Definiendoqn(t) = etpn(t) la ecuacion diferencial se transforma enq

n(t) =


11/44


qn1(t), con condiciones qn(0) = 0 y q0(t) = 1. Esta ecuacion se resuelve itera-tivamente primero para q1(t), despues para q2(t), y as sucesivamente, en generalqn(t) = (t)

n/n! Por lo tantopn(t) = et(t)n/n! Esto significa que Xt tiene

distribucion Poisson(t). Debido al postulado de incrementos estacionarios, la va-riable Xt+s Xs tiene la misma distribucion que Xt.

Definicion. (III) Un proceso de Poissonde parametro >0 es un proceso atiempo continuo {Xt: t 0} con espacio de estados {0, 1, . . .}, con trayectorias

no decrecientes y que cumple las siguientes propiedades:

a) X0= 0.

b) Tiene incrementos independientes.

c) Xt+s Xs Poisson(t), para cualesquieras 0, t >0.

Esta es posiblemente la definicion mas frecuente del proceso de Poisson. A partir deella inmediatamente sabemos que Xt tiene distribucion Poisson(t). La indepen-dencia de los incrementos es explcita, y la estacionariedad de los mismos aparecede manera implcita en el tercer postulado. Para demostrar la equivalencia con ladefinicion (I), el reto consiste en definir los tiempos de interarribo y demostrar queestos son variables aleatorias independientes con distribucion exponencial().

Ejercicio. Usando la definicion (III), demuestre que la suma de dos procesos dePoisson independientes es nuevamente un proceso Poisson.

Proposicion. Las definiciones (I), (II) y (III) son equivalentes.

Demostracion. Hemos demostrado que (II) (III). El recproco es inmediatopues la propiedad de incrementos independientes y estacionarios aparecen en ambasdefiniciones, y para cualquier t 0 y h >0,

P(Xt+h Xt 1) = 1 P(Xt+h Xt = 0)= 1 eh

= 1 (1 h+o(h))

= h+o(h).


12/44

108 4.2. Definiciones alternativas

Analogamente

P(Xt+h Xt 2) = 1 P(Xt+h Xt= 0) P(Xt+h Xt = 1)

= 1 eh eh h

= 1 (1 h+o(h)) (h+o(h))

= o(h).

Estos calculos y lo desarrollado antes demuestran que (II) (III). Tambien anteshemos demostrado que (I) (III). Para demostrar el recproco es necesario com-probar que los tiempos de interarriboT

1, T

2, . . .son independientes con distribucion

exp(). Daremos una demostracion no completamente rigurosa de este resultado.Seant1, . . . , tn > 0 tiempos cualesquiera y sean t1, . . . , tn las longitudes que semuestran en la Figura 4.4.

t1 t1 t2 t2 tn tn

0

Figura 4.4:

La probabilidad de queT1 tome un valor en el intervalo t1, T2 tome un valor enel intervalo t2, etcetera, es

fT1,...,Tn(t1, . . . , tn)t1 tn

= (et1 et1 t1) (et2 et2 t2) (e

tn etn tn)

= et1 et2 etn t1 tn e(t1++tn)

Al hacer t1, . . . , tn 0 se obtiene

fT1,...,Tn(t1, . . . , tn) = et1 et2 etn .

Esto demuestra que las variablesT1, . . . , T nson independientes y cada una de ellastiene distribucion exp(). En conjunto esto demuestra que (I) (III) (II).

Observe que la pregunta acerca de la existencia de un proceso estocastico que

cumpla los postulados de la definicion (II) o (III) queda resuelta al verificar laequivalencia de tales postulados con la definicion constructiva (I).

Presentaremos a continuacion algunas generalizaciones del proceso de Poisson. Unade tales generalizaciones que estudiaremos con mayor detalle en un captulo mas


13/44


adelante es aquella en la que se considera que las variables T1, T2, . . .no son necesa-riamente exponenciales, en tal caso se pierde la propiedad de Markov del proceso.A este tipo de procesos se les llama procesos de renovacion.

4.3. Proceso de Poisson no homogeneo

Se considera ahora que el parametro del proceso de Poisson no es necesariamente

una constante sino una funcion del tiempo. A veces a este proceso se le llamatambien proceso de Poisson con parametro dependiente del tiempo. Este modelopuede ser naturalmente mas adecuado para algunas situaciones reales aunque dejade cumplir la propiedad de Markov.

Definicion.Un proceso de Poisson no homogeneo es un proceso a tiempo con-tinuo {Xt : t 0}, con espacio de estados {0, 1, . . .}, con parametro la funcionpositiva y localmente integrable (t), y que cumple las siguientes propiedades:

a) X0 = 0.

b) Los incrementos son independientes.

c) Para cualquiert 0, y cuandoh 0,

i) P(Xt+h Xt 1) = (t) h+o(h).

ii) P(Xt+h Xt 2) = o(h).

Comparando esta definicion con la definicion (II) de proceso de Poisson se observamucha similaridad excepto por dos aspectos: En lugar de la constante se escribeahora la funcion(t), y la hipotesis de incrementos estacionarios ya no aparece. Elloes consecuencia de que el parametro vara con el tiempo, generalmente de maneradecreciente. Es decir, la distribucion de probabilidad de la variable incrementoXt+s Xs depende de los valores de la funcion en el intervalo (s, s+ t]. Sinembargo, y en completa analoga con el caso homogeneo, la variableXt continua

teniendo distribucion Poisson como a continuacion demostraremos.


14/44

110 4.3. Proceso de Poisson no homogeneo

Proposicion. La variable Xt en un proceso de Poisson no homogeneo deparametro (t) tiene distribucion Poisson((t)), en donde (t) =

t0

(s) ds,es decir, paran = 0, 1, . . .

P(Xt = n) = e(t) [(t)]

n

n! .

Demostracion. La prueba es analoga a una de las realizadas en el caso homogeneo.Se define nuevamente pn(t) = P(Xt = n) y se considera cualquier h > 0. Deno-taremos por pn(t, t+h] a la probabilidad P(Xt+h Xt = n). Por la hipotesis deindependencia, parat 0 y cuando h 0,

p0(t+h) = p0(t)p0(t, t+h]

= p0(t) (1 (t)h+o(h)).

Calculando la derivada se obtiene la ecuacion diferencial p

0(t) = (t)p0(t), cuyasolucion es p0(t) = c e(t), en donde la constante c es uno debido a la condi-cion inicial p0(0) = 1. Ahora encontraremos pn(t) para n 1. Nuevamente porindependencia,

pn(t+h) = pn(t)p0(t, t+h] +pn1(t)p1(t, t+h] +o(h)= pn(t) (1 (t)h+o(h)) +pn1(t) ((t)h+o(h)) +o(h).

Entoncesp

n(t) = (t)pn(t) + (t)pn1(t), con condicion inicial pn(0) = 0 pa-ra n 1. Definiendo qn(t) = e

(t)pn(t) la ecuacion diferencial se transforma enq

n(t) = (t) qn1(t), con condiciones qn(0) = 0 y q0(t) = 1. Esta ecuacion se re-suelve iterativamente primero para q1(t), despues para q2(t), y as sucesivamente,en general qn(t) = ((t))

n/n! y de aqu se obtiene pn(t).

Las trayectorias de un proceso de Poisson no homogeneo son semejantes a lastrayectorias de un proceso de Poisson, es decir, son trayectorias no decrecientes ycon saltos unitarios hacia arriba, pero la frecuencia promedio con la que aparecen

los saltos cambia a lo largo del tiempo. De manera analoga al caso homogeneo, losincrementos de este proceso tambien tienen distribucion Poisson.

Proposicion. Xt+s Xs tiene distribucion Poisson((t+s) (s)).


15/44


Demostracion. Se escribe Xt+s = Xs+ (Xt+s Xs), en donde, por el axioma deincrementos independientes, en el lado derecho aparece la suma de dos variablesaleatorias independientes. Recordando que la funcion generadora de momentos dela distribucion Poisson() es M(r) = exp [(er 1)], al aplicar este resultado a laecuacion anterior se obtiene

exp[(t+s) (er 1)] = exp[(s) (er 1)] MXt+sXs(r).

Por lo tantoMXt+sXs(r) = exp[((t+s) (s)) (er 1)].

Si la funcion (t) es constante igual a , entonces (t) = t, y se recupera elproceso de Poisson homogeneo. Cuando (t) es continua, (t) es diferenciable ypor lo tanto (t) =(t). A la funcion (t) se le llamafuncion de intensidady a (t)se le conoce como funcion de valor medio. Un proceso de Poisson no homogeneoen donde{(t) : t 0}es un proceso estocastico se le llama proceso de Cox.

El siguiente resultado establece que bajo una transformacion del parametro tiempo,un proceso de Poisson no homogeneo puede ser llevado a un proceso de Poissonhomogeneo de parametro uno. Antes de demostrar este resultado observemos quecomo la funciont (t) es positiva, la funcion de intensidad (t) es continua y nodecreciente, y en general no es invertible. Puede definirse, sin embargo, la inversapor la derecha

1(t) = nf{u 0 : (u) = t},

que cumple la identidad (1(t)) = t, y que es una funcion continua y creciente.

Proposicion. Sea {Xt} un proceso de Poisson no homogeneo de parametro

(t), y funcion de intensidad (t) =t0

(s) ds. Defina la funcion

1(t) = nf{u 0 : (u) = t}.

Entonces el proceso {X1(t)} es un proceso de Poisson homogeneo de parame-tro = 1.

Demostracion. Usaremos la definicion (III) de proceso de Poisson. El proceso X1(t)

empieza en cero y tiene incrementos independientes pues si se consideran cuales-quiera tiempos 0 t1 < t2 < < tn, bajo la funcion creciente

1(t) estostiempos se transforman en una nueva coleccion monotona de tiempos

0 1(t1)< 1(t2)<


16/44

112 4.4. Proceso de Poisson compuesto

Por lo tanto las variables X1(t1), X1(t2) X1(t1),. . ., X1(tn) X1(tn1)son independientes. Finalmente, para cualesquiera tiempos s, t 0 el incremen-to X1(t+s) X1(s) tiene distribucion Poisson de parametro (

1(t+s)) (1(s)) = (t+s) s= t.

Pueden definirse los tiempos de interarribo T1, T2, . . ., y los tiempos de saltosW1, W2, . . . para un proceso de Poisson no homogeneo de manera analoga al casohomogeneo. Por hipotesis los incrementos de este procesos son independientes, sinembargo, debido a que el parametro (t) es una funcion del tiempo, los tiempos

de interarribo T1, T2, . . . no son independientes pues, por ejemplo, T2 depende de(t) para valores de t mayores aT1. Y por las mismas razones las distribuciones deestas variables no son identicas.

4.4. Proceso de Poisson compuesto

Esta es una de las generalizaciones del proceso de Poisson mas conocidas y deamplia aplicacion.

Definicion. Sea {Nt} un proceso de Poisson y sea Y1, Y2, . . . una sucesion de

variables aleatorias independientes, identicamente distribuidas e independientesdel proceso Poisson. Sea Y0 = 0. El proceso de Poisson compuesto se define dela siguiente forma:

Xt=

Ntn=0

Yn.

Xt()

tY1

Y2

Y3

Figura 4.5:

La variable Xt es una suma de varia-bles aleatorias en donde el numero de su-mandos es aleatorio. Tal tipo de mode-los encuentra aplicacion natural en distin-tos contextos, por ejemplo, la variable Xt

puede interpretarse como el monto totalde reclamaciones recibidas por una com-pana aseguradora al tiempo t. El procesode Poisson determina el numero de sinies-tros o reclamaciones efectuadas hasta un


17/44


momento cualquiera. La variableYnrepre-senta el monto de la n-esima reclamacion y es natural suponer Yn > 0. En la Fi-gura 4.5 se muestra una trayectoria de este proceso y en los siguientes ejerciciosse presentan algunas de sus propiedades basicas. Cuando las variables Y1, Y2, . . .toman valores en el conjunto {1, 2, . . .} se dice que este proceso es un proceso dePoisson generalizado pues los saltos ya no son necesariamente unitarios. Observeque si las variables Y1, Y2, . . . son todas identicamente uno, este proceso se reduceal proceso de Poisson.

Ejercicio. Demuestre que el proceso de Poisson compuesto satisface las siguientespropiedades.

a) La funcion generadora de momentos de la variable Xt, es decir, MXt(u) =E(euXt) es MXt(u) = exp[ t (MY(u) 1)].

b)E(Xt) = t E(Y).

c) Var(Xt) = t E(Y2).

d) Cov(Xt, Xs) = E(Y2) mn{s, t}.

e) Tiene incrementos independientes y estacionarios.

Notas y referencias. El proceso de Poisson es otro de los temas clasicos quese estudia en los cursos elementales de procesos estocasticos. La mayora de los

textos sobre procesos estocasticos que aparecen en la bibliografa cuentan por lomenos con una seccion sobre este tema. Algunos textos especficos que dedican uncaptulo entero para el proceso de Poisson son: Basu [1], Taylor y Karlin [37], yJones y Smith [17].


18/44


Ejercicios

Proceso de Poisson

71. Los clientes de una tienda entran al establecimiento de acuerdo a un proce-so de Poisson de parametro = 4. Sea Xt el numero de clientes que haningresado hasta el instante t. Calcule

a) P(X2 = 1).b) P(X1 = 3, X2= 6).

c) P(X1 = 0 | X3 = 4).

d) P(X2 = 4 | X1 = 2).

e) P(X2 3).

f) P(X1 4 | X1 2).

72. Los pasajeros llegan a una parada de autobus de acuerdo a un proceso dePoisson {Xt} de parametro = 2. Sea el momento en el que llega el primerautobus. Suponga que es una variable aleatoria con distribucion unif(0, 1)e independiente del proceso de Poisson. Calcule

a) E(X | =t).b) E(X).

c) E(X2| =t).

d) Var(X).

73. Sea {Xt} un proceso de Poisson de parametro = 2. Sea Wn el instante enel que ocurre el n-esimo evento. Calcule

a) E(X5).

b) E(X5 | X2 = 1).

c) E(W7).

d) E(W7

| X2

= 3).

e) E(W7 | W5 = 4).


19/44


74. Sean T1, T2, . . . una sucesion de variables aleatorias independientes identica-mente distribuidas con distribucion exp(). Defina la variable aleatoriaN dela siguiente forma

N=

0 si T1 > 1,k si T1+ +Tk 1< T1+ +Tk+1.

Demuestre que N tiene distribucion Poisson(). Este resultado puede serusado para obtener valores al azar de la distribucion Poisson.

75. Demuestre que si X tiene distribucion unif(0, 1), entonces Y := 1ln(1

X) tiene distribucion exp(). Este resultado puede ser usado para generarvalores al azar de la distribucion exp() a partir de valores de la distribucionunif(0, 1).

76. Sean T1, . . . , T n variables aleatorias independientes cada una con distribu-cion exp(). Demuestre que la suma Wn = T1+ +Tn tiene distribuciongama(n, ) y que la correspondiente funcion de distribucion puede escribirsede la siguiente forma: para cadat >0,

P(Wn t) =k=n

et(t)k

k! .

77. Sea {Xt} un proceso de Poisson de parametro = 1, e independiente deuna variable aleatoria con distribucion exp() con = 1. Defina el procesoYt = Xt. Demuestre que

a) P(Yt = n) = 1

1 +t(

t

1 +t)n, paran = 0, 1, . . ..

b) P(Yt = n, Yt+s = n+m) =

n+m

n

tn sm ( 11+t+s)

n+m+1.

Concluya que las variables Yt y Yt+s Yt no son independientes.

78. Sea {Xt} un proceso de Poisson de parametro . Demuestre los siguientesresultados de manera sucesiva.

a) (W1 > t1, W2> t2) = (Xt1 = 0, Xt2 Xt1 = 0 o 1).

b) P(W1 > t1, W2 > t2) =et1 (1 +(t2 t1)) e(t2t1).

c) fW1,W2 (t1, t2) = 2 et2 , para 0< t1 < t2.


20/44


d) fW1 (t1) = et1 .

e) fW2 (t2) = 2 t1e

t1 .

f) Las variablesT1 = W1 yT2 = W2 W1 son independientes.

79. Sea {Xt} proceso de Poisson de parametro, y sean s y t dos tiempos talesque 0 s < t. Demuestre que

a)P(Xs= 0, Xt= 1) = (t s)et.

b)P(Xs = Xt) = e(ts).

80. Para un proceso de Poisson de parametro demuestre que

Cov(Xt, Xs) = mn{s, t}.

81. Las funciones seno y coseno hiperbolico se definen de la siguiente forma:senh(x) = (ex ex)/2, y cosh(x) = (ex +ex)/2. Para un proceso dePoisson de parametro demuestre que

a)P(Xt sea impar) =et senh(t).

b)P(Xt sea par) =et cosh(t).

82. Sea {Xt} un proceso de Poisson de parametro, y seas >0 un tiempo fijo.Demuestre que el procesoYt = Xt+s Xs tambien es un proceso de Poissonde parametro. En la Figura 4.6 se ilustra graficamente la definicion de estenuevo proceso.

1

2

3

1

2

t

Xt

t

Yt

s

Figura 4.6:

83. Sea {Xt}un proceso de Poisson de parametro. Demuestre que


21/44


a) fW1,W2 (w1, w2) =

2ew2 si 0< w1 < w2,

0 otro caso.

b) fW1 |W2 (w1 | w2) =

1/w2 si w1 (0, w2),

0 otro caso.

c) fW2 |W1 (w2 | w1) =

e(w2w1) si w2 (w1, ),

0 otro caso.

84. Sea {Xt} un proceso de Poisson de parametro. SeaTuna variable aleatoriacon distribucion exp() e independiente del proceso de Poisson. Encuentre lafuncion de densidad de la variable XT.

85. Sea {Xt} un proceso de Poisson de parametro. Seanr y n dos enteros talesque 1 r n, y seat >0. Suponga que el evento (Xt= n) ocurre. Encuentrela densidad condicional de Wr.

86. Sean X1(t) y X2(t) dos procesos de Poisson independientes con parametros1 y2 respectivamente. Calcule la probabilidad de que

a)X1(t) = 1 antes queX2(t) = 1.

b)X1(t) = 2 antes queX2(t) = 2.

87. Suponga que un cierto aparato electrico sufre desperfectos a lo largo deltiempo de acuerdo a un proceso de Poisson de parametro . Suponga quecada vez que el aparato se descompone es enviado a reparaci on y despueses puesto en funcionamiento nuevamente. Suponga ademas que el aparato sereemplaza completamente por uno nuevo cuando el tiempo que transcurreentre dos descomposturas sucesivas es menor o igual a una cierta constantea > 0, incluyendo el tiempo antes de la primera reparaci on. Encuentre lafuncion de densidad del

a) tiempo de vida util del equipo antes de ser reemplazado.

b) numero de reparaciones antes de realizar el reemplazo.

88. Suponga que un cierto circuito recibe impulsos electricos de acuerdo a un

proceso de Poisson de parametro. Suponga ademas que el circuito se des-compone al recibir el k-esimo impulso. Encuentre la funcion de densidad deltiempo de vida del circuito.


22/44


89. Sean X1(t), . . . , X n(t) procesos de Poisson independientes, todos de parame-tro . Encuentre la distribucion de probabilidad del primer momento en elcual

a) ha ocurrido en cada uno de los procesos al menos un evento.

b) ocurre el primer evento en cualquiera de los procesos.

90. Sean {X1(t)} y {X2(t)} dos procesos de Poisson independientes con parame-tros 1 y 2, respectivamente. Sea n cualquier numero natural, y defina eltiempo aleatorio = nf {t 0 : X1(t) = n}. Demuestre que X2() tiene

distribucion binomial negativa, es decir, para k = 0, 1, . . .

P(X2() = k) =

n+k 1

k

1

1+2

k 2

1+2

n.

91. Sea {Xt} un proceso de Poisson de parametro, y seaa >0 una constante.Demuestre que {Xat}es un proceso de Poisson de parametroa.

92. Sea {Xt} un proceso de Poisson de parametro. Demuestre que, condicionadoa que el proceso tiene exactamente un salto en el intervalo [s, s+t], el momentoen el que ese salto ocurre se distribuye de manera uniforme en dicho intervalo.

93. Sea {Xt} un proceso de Poisson de parametro. Sunponga que cada evento

registrado es tipo 1 con probabilidad , o de tipo 2 con probabilidad 1 . Sea X1(t) el numero de eventos del tipo 1 al tiempo t, y sea X2(t) locorrespondiente a eventos del tipo 2.

a) Demuestre que {X1(t)} y {X2(t)} son procesos de Poisson de parametroy (1 ) respectivamente.

b) Demuestre que{X1(t)} y {X2(t)} son independientes.

94. Suponga que los mensajes llegan a una cierta cuenta de correo electronico deacuerdo a un proceso de Poisson de parametro. Cada mensaje recibido esde tipo basura con probabilidad y no basura con probabilidad 1 .

a) Dado que hasta el tiempo t ha llegado n mensajes, encuentre la distri-bucion del numero de mensajes tipo basura que hasta ese momentohan llegado.

b) Suponiendo que se recibe un mensaje tipo basura en algun momento,encuentre la distribucion del numero total de mensajes recibidos hastala llegada del siguiente mensaje tipo basura.


23/44


c) Encuentre la probabilidad de que al tiempothayan llegado mas mensajestipo basura que no basura.

95. SeanT1, T2, . . .los tiempos de interarribo de un proceso de Poisson de par ame-tro , y sea c una constante positiva. Defina N = mn{n 1 : Tn > c}.Calcule E(WN1+c).

Distribuciones asociadas al proceso de Poisson

96. Seat0 un tiempo positivo fijo y suponga que hasta ese momento se ha obser-vado un solo evento de un proceso de Poisson, es decir, Xt0 = 1. La preguntaes cuando ocurrio tal evento? Demuestre que la distribucion condicional delmomento en el que se ha registrado el evento, es decir T1, es uniforme en elintervalo [0, t0].

97. Sea {Xt} un proceso Poisson de tasay sean dos tiempos 0 < s < t. Defina lavariable X(s,t] como el numero de eventos del proceso de Poisson que ocurrenen el intervalo (s, t]. Demuestre que, condicionada a la ocurrencia del evento(Xt = n), la variableX(s,t] tiene distribucion binomial(n, 1 s/t).

Proceso de Poisson no homogeneo

98. Sea {Xt} un proceso Poisson no homogeneo de intensidad (t), seanT1, T2, . . .los tiempos de interarribo, y seanW1, W2, . . .los tiempos reales de ocurrencia.Demuestre que para cualquier t >0,

a)fT1 (t) =e(t)(t).

b)fT2|T1 (t|s) = e(t+s)+(s)(t+s).

c)fT2 (t) =

0

e(t+s) (t+s) (s) ds.

d)fWn(t) =e(t) [(t)]

n1

(n 1)! (t).

e)FTk|Wk1 (t|s) = 1 e(t+s)+(s).

f) FTk(t) = 1

0

e(t+s) [(s)]k2

(k 2)! (s) ds, k 2.


24/44


Proceso de Poisson compuesto

99. Suponga que los sumandos Y de un proceso de Poisson compuesto {Xt}de parametro tienen distribucion exp(). Encuentre la distribucion de lavariable Xt.

100. Sea {Xt} un proceso de Poisson compuesto de parametro . Suponga quecada una de las variables Y de este proceso es constante igual a k N.Encuentre la distribucion deXt.

101. Suponga que los usuarios de cuentas de correo electronico solicitan accesoal servidor de acuerdo a un proceso de Poisson homogeneo de parametro. Suponga ademas que cada usuario se mantiene conectado al servidor untiempo aleatorio con funcion de distribucion F(x), e independiente uno delotro. SeaCtel numero de usuarios conectados al servidor tiempot. Demuestreque parak = 0, 1, . . .

P(Ct = k) = [(t)]k

k! e(t),

en donde (t) =t0 (1 F(x)) dx.


25/44

Captulo 5

Cadenas de Markov

a tiempo continuo

Vamos a considerar ahora cadenas de Markov {Xt : t 0} en donde el tiempoes continuo y las variables toman valores enteros. Varios de los conceptos quemencionaremos para este tipo de procesos son analogos al caso de tiempo discreto,pero existen diferencias en el comportamiento y desarrollo matematico entre losdos modelos, y no pretendemos presentar y justificar la teora completa.

Usando la misma notacion que en el caso de tiempos discretos, recordemos que eltermino p(xt) significa P(Xt = xt). La propiedad de Markov que consideraremostiene la siguiente forma: Para cualesquiera tiempos 0 t1 < t2 < < tn,

p(xtn | xt1 , . . . , xtn1 ) = p(xtn | xtn1 ).

Observe que no estamos suponiendo que se conoce la historia del proceso en todo elpasado a tiempo continuo, sino unicamente en una coleccion arbitraria pero finita detiempos pasados t1, . . . , tn1. Supondremos nuevamente que estas probabilidadesde transicion son estacionariasen el tiempo, esto significa que para cada s 0 yt 0, la probabilidad P(Xt+s = j | Xs = i) es identica a P(Xt = j | X0 = i), esdecir, no hay dependencia del valor de s. Esta probabilidad se escribe de manerabreve mediante la expresion pij(t), para i y j enteros no negativos. En particular

parat= 0 se define nuevamentepij(0) como la funcion delta de Kronecker, es decir,

pij(0) =ij =

1 si i = j,0 si i =j.

121


26/44

122 5.1. Procesos de saltos

Haciendo variar los ndices i y j en el espacio de estados, se obtiene la matriz deprobabilidades de transicion al tiempo t:

Pt =

p00(t) p01(t) p10(t) p11(t)

......

.

Plantearemos a continuacion el modelo general de cadena de Markov a tiempo

continuo, estudiaremos algunas de sus propiedades, y despues revisaremos algunosmodelos particulares.

5.1. Procesos de saltos

Ti1

i1

Ti2

i2

Ti3

i3

Ti4

i4

t

Xt()

Figura 5.1:

Considere un proceso a tiem-po continuo {Xt : t 0} queinicia en el estadoi1 al tiempocero. El proceso permanece enese estado un tiempo aleatorioTi1 , y despues salta a un nuevo

estadoi2 distinto del anterior.El sistema permanece ahora enel estado i2 un tiempo aleato-rio Ti2 al cabo del cual brincaa otro estadoi3distinto del in-mediato anterior, y as sucesi-vamente. Esta sucesion de sal-tos se muestra graficamente en la Figura 5.1. Los tiempos aleatorios T son lostiempos en los que el proceso permanece constante en alguno de sus estados, yse llaman tiempos de estancia(passage times). Los momentos en donde el procesotiene saltos son los tiempos Wn = Ti1 + +Tin , para n 1. El proceso puedeentonces escribirse de la forma siguiente:

Xt =

i1 si 0 t < W1,i2 si W1 t < W2,i3 si W2 t < W3,...


27/44

Captulo 5. Cadenas de Markov a tiempo continuo 123

Un proceso de estas caractersticas se llama proceso de saltos, y parece ser unabuena version continua de las cadenas de Markov a tiempo discreto. Sin embargopuede comprobarse que un proceso con estas caractersticas pudiera no estar defi-nido para todo t 0, y tampoco hay garanta de que se cumpla la propiedad deMarkov. A fin de evitar situaciones demasiado complicadas, los procesos de saltosque consideraremos estaran restringidos por las siguientes condiciones:

No explosion. Puede suceder que los tiempos de estancia T sean cada vez maspequenos de tal forma que lmnWn< , es decir, existe la posibilidad de queel proceso efectue un numero infinito de saltos durante un intervalo de tiempoacotado. En tal situacion el proceso no estara bien definido para todo t 0, y sedice que el proceso explota en un tiempo finito. Para evitar tal comportamientosupondremos que lmnWn= , y por lo tanto, para cada t 0, el valor de Xtes finito.

Probabilidades de transicion.Supondremos que el espacio de estados es {0, 1, . . .}y que el tiempo de estancia asociado el estado i es la variable aleatoria Ti, lacual supondremos positiva con funcion de distribucion Fi(t). Como en el caso decadenas a tiempos discreto, se denotara porpij a la probabilidad de que la cadenasalte del estadoi al estado j . Adicionalmente impondremos la condicionpii= 0, ycon ello se inhibe, por ahora, que la cadena salte al mismo estado de partida. Lasprobabilidades de transicion cumplen entonces las siguientes condiciones:

a) pij 0.

b) pii= 0.

c)

j pij = 1.

Independencia. Supondremos que los tiempos de estancia Ti1 , Ti2 , . . .son indepen-dientes entre s, y tambien son independientes del mecanismo mediante el cual seescoge el estadoj al cual la cadena brinca despues de estar en cualquier otro estadoi.

Estados absorbentes o no absorbentes. Supondremos que cada variable Ti es finita

con probabilidad uno, o bien es infinita con probabilidad uno. En el primer casose dice que el estado i es no absorbente, y en el segundo caso que es absorbente.El hecho de que Ti = se interpreta en el sentido de que el proceso deja desaltar y permanece en el estado i el resto del tiempo, es decir, es absorbente.Estamos entonces suponiendo que solo hay dos tipos de estados: absorbentes o no


28/44

124 5.1. Procesos de saltos

absorbentes, en otras palabras, con probabilidad uno el tiempo de estancia es finitoo con probabilidad uno es infinito.

Propiedad de Markov. Puede demostrarse que el proceso de saltos descrito arribasatisface la propiedad de Markov si, y solo si, los tiempos de estancia de estadosno absorbentes tienen distribucion exponencial. Este es un resultado importantecuya demostracion omitiremos y que simplifica el modelo general planteado. Su-pondremos entonces que el tiempo de estancia en un estado no absorbente i tienedistribucion exp(i), con i > 0, es decir, Fi(t) = 1 e

it, para t 0. CuandoTi= puede considerarse que i = 0.

Definicion.A un proceso de saltos con las caractersticas arriba senaladas sele llama cadena de Markov a tiempo continuo.

Observe que un proceso de Markov a tiempo continuo queda completamente espe-cificado por los siguientes tres elementos: una distribucion de probabilidad inicial,los parametrosi, y las probabilidades pij.

Ejemplo. (Cadena de primera ocurrencia). Sea Xt el estado de un sistema tal queen cualquier instante se encuentra en alguno de los dos posibles estados: 0 y 1.Suponga que X0 = 0 y que el proceso cambia al estado 1 despues de un tiempoaleatorio con distribucion exp(), y permanece all el resto del tiempo. Una posibletrayectoria de este proceso se muestra en la Figura 5.2(a). Este proceso modelala situacion de espera para la primera ocurrencia de un evento de interes. Lasprobabilidades de transicion son

Pt =

p00(t) p01(t)p10(t) p11(t)

=

et 1 et

0 1

.

Ejemplo.(Cadena de dos estados). Considere el proceso Xtcon dos posibles estados:0 y 1, definido por la siguiente dinamica: Cuando el proceso entra al estado 0permanece en el un tiempo exp(), y luego va al estado 1, entonces permanece en

el estado 1 un tiempo exp() y despues regresa a 0, y as sucesivamente. Se postulaque los tiempos de estancia en cada estado son variables aleatorias independientes.Una trayectoria de este proceso se muestra en la Figura 5.2(b). Puede demostrarse


29/44


1

t

Xt()

(a)

1

t

Xt()

(b)

Figura 5.2:

que las probabilidades de transicion son

Pt =

p00(t) p01(t)p10(t) p11(t)

=

1

+

+

1

+

e(+)t.

Ejemplo. El proceso de Poisson es una cadena de Markov a tiempo continuo queempieza en cero, los tiempos de estancia son exponenciales de parametro, y lasprobabilidades de transicion de un estado a otro son pi,i+1 = 1.

5.2. Propiedades generales

Mencionaremos ahora algunos conceptos y propiedades generales de procesos deMarkov a tiempo continuo. Varios de estos resultados son similares a los desarro-llados antes para el caso de tiempos discretos.

Cadena a tiempo discreto asociada. Toda cadena de Markov a tiempo continuo{Xt :t 0} tiene asociada una cadena a tiempo discreto que denotaremos por elmismo smbolo {Xn: n = 0, 1, . . .}, y que esta dada por la primera pero observada

en los tiempos en donde se efectuan los saltos. Algunas caractersticas de la cadenaa tiempo discreto se trasladan a su versi on continua. Inversamente, a partir deuna cadena a tiempo discreto puede construirse su version continua en el tiempotomando tiempos exponenciales independientes entre salto y salto.


30/44

126 5.2. Propiedades generales

Probabilidades de transicion. Para una cadena de Markov a tiempo continuolas probabilidades de transicion son los numerospij(t) = P(Xt = j | X0 = i), paracualesquiera estados i y j, y para cualquier tiempo t 0. Cuando el espacio deestados es finito, los elementos de cada renglon de esta matriz suman uno, peropara espacios de estados infinito esta suma puede ser estrictamente menor a uno,es decir, en general,

j pij(t) 1. Esta es una diferencia inesperada respecto del

modelo a tiempo discreto.

Intentar encontrarpij(t) para cada par de estados i y j , y para cada t 0, es unproblema demasiado general, y solo en algunos casos es posible encontrar explci-tamente tales probabilidades. El siguiente resultado nos permitira obtener algunasconclusiones generales acerca de pij(t).

Proposicion. Seani y j dos estados. Para cualquier t 0,

pij(t) = ijeit +ie

it

t0

eis (k=i

pikpkj(s) ) ds. (5.1)

Demostracion. Si i es un estado absorbente, i.e. i = 0, entonces la formula se

reduce a pij(t) = ij , lo cual es correcto. Si i es un estado no absorbente, entoncespij(t) = P(Xt = j | X0 = i)

= P(Xt = j, Ti> t | X0= i) +P(Xt = j, Ti t | X0 = i)

= ijeit +

t0

fXt,Ti |X0 (j, u | i) du

= ijeit +

t0

k=i

fXt,Xu,Ti |X0 (j, k, u | i) du,

en donde por la propiedad de Markov y la independencia,

fXt,Xu,Ti |X0 (j, k, u | i) = fXt |Xu,Ti,X0 (j | k,u,i) fXu |Ti,X0 (k | u, i) fTi |X0 (u | i)

= pkj(t u)pikieiu.

Por lo tanto,

pij(t) =ijeit +

t0

ieiu (

k=i

pikpkj(t u) ) du.


31/44


Haciendo el cambio de variables(u) = tuen la integral se obtiene el resultado.

Las probabilidades de transicion satisfacen tambien una version continua de laecuacion de Chapman-Kolmogorov, y que en este caso se conoce como lapropiedadde semigrupo.

Proposicion. (Ecuacion de Chapman-Kolmogorov). Para cualquiera estadosiyj , y para todo t 0 y s 0,

pij(t+s) =k

pik(t)pkj(s).

En notacion matricial, Pt+s = PtPs.

Demostracion. Por la propiedad de Markov,

pij(t+s) = P(Xt+s= j | X0 = i)

=k

P(Xt+s= j, Xt = k | X0 = i)

= k

P(Xt+s= j | Xt = k) P(Xt = k | X0 = i)

=k

pik(t)pkj(s).

La coleccion {Pt : t 0} constituye un semigrupo de matrices estocasticas, estoquiere decir que cumple las siguientes propiedades:

a)P0 = I, en dondeIes la matriz identidad.

b)Pt es una matriz estocastica.

c)Pt+s = PtPs, para cualesquierat, s 0.

La ecuacion de Chapman-Kolmogorov es interesante pues permite expresar a laprobabilidad pij(t), para cualquier tiempo t > 0, en terminos de probabilidades


32/44


infinitesimales, es decir, probabilidades de transicion en intervalos de tiempo delongitud muy pequena. Por ejemplo, para cualquiern natural, tomando t= t/n,

pij(t) =

k1,...,kn1

pi,k1 (t)pk1,k2 (t) pkn1,j(t).

Esto quiere decir que es suficiente conocer el comportamiento depij(t) en tiempostpequenos para conocer su comportamiento para cualquier t >0. Especificaremoscon detalle este resultado mas adelante.

Parametros infinitesimales. De la formula (5.1) es inmediato observar que lasprobabilidades pij(t) son funciones continuas en t, y en particular el integrandoen (5.1) es una funcion continua. Esto implica que la integral es diferenciable y porlo tanto tambien pij(t). Derivando entonces (5.1) se obtiene el siguiente resultadoconocido como el sistema de ecuaciones hacia atrasde Kolmogorov.

Proposicion. Para cualquiert >0,

pij(t) = ipij(t) +ik=i

pikpkj(t). (5.2)

Observe que en particular la derivada pij(t) es una funcion continua del tiempo.Tomando ahora el lmite cuando t 0, se tiene que

pij(0) = i ij+ ik=i

pikkj

= i ij+ ipij

=

i si i = j,ipij si i =j.

Definicion.A las cantidadespij(0) se les denota por gij , y se les conoce con elnombre de parametros infinitesimalesdel proceso. Es decir, estos parametros

son

gij =

i si i = j,ipij si i =j.

(5.3)


33/44


Variando los ndices iyj, estos nuevos parametros se escriben en notacion matricialde la forma siguiente:

G=

0 0p01 0p02

1p10 1 1p12

2p20 2p21 2 ...

......

. (5.4)

Esta matriz determina de manera unica el comportamiento de la cadena de Markova tiempo continuo, y es el concepto equivalente a la matriz de probabilidades de

transicion en un paso para cadenas a tiempo discreto. Se trata de una matriz conlas siguientes propiedades:

a) gii 0.

b) gij 0, si i =j .

c)j

gij = 0.

Observe que gii = 0 cuando el estado i es absorbente, es decir, cuando i = 0.Cuando i > 0 la ultima propiedad se obtiene a partir del hecho de que pii = 0pues

j

gij = i+j=i

ipij = i+i(1 pii) = 0.

Proposicion. Los parametros infinitesimales determinan de manera unica a lacadena de Markov a tiempo continuo.

Este resultado es consecuencia de (5.3) pues a partir de gij se obtiene

i = gii,

pij = 0 si i = j,gij/gii si i =j.

(5.5)

Probabilidades infinitesimales. Un proceso de Markov a tiempo continuo puedeser tambien definido a partir del comportamiento de las probabilidades de tran-sicion pij(t) cuando t 0. Tales probabilidades se llaman a veces probabilidades


34/44


infinitesimales, y pueden expresarse en terminos de los parametros infinitesimalescomo establece el siguiente resultado y del cual omitiremos su demostracion.

Proposicion. Cuando t 0,

1. pii(t) = 1 +gii t+o(t).

2. pij(t) = gijt+o(t), parai =j .

Ecuaciones de Kolmogorov. En terminos de los parametros infinitesimales, laecuacion (5.2) puede escribirse en la forma

pij(t) =k

gikpkj(t). (5.6)

En terminos de matrices esta igualdad se escribe comoP(t) = G P(t), es decir,

p00(t) p01(t) p10(t) p11(t)

......

=

0 0p01

1p10 1 ...

...

p00(t) p01(t) p10(t) p11(t)

......

.

Como hemos mencionado antes, este sistema de ecuaciones se conoce como lasecuaciones hacia atrasde Kolmogorov.

Comunicacion.Se dice que el estado j es accesible desde el estado i si pij(t)> 0para algun t 0, y se escribe i j. Se dice que los estados i y j se comunicansi i j y j i, y en tal caso se escribe i j. Nuevamente puede demostrarseque la comunicacion es una relacion de equivalencia, y eso lleva a una particion delespacio de estados en clases de comunicacion. Se dice que la cadena es irreduciblecuando todos los estados pertenecen a la misma clase de comunicaci on.

Tiempos de primera visita. Para cualesquiera estados i y j , se define

Tij = nf{t > W1 : Xt = j}, cuando X0 = i.

El tiempo medio de primera visita es entonces ij =E(Tij). Cuando los estadosiyj coinciden se escribeTi, y i = E(Ti) respectivamente. A i se le llama tiempomedio de recurrencia.


35/44


Recurrencia y transitoriedad.Se dice que el estadoies transitorio si, partiendode i, con probabilidad uno el conjunto de tiempos {t 0 : Xt = i} es acotado.En cambio, se dice que es recurrente si, partiendo de i, con probabilidad uno elconjunto {t 0 : Xt = i} es no acotado. Cuando E(Ti) = se dice que el estadoi es recurrente nulo, y cuando E(Ti)< se dice que es recurrente positivo.

Distribuciones estacionarias. Una distribucion de probabilidad = {0, 1, . . .}sobre el espacio de estados {0, 1, . . .} es estacionaria para la cadena con matriz deprobabilidades de transicion Pt si para cualquier t 0, i

ipij(t) = j . Ennotacion matricial,Pt = . Si X0 tiene como distribucion inicial una distribucionestacionaria , entonces P(Xt = j) =

i ipij(t) = j , es decir, la variable Xt

tiene la misma distribucion de probabilidad para cualquier valor de t.

5.3. Procesos de nacimiento y muerte

Un proceso de nacimiento y muertees una cadena de Markov a tiempo continuocon espacio de estados {0, 1, . . .} tal que en cada salto la cadena unicamente puedebrincar una unidad hacia arriba o una unidad hacia abajo. Un salto hacia arriba seinterpreta como un nacimiento, mientras que un salto hacia abajo representa unamuerte. Estas probabilidades de saltos de un estado a otro son

pij =

ii+i

si j = i+ 1,

ii+i

si j = i 1,

0 otro caso,

en donde 0, 1, . . . y 1, 2, . . . son constantes positivas conocidas como las tasasinstantaneas de nacimiento y muerte, respectivamente. De acuerdo a las ecuacio-nes (5.5), el tiempo de estancia en el estado itiene distribucion exp(i+i), en don-de se define 0 = 0. Siguiendo la formula general del generador infinitesimal (5.4)para un proceso de saltos, tenemos que la matriz de parametros infinitesimales deeste proceso es de la siguiente forma

G=

0

0

0 0

1 (1+ 1) 1 0 0 2 (2+ 2) 2 ...

......

.


36/44

132 5.3. Procesos de nacimiento y muerte

1

2

3

t

Xt()

Figura 5.3:

Una posible trayectoria de este pro-ceso se muestra en la Figura 5.3 conX0 = 0, los saltos son unitarios, ha-cia arriba o hacia abajo. La varia-ble Xt puede interpretarse como elnumero de individuos en una pobla-cion al tiempo t, en donde puedenpresentarse nacimientos y muertes deindividuos. Como0 > 0 y0 = 0, la

poblacion puede crecer cuando se en-cuentre en el estado cero, pero nuncadecrecer por abajo de ese nivel.

Se pueden tomar las siguientes probabilidades infinitesimales como postulados paradefinir a este proceso. Para cualquier t 0, y cuandoh 0,

a) P(Xt+h Xt = 1 | Xt= k) = kh+o(h).

b) P(Xt+h Xt = 1 | Xt= k) = kh+o(h).

c) P(Xt+h Xt = 0 | Xt= k) = 1 (k+k) h+o(h).

Para cualquier t 0 y h > 0 pequeno consideremos el intervalo [0, t+ h] vistocomo [0, h] + (h, t+h]. Haciendo un analisis sobre estos intervalos puede encon-trarse nuevamente que las probabilidades pij(t) satisfacen el sistema de ecuacionesdiferenciales hacia atrasde Kolmogorov:

p0j(t) = 0p0j(t) +0p1j(t),

pij(t) = ipi1,j(t) (i+i)pij(t) +ipi+1,j(t).

De manera analoga, considerando [0, t + h] = [0, t] + (t, t + h], es posible comprobarque se cumple el sistema deecuaciones diferenciales hacia adelantede Kolmogorov:

pi0(t) = 0pi0(t) +1pi1(t),

pij(t) = j1pi,j1(t) (j+ j)pij(t) +j+1pi,j+1(t).

Ejemplo. Un proceso de Poisson es una cadena de nacimiento y muerte en dondelas tasas instantaneas de muerte 0, 1, . . . son cero, y las tasas instantaneas denacimiento0, 1, . . . son todas ellas iguales a una constante > 0. La matriz deparametros infinitesimales es entonces de la forma


37/44


G=

0 0 0 0 0 0 ...

......

.

Ejemplo. Las ecuaciones hacia adelante de Kolmogorov del proceso de Poisson son

p0(t) = p0(t).

pn(t) = pn1(t) pn(t), paran 1,

en donde pn(t) = p0n(t). Usaremos estas ecuaciones para comprobar nuevamenteque Xt tiene distribucion Poisson(t). Usando la condicion inicial p0(0) = 1, laprimera ecuacion tiene solucion p0(t) = et. Definiendo qn(t) = etpn(t), la se-gunda ecuacion se transforma en qn(t) = qn1(t), con condiciones qn(0) = 0ny q0(t) = 1. Esta nueva ecuacion se resuelve iterativamente, primero para q1(t),despues para q2(t), y as sucesivamente. En general, qn(t) = (t)

n/n! para n 0.De aqu se obtiene pn(t) = et (t)n/n!

Ejemplo. Esta es otra derivacion mas de la distribucion Poisson en el proceso dePoisson, ahora usando las ecuaciones hacia adelante de Kolmogorov y la funcion ge-neradora de probabilidad. La variable aleatoria Xt puede tomar los valores 0, 1, . . .de modo que su funcion generadora de probabilidad es

GXt(u) = E(uXt) =

n=0

pn(t) un,

para valores reales de u tales que |u| < 1, y en donde pn(t) = P(Xt = n). Con-sideraremos a esta funcion tambien como funcion del tiempo t y por comodidaden los siguientes calculos la llamaremos G(t, u). Derivando respecto de t, para elmismo radio de convergencia |u| < 1, y usando las ecuaciones hacia adelante de


38/44

134 5.3. Procesos de nacimiento y muerte

Kolmogorov para el proceso de Poisson se tiene que

G(t, u) =n=0

pn(t) un

=n=0

(pn1(t) pn(t))un

= uG(t, u) G(t, u)

= (u 1)G(u),

de donde se obtiene la ecuacion diferencialG/G= (u 1). Integrando de 0 a t yusando la condicionG(0, u) = 1 se llega a

G(t, u) = G(0, u) e(u1)t =etetu =n=0

et(t)n

n! un.

Esta es la funcion generadora de probabilidad de la distribucion Poisson(t). Por lapropiedad de unicidad se obtiene que la variableXttiene distribucion Poisson(t).


39/44


5.4. Proceso de nacimiento puro

G=

0 0 0 0 0 1 1 0 0 0 2 2 ...

......

1

2

3

t

Xt()

exp(0) ex p(1) exp(2) exp(3)

Figura 5.4:

Cuando en un proceso de na-cimiento y muerte los parame-tros 0, 1, . . . son todos ce-ro, se obtiene un proceso denacimiento puro. La matrizde parametros infinitesimales

tiene la forma que se mues-tra en la Figura 5.4, en don-de, como antes, los parame-tros 0, 1, . . . se conocen co-mo las tasas instantaneas denacimiento. En la Figura 5.4se muestra una trayectoria deeste proceso cuando inicia enel estado cero. Por construc-cion, el tiempo de estancia enel estado i tiene distribucionexponencial con parametroi.Las probabilidades de saltos son evidentementepij= 1 cuando j = i + 1, y cero en

caso contrario. Puede demostrarse que los incrementos de un proceso de nacimientopuro son independientes pero no son necesariamente estacionarios.

Un proceso de nacimiento puro puede tambien definirse mediante las siguientesprobabilidades infinitesimales: Cuandoh 0,

a) P(Xt+h Xt = 1 | Xt= k) = kh+o(h).

b) P(Xt+h Xt = 0 | Xt= k) = 1 kh+o(h).

En general no es facil encontrar una formula para las probabilidades de transicionpij(t), sin embargo cuando el estado inicial es el cero se conoce la siguiente formularecursiva.


40/44

136 5.4. Proceso de nacimiento puro

Proposicion. Para cualquiert 0 y cualquier entero n 1,

p0n(t) = n1ent

t0

ensp0,n1(s) ds. (5.7)

Demostracion. El sistema de ecuaciones diferenciales hacia adelante de Kolmogo-rov para este proceso es

pij(t) =j1pi,j1(t) jpij(t).

En particular, partiendo de cero,

p

00(t) = 0p00(t),

p

0n(t) = n1p0,n1(t) np0n(t), n 1,

con las condiciones de frontera p00(0) = 1 y p0n(0) = 0, para n 1. La primeraecuacion tiene solucionp00(t) = e0t, mientras que para el cason 1, multiplican-do por el factor integranteent y resolviendo se obtiene la formula enunciada.

De manera analoga puede definirse un proceso de muerte como un proceso denacimiento y muerte en donde los parametros de nacimiento 0, 1, . . . son todoscero. El proceso puede iniciar con una poblacion de tamano k 1, y presentarfallecimientos sucesivos hasta una posible extincion completa de la poblacion.

El proceso de Yule. Este es un tipo particular de proceso de nacimiento puro,y para el cual es posible encontrar explcitamente las probabilidades de transicion.Este proceso puede definirse a traves de los siguientes postulados:

a. El estado inicial es X0 = k 1.

b. Si Xt = n, entonces cada uno de estos elementos puede dar nacimiento a unnuevo elemento durante un periodo de longitud infinitesimalh >0 con probabilidadh+o(h), en donde >0, es decir,

P(Xt+h Xt= 1 | Xt= n) =

n

1

[ h+o(h)][1 h+o(h)]n1

= nh+o(h).


41/44


Es decir, las tasas instantaneas de nacimiento sonn= n, que crecen de maneralineal conforme la poblacion crece. El tiempo de estancia en el estado n tienedistribucion exp(n), en consecuencia el tiempo medio de estancia en ese estado es1/(n), cada vez menor conformen crece. El sistema de ecuaciones hacia adelanteparapkn(t), conn k, se reduce a

pkk(t) = k pkk(t),

pkn(t) = (n 1)pk,n1(t) n pkn(t), n k+ 1.

La formula recursiva (5.7) es, para n k+ 1,

pkn(t) = (n 1) ent

t0

enspk,n1(s) ds. (5.8)

Demostraremos a continuacion que el incremento Xt X0 tiene distribucion bino-mial negativa de parametros (r, p), con r = k yp = et.

Proposicion. pkn(t) =

n 1

n k

ekt (1 et)nk, paran k.

Demostracion. Usaremos induccion sobre n. Para n = k se tiene la ecuacion di-ferencial pkk(t) = k pkk(t), con condicion inicial pkk(0) = 1. Esto produce lasolucion pkk(t) =e

kt, que es de la forma enunciada. Para valores de n k + 1


42/44


usaremos la formula recursiva (5.8),

pkn(t) = (n 1) ent

t0

ens

n 2

n 1 k

eks (1 es)n1k ds

= (n 1)

n 2

n 1 k

ent

t0

(es)(nk) (1 es)n1k ds

= (n 1)

n 2

n 1 k

ent

t0

(1 es)1 (es 1)nk ds

= (n 1)

n 2n 1 k

ent t0

es (es 1)n1k ds

= (n 1)

n 2

n 1 k

ent

t0

1

(n k)

d

ds(es 1)nk ds

= n 1

n k

n 2

n 1 k

ent (et 1)nk

=

n 1

k 1

ekt (1 et)nk.

Notas y referencias. Una exposicion mas completa del tema de cadenas de Mar-

kov a tiempo continuo puede encontrarse en Basu [1], Karlin y Taylor [19], o Stir-zaker [36].


43/44


Ejercicios

Ecuaciones de Kolmogorov

102. Sea {Nt} un proceso de Poisson de parametro y sean Y1, Y2, . . . v.a.i.i.d.con distribucion comun Bernoulli(p). Encuentre las ecuaciones de Kolmogorovhacia atras y hacia adelante del proceso

Xt =Nt

j=1

Yj .

Resuelva cualquiera de estos sistemas de ecuaciones y demuestre que paraj i,

pij(t) = ept (pt)

ji

(j i)!.

Procesos de nacimiento y muerte

103. Para la cadena de Markov a tiempo continuo de dos estados en donde la

estancia en el estado 0 tiene distribucion exp(), y la estancia en el estado 1es exp(), demuestre que

a)p00(t) = 1+( + e

(+)t ).

b)p01(t) = 1+( e

(+)t ).

c)p10(t) = 1+

( e(+)t ).

d)p11(t) = 1+

( + e(+)t ).

104. Considere una cadena de Markov a tiempo continuo de dos estados en dondeel tiempo de estancia en cada uno de ellos tiene distribuci on exp(). DefinaNt como el numero de veces que la cadena de Markov ha efectuado saltos

hasta un tiempo t 0 cualquiera. Demuestre que {Nt} es un proceso dePoisson de parametro.


44/44


Procesos de nacimiento puro

105. Sea {Xt}un proceso de Yule con estado inicial X0 = k 1. Demuestre que

a)E(Xt) =k et.

b) Var(Xt) = k e2t (1 et).

Documents

CadenasvDe Maokov-continuos