Equipo 3 Cadenas de Markov

7/23/2019 Equipo 3 Cadenas de Markov

1/26

Instituto Tecnolgico de QuertaroInvestigacin de Operaciones II

INTRODUCCIN


2/26

Las cadenas de Markov reciben el nombre por Andri Andryevinch Mrkov, quien

ue un matemtico ruso conocido por sus traba!os en la teor"a de los n#meros y la

teor"a de probabilidades$

%na cadena de Markov es una sucesin de ensayos similares u observaciones en

la cual cada ensayo tiene el mismo n#mero inito de resultados posibles y endonde la probabilidad de cada resultado para un ensayo dado depende slo del

resultado del ensayo inmediatamente precedente y no de cualquier resultado

previo$

&sta herramienta nos ayuda a anali'ar el comportamiento y el gobierno de

determinados tipos de procesos estocsticos, esto es, procesos que evolucionan

de oma no determin"stica a lo largo del tiempo en torno a un con!unto de estados$

(or tanto, representa un sistema que var"a un estado a lo largo del tiempo, siendo

cada cambio una transicin del sistema$ )ichos cambios no estn

predeterminados, aunque s" lo est la probabilidad del pr*imo estado en uncinde los estados anteriores, probabilidades que son constantes a lo largo del tiempo$

+on importantes para la Ingenier"a Industrial porque se aplican en reas tales

como educacin, meradotecnia, servicios de salud, inan'as, contabilidad y

produccin$

&n los negocios, las cadenas de Markov se han utili'ado para anali'ar los

patrones de compra de los deudadores morosos, para planear las necesidades de

personal y para anali'ar el reempla'o del equipo$


3/26

PROBABILIDADE DE TRANICIN EN LA N!"I#A ETAPA

+uponga que se est estudiando una cadena de Markov con una matri' de

probabilidad de transicin conocida P. (uesto que las cadenas con las se tratara

son estacionarias, no nos molestaremos en marcar nuestras cadenas de Markov

como estacionarias-$ %na pregunta de inters es. si una cadena de Markov esten estado ien el tiempo m, /0ul es la probabilidad de que nperiodos despus la

cadena est en el estado j1 (uesto que se trata con una cadena de Markov

estacionaria, esta probabilidad es independiente de m, as" que se podr"a escribir

P=(Xm+n=j|Xm=i )=P (Xn=j|X0=i )=P ij(n)

)ondePij(n) se llama $ro%a%ilidad del n!si&o paso de una transicin del

estado ial estadoj.

2esulta claro quePij (1 )=pij $ (ara determinar Pij(2) , observe que si el

sistema ahora est en el estado i, entonces para que el sistema termine en el

estadojdos periodos a partir de ahora, se debe ir del estado ia alg#n estado ky

luego del estado k al estadoj$ &ste ra'onamiento nos permite escribir

Pij (2 )=k=1

k=s

(probabilidadde transici nde i ak)

X(probabilidad detransici n de k a j)

%sando la deinicin de P, la matri' de probabilidad de transicin, se reescribe la

ultima ecuacin como

Pij (2 )=k=1

k=s

(PikPkj)

&l lado derecho de 3- es solo el producto escalar del rengln ide la matri'Pcon

la columnaJ de la matri'P. por consiguiente,Pij(2)

es el ij4simo elemento de

la matri' P2

$ Al ampliar este ra'onamiento, se puede demostrar que para

n>1 ,

Pij (n )=ij simo elementode Pn


4/26

(or supuesto, paran=0,Pij(0 )=P (X0=j|X0=i ) , as" que se debe escribir

Pij (0 )={1 si j=i0 si j i

Pij (2 )=pi 1p 1j+p i 2p2j++p ispsj

E'e&$lo de la %e%ida de cola

+uponga que toda la industria de bebidas de cola produce solo dos$ )ado que una

persona la #ltima ve' compro cola 5, hay 678 de probabilidades de que su

siguiente compra sea cola 5$ )ado que la ultima compra de una persona ue cola

9, hay :78 de probabilidades de que su siguiente compra sea cola 9$

5$ +i una persona en la actualidad es comprador de cola 9, /cul es la

probabilidad de que compre cola 5 dos veces a partir de ahora1


5/26

9$ +i una persona en la actualidad es comprador de cola 5, /cul es la

probabilidad de que compre cola 5 tres ocasiones a partir de ahora1

olucin

;eamos la compra de cada persona como una cadena de Markov con el estado,

en cualquier tiempo dado, del tipo de cola que compro la persona en la #ltima ve'$

As", las compras de cada individuo pueden representarse como una cadena de

Markov de dos estados, donde

&stado 5< La persona compro cola del tipo 5 la #ltima ve'$

&stado 9< La persona compro cola del tipo 9 la #ltima ve'$

+i se deineXn como el tipo de cola que una persona compra en su n-sima

compra utura compra actual de cola t donde t$ 7-, interpretados como sigue.!S < r es un tiempo pasado,!S < s es el tiempo actual,!S < s 5 t es t unidades de tiempo hacia el uturo$(or lo tanto, el estado del sistema se ha observado en los tiempos tS< s y tS< r$&stos estados se etiquetan como Xs- < i yXr-


24/26

)2 (robabilidades de transicin estacionarias$

;ariables&n el anlisis de las cadenas de Markov de tiempo continuo, un con!untoimportante de variables aleatorias es el siguiente$

0ada ve' que el proceso entra en el estado i, la cantidad de tiempo que pasa enese estado antes de moverse a uno dierente es una variable aleatoria i, donde i< 7, 5, $ $ $, M$&sta distribucin tiene un solo parmetro, llmese ", donde la media es 5V" y la

uncin de distribucin acumulada es PT!i tU < 5 D e-"t, para t 7$

&ste resultado conduce a una orma equivalente para describir una cadena deMarkov de tiempo continuo.(2 La variable aleatoria !i tiene una distribucin e*ponencial con media 5V"i$)2 0uando sale de un estado i, el proceso se mueve a otro estadoj, conprobabilidad#ij, donde#ij satisace las condiciones

82 &l siguiente estado que se visita despus del estado i es independiente deltiempo que pas en el estado i$

Igual que las probabilidades de transicin de un paso tuvieron un papel primordialpara describir una cadena de Markov de tiempos discretos, el papel anlogo en elcaso de la cadena de Markov de tiempo continuo lo tienen las intensidades detransicin$Las intensidades de transicin son.

(robabilidades limitantes se conocen como las probabilidades de estado estableo#robabilidades estacionarias- de la cadena de Markov$Las $j satisacen las ecuaciones


25/26

+in embargo, las siguientes ecuaciones de estado estable proporcionan un

sistema de ecuaciones mas #til para obtener las probabilidades de estado estable.

E'e&$lo2%n taller tiene dos mquinas idnticas en operacin continua e*cepto cuando sedescomponen$ 0omo lo hacen con bastante recuencia, la tarea con ms altaprioridad para la persona de mantenimiento que traba!a tiempo completo esrepararlas cuando sea necesario$ &l tiempo que se requiere para reparar unamaquina tiene distribucin e*ponencial con media de 5V9 d"a$ %na ve' que setermina la reparacin, el tiempo que transcurre hasta la siguiente descomposturatiene distribucin e*ponencial con media de un d"a$ &stas distribuciones sonindependientes$)eina la variable aleatoriaXtS- comoXtS-< n#mero de mquinas descompuestas

en el tiempo tS, de orma que los valores posibles de XtS- son 7, 5, 9$ (or lo tanto,si se corre el parmetro tS de manera continua desde el tiempo 7, el proceso

estocastico de tiempo continuo TXtS-C tS 7U proporciona la evolucin del n#mero

de mquinas descompuestas$ 0omo tanto el tiempo de reparacin como el tiempohasta la siguiente descompostura tienen distribuciones e*ponenciales, TXtS-C tS

7U es una cadena de Marko% de tiem#o contin&o< con estados 7, 5, 9$ &n

consecuencia, se pueden usar las probabilidades de estado estable dadas en lasub4seccin anterior para encontrar la distribucin de probabilidad de estadoestable del n#mero de mquinas descompuestas$ (ara hacer esta tarea se debedeterminar todas las tasas de transicin, esto es, las "i y "ij para i,j < 7, 5, 9$&l estado n#mero de mquinas descompuestas- aumenta en 5 cuando ocurre unadescompostura y disminuye en 5 cuando se termina una reparacin$ 0omo tantolas descomposturas como las reparaciones ocurren una a la ve', q1)91y q)19 1$&l tiempo esperado de reparacin es de W d"a, de manera que la tasa a la que seterminan las reparaciones cuando hay maquinas descompuestas- es 9 por d"a, loque implica que q)(9 )y q(19 )$ )e manera similar, el tiempo esperado hasta quese descompone una maquina en operacin es de un d"a, de manera que la tasa ala que se descompone cuando est en operacin- es de un por d"aC esto implica


26/26

que q() 9 (2 )urante los tiempos en los que las dos mquinas operan, lasdescomposturas ocurren a una tasa de 5> 5 < 9 por d"a, por lo que "75

Documents

Equipo 3 Cadenas de Markov