CADENAS DE MARCOV
Tabla de contenidoTipos de cadenas de Markov3Cadenas
irreducibles3Cadenas positivo-recurrentes4Cadenas regulares4Cadenas
absorbentes4Cadenas de Markov en tiempo continuo5Aplicaciones de
las cadenas de Markov (para qu sirven?).5Fsica5Meteorologa5Modelos
epidemiolgicos5Internet5Simulacin5Juegos de azar5Economa y
Finanzas6Msica6Ejemplo6
DefinicinUna cadena de Mrkov, que recibe su nombre del matemtico
ruso Andrei Andreevitch Markov (1856-1922), es una serie de
eventos, en la cual la probabilidad de que ocurra un evento depende
del evento inmediato anterior. En efecto, las cadenas de este tipo
tienen memoria. "Recuerdan" el ltimo evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento
anterior distingue a las cadenas de Mrkov de las series de eventos
independientes, como tirar una moneda al aire o un dado.Este tipo
de proceso, introducido por Mrkov en un artculo publicado en 1907,
presenta una forma de dependencia simple, pero muy til en muchos
modelos, entre las variables aleatorias que forman un proceso
estocstico. En los negocios, las cadenas de Mrkov se han utilizado
para analizar los patrones de compra de los deudores morosos, para
planear las necesidades de personal y para analizar el reemplazo de
equipo.En matemticas, se define como un proceso estocstico discreto
que cumple con la propiedad de Mrkov, es decir, si se conoce la
historia del sistema hasta su instante actual, su estado presente
resume toda la informacin relevante para describir en probabilidad
su estado futuro.Una cadena de Mrkov es una secuencia X1, X2,
X3,... de variables aleatorias. El rango de estas variables, es
llamado espacio estado, el valor de Xn es el estado del proceso en
el tiempo n. Si la distribucin de probabilidad condicional de Xn+1
en estados pasados es una funcin de Xn por s sola, entonces: Donde
xi es el estado del proceso en el instante i. La identidad mostrada
es la propiedad de Mrkov.Tipos de cadenas de MarkovCadenas
irreduciblesUna cadena de Markov se dice irreducible si se cumple
cualquiera de las siguientes condiciones (equivalentes entre s):1.
Desde cualquier estado de E se puede acceder a cualquier otro.2.
Todos los estados se comunican entre s.3. C(x)=E para algn xE.4.
C(x)=E para todo xE.5. El nico conjunto cerrado es el total.
La cadena de Ehrenfest o la caminata aleatoria sin barreras
absorbentes son ejemplos de cadenas de Markov irreducibles.Cadenas
positivo-recurrentesUna cadena de Markov se dice
positivo-recurrente si todos sus estados son positivo-recurrentes.
Si la cadena es adems irreducible es posible demostrar que existe
un nico vector de probabilidad invariante y est dado por:
Cadenas regularesUna cadena de Markov se dice regular (tambin
primitiva o ergdica) si existe alguna potencia positiva de la
matriz de transicin cuyas entradas sean todas estrictamente mayores
que cero.Cuando el espacio de estados E es finito, si P denota la
matriz de transicin de la cadena se tiene que:
donde W es una matriz con todos sus renglones iguales a un mismo
vector de probabilidad w, que resulta ser el vector de probabilidad
invariante de la cadena. En el caso de cadenas regulares, ste
vector invariante es nico.Cadenas absorbentesUna cadena de Markov
con espacio de estados finito se dice absorbente si se cumplen las
dos condiciones siguientes:1. La cadena tiene al menos un estado
absorbente.2. De cualquier estado no absorbente se accede a algn
estado absorbente.Si denotamos como A al conjunto de todos los
estados absorbentes y a su complemento como D, tenemos los
siguientes resultados:Su matriz de transicin siempre se puede
llevar a una de la forma
donde la submatriz Q corresponde a los estados del conjunto D, I
es la matriz identidad, 0 es la matriz nula y R alguna
submatriz.
, esto es, no importa en donde se encuentre la cadena,
eventualmente terminar en un estado absorbente.Cadenas de Markov en
tiempo continuoSi en lugar de considerar una secuencia discreta X1,
X2,..., Xi,.. con i indexado en el conjunto de nmeros naturales, se
consideran las variables aleatorias Xt con t que vara en un
intervalo continuo del conjunto de nmeros reales, tendremos una
cadena en tiempo continuo. Para este tipo de cadenas en tiempo
continuo la propiedad de Mrkov se expresa de la siguiente
manera:
Aplicaciones de las cadenas de Markov (para qu sirven?).FsicaLas
cadenas de Markov son usadas en muchos problemas de la termodinmica
y la fsica estadstica. Ejemplos importantes se pueden encontrar en
la Cadena de Ehrenfest o el modelo de difusin de
Laplace.MeteorologaSi consideramos el clima de una regin a travs de
distintos das, es claro que el estado actual solo depende del ltimo
estado y no de toda la historia en s, de modo que se pueden usar
cadenas de Markov para formular modelos climatolgicos
bsicos.Modelos epidemiolgicosUna importante aplicacin de las
cadenas de Markov se encuentra en el proceso Galton-Watson. ste es
un proceso de ramificacin que se puede usar, entre otras cosas,
para modelar el desarrollo de una epidemia (vase modelaje matemtico
de epidemias).InternetEl pagerank de una pgina web (usado por
google en sus motores de bsqueda) se define a travs de una cadena
de Markov, donde la posicin que tendr una pgina en el buscador ser
determinada por su peso en la distribucin estacionaria de la
cadena.SimulacinLas cadenas de Markov son utilizadas para proveer
una solucin analitica a ciertos problemas de simulacin tales como
el Modelo M/M/1.Juegos de azarSon muchos los juegos de azar que se
pueden modelar a travs de una cadena de Markov. El modelo de la
ruina del jugador, que establece la probabilidad de que una persona
que apuesta en un juego de azar finalmente termine sin dinero, es
una de las aplicaciones de las cadenas de Markov en este
rubro.Economa y FinanzasLas cadenas de Markov se pueden utilizar en
modelos simples de valuacin de opciones para determinar cundo
existe oportunidad de arbitraje, as como en el modelo de colapsos
de una bolsa de valores o para determinar la volatilidad de
precios.MsicaDiversos algoritmos de composicin musical usan cadenas
de Markov, por ejemplo el software Csound o MaxEjemploSe lanza un
dado repetidas veces. Cada vez que sale menor que 5 se pierde 1 , y
cada vez que sale 5 6 se gana 1 . El juego acaba cuando se tienen 0
100 .Sea Xt=estado de cuentas en el instante t. Tenemos que { Xt }
es una CMS={0, 1, 2, , 100}
01232/31452/32/32/32/32/31/31/31/31/310099989712/32/31/31/32/31/31/31/3
