1CADENAS DE MARKOV

INTRODUCCION En los problemas de tomas de decisiones, con frecuencia surge la necesidad de tomar decisiones basadas en fenmenos que tienen incertidumbre asociada a ellos. Esta incertidumbre proviene de la variacin inherente a las fuentes de esa variacin que eluden el control o proviene de la inconsistencia de los fenmenos naturales. En lugar de manejar esta variabilidad como cualitativa puede incorporarse el modelo matemtico y manejarse en forma cuantitativa. Por lo general, este tratamiento se puede lograr si el fenmeno natural muestra un cierto grado de regularidad, de manera que sea posible describir la variacin mediante un modelo probabilstico. En el siguiente trabajo se presentara modelos de probabilidad para procesos que evolucionan en el tiempo de una manera probabilstica. Tales procesos se llaman procesos estocsticos luego de introducir brevemente los procesos estocsticos generales, trataremos un tipo especial de modelo llamado Cadena de Markov, las mismas tienen la propiedad particular de que las propiedades que describen la forma en que el proceso evolucionara en el futuro dependen solo del estado actual en el que se encuentra el proceso y, por lo tanto son independientes de los eventos ocurridos en el pasado. En la actualidad muchos procesos se ajustan a estas descripciones por lo que las Cadenas de Markov constituyen una clase de modelos probabilsticos de gran importancia.

2CADENAS DE MARKOV

Una cadena de Markov es un caso especial de los procesos de Markov. Se usa para estudiar el comportamiento de ciertos sistemas estocsticos a corto y a largo plazo. PROCESOS ESTOCASTICOS DE TIEMPO CONTINUO Se de fine como una coleccin indexada de variables aleatorias (Xt), en donde el ndice t toma valores de un conjunto T dado. Con frecuencia T se toma como el conjunto de enteros no negativos y Xt representa una caracterstica de inters medible en el tiempo t por ejemplo, el proceso estocstico, x1,x2,x3, puede representar la coleccin de niveles de inventario semanales (o mensuales) de un producto dado, o puede representar la coleccin de demandas semanales (o mensuales) de este producto. Existen muchos procesos estocsticos de inters. Un estudio del comportamiento de un sistema en operacin durante algn periodo suele llevar al anlisis de un proceso estocstico con la siguiente estructura. En puntos del tiempo t etiquetados 0,1,, el sistema se encuentra exactamente en una de un nmero finito de categoras o estados mutuamente excluyentes y exhaustivos, etiquetados 0,1,, M. los puntos en el tiempo pueden encontrarse a intervalos iguales o el espacio entre ellos puede depender del comportamiento general del sistema fsico en el que se encuentra sumergido el proceso estocstico, por ejemplo, el tiempo entre ocurrencias de algn fenmeno de inters. Aunque los estados pueden constituir una caracterizacin tanto cualitativa como cuantitativa del sistema no hay prdida de generalidad con las etiquetas numricas que se usaran en adelante para denotar los estados posibles del sistema as las variables aleatorias se observan en t:0 1,2,3 y en donde cada variable aleatoria puede tomar el valor de los M + 1 enteros 0,1,,M estos enteros son una caracterizacin de los M +1 estados del proceso debe hacerse notar de que cada estado que alcanza el proceso estocstico se les da una etiqueta que nota el estado fsico del sistema. Es solo por conveniencia en la notacin que este conjunto se etiqueta 0,1,, M. Como ejemplo, considere el siguiente problema de inventarios. Una tienda de cmaras tiene en almacn un modelo especial de cmara que se puede ordenar cada semana. Sean D1, D2, las Di son variables aleatorias independientes e idnticamente distribuidas que tienen una distribucin de probabilidad conocida .Sea x0=3. El sbado en la noche la tienda hace un pedido que le entregan el lunes al momento de abrir la tienda. La tienda usa la siguiente poltica (s, S) para ordenar si el numero de cmaras al final de la semana es menor que s =1 (No hay cmaras en la tienda) ordena hasta S=3 de otra manera no colocan la orden (si se encuentran con una o ms cmaras en el almacn, no se hace el

3CADENAS DE MARKOV

pedido) se supone que las ventas se pierde cuando la demanda excede el inventario. Entonces Xt para t =0,1,es un proceso estocstico de la forma que se acaban de describir. Los estados posibles del proceso son los enteros 0, 1, 2,3 que representa el nmero posible de cmaras en inventario al final de la semana. De hecho, es claro que las variables aleatorias Xt son dependientes y se pueden evaluar en forma iterativa por medio de la expresin

Xt+1=max3-Dt+i,0 si Xt