Ecuaciones de Chapman Kolmogorov Simulación Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana

Ecuaciones de Chapman Kolmogorov

Simulación

Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana Sede Bogotá

Probabilidades de Transición en varias etapas Durante un proceso de Markov, es posible pasar de estado a estados en

una secuencia finita que tiene una probabilidad definida. Las probabilidades de transición pueden definirse a través de la

generación de un diagrama de árbol. Representan la probabilidad de pasar de un estado hacia otro en unos

determinados saltos de tiempo.


Ejemplo Probabilidad de 1 etapa

Probabilidad de 2 Etapas

Ecuaciones de Chapman - Kolmogorov


Ejemplo Suponga que toda la industria de gaseosas está compuesta

sólo por dos productos. Dado que la persona la última vez compró la gaseosa 1 hay un 90% de probabilidad de que lo vuelva a hacer en su siguiente compra. Dado que la última compra de una persona fue la gaseosa 2 hay un 80% de probabilidades de que lo vuelva hacer. Si una persona es actual comprador de la gaseosa tipo 2, ¿Cuál es

la probabilidad de que compre la gaseosa tipo 1 dos veces seguidas a partir de ahora?

Si una persona en la actualidad es comprador de la gaseosa tipo 1. ¿Cuál es la probabilidad de que compre la gaseosa tipo 1 tres veces seguidas a partir de ahora?


Probabilidades de transición de varias etapas (Matrices) Debido a la definición del cálculo de probabilidades de

transición provenientes de los principios básicos de probabilidad. Es posible representar los cálculos de probabilidades a partir de las matrices de transición.

Producto de Matrices:

Probabilidades de Transición


Clasificación de estados Trayectorias

La trayectoria de i a j es la sucesión de transiciones que comienza en i y termina en j.

Alcanzabilidad Un estado j es alcanzable desde un estado i si existe una trayectoria posible ij.

Comunicación Dos estados i y j están comunicados si j es alcanzable desde i y viceversa.

Estado Absorbente Un estado i es absorbente si la probabilidad de transición de ese estado a el mismo es 1.

Periódico El estado j será periódico de periodo k>1 si existen caminos que llevan desde j hasta j pero todos

tienen longitud que es múltiplo de k.

Estado transitorio El estado i es transitorio si hay un estado j alcanzable desde i, pero i no es alcanzable desde j. Si un

estado es no transitorio, entonces es recurrente.

Conjunto Cerrado Un conjunto des estados es cerrado si no existe una trayectoria desde el conjunto a algún estado

fuera de él.

}0|}0{{ njjqnmcdk N


Ejemplo Analizar las siguientes cadena de Markov y clasificar

sus estados.


Clasificación de Cadenas de Markov Periódicas

Si todos sus estados son periódicos, con periodo k. Ergódicas

Si todos los estado de una cadena son recurrentes, aperiódicos y se comunican entre sí.

No ergódicas Al menos uno de los estados de una cadena de Markov es no

recurrente, y/o periódico.


Ejemplo Clasificar las siguientes cadenas de Markov.

A)

B)

C)

D)


La ruina del jugador En el tiempo 0 se tiene una cantidad de $2. En los tiempos 1 y 2 …, se

participa en un juego en el que se apuesta 1. Con probabilidad p se gana el juego, y con probabilidad 1-p se pierde. El objetivo es llegar a $4, por lo que cuando lo logra se termina el juego. El juego también termina si el capital se reduce a 0.

Definir la matriz de transición. Dibujar el grafo asociado. Clasificar los estados. Clasificar la cadena de Markov.


Probabilidades Según el estado inicial El estado inicial de una cadena de Markov permite

calcular las probabilidades esperadas asociadas a cada estado después de saltos de tiempo.

Viene de la ley de Probabilidad total.


Ejemplo Con el ejemplo de las gaseosas: Supongamos que el

60% de toda la gente toma hoy Coca Cola y el 40% Pepsi. A tres compras a partir de ahora, ¿Qué fracción de los compradores estará tomando Coca Cola.


Probabilidades límite Algunas cadenas de Markov tienden a estabilizarse cuando el

número de transiciones se hace demasiado grande.

Las cadenas ergódicas tienen probabilidades de estado estable que no dependen de su estado inicial. (Todas las filas tienden a ser iguales)

Las cadenas periódicas no se estabilizan ya que su matriz de transición sigue el mismo comportamiento cada k aumentos de tiempo. En este caso, las probabilidades de largo plazo dependen de su estado inicial.

Las cadenas no ergódicas también dependen de su estado inicial para el cálculo de sus probabilidades de largo plazo.


Ejemplo


Ejemplo


Ejemplo

Probabilidades de estado estable Permiten identificar las probabilidades estables de

largo plazo (si existen). Facilitan el análisis de las cadenas de Markov a través

del entendimiento del funcionamiento del sistema. Si las probabilidades de estado estable son iguales para

todas sus filas, entonces ellas no dependen de las probabilidades de estado inicial.

De manera general las probabilidades pueden definirse de la siguiente manera.


Cálculo de probabilidades límite Según la definición de las probabilidades límite:

Para n(S)=3


Ejemplo Determinar las probabilidades límite para el ejemplo

de las gaseosas.


Ejercicio La cervecería más importante del mundo (Guiness) ha contratado a un analista de

investigación de operaciones para analizar su posición en el mercado. Están preocupados en especial por su mayor competidor (Heineken). El analista piensa que el cambio de marca se puede modelar como una cadena de Markov incluyendo tres estados, los estados G y H representan a los clientes que beben cerveza producida por las mencionadas cervecerías y el estado I representa todas las demás marcas. Los datos se toman cada mes y el analista ha construido la siguiente matriz de transición de los datos históricos.

Crear el gráfico de estados Clasifique los estados Clasifique la matriz de transición Determine las probabilidades de estado estable


Documents

Ecuaciones de Chapman Kolmogorov Simulación Simulación- Ing. Ricardo Fernando Otero - Pregrado Ingeniería Industrial – Pontificia Universidad Javeriana