Cadenas de Markov

Un proceso o cadena de Markov es una secuencia de eventos aleatorios en los que la probabilidad de que ocurra un evento depende únicamente del estado alcanzado en el evento anterior, no de la secuencia completa de eventos que ocurrió antes.

Formalmente, sea $\{X_n{\}}_{n\in \mathbb{N}}$ una secuencia de variables aleatorias que toman valores en un conjunto de estados $S$. Decimos que la secuencia forma una cadena de Markov si para todo $n\ge 1$ y para cualquier secuencia de estados $i_0,i_1,\dots ,i_{n-1},i_n,i_{n+1}\in S$, se cumple la propiedad de falta de memoria, o propiedad de Markov:

$$P(X_{n+1}=i_{n+1}|X_n=i_n,X_{n-1}=i_{n-1},\dots ,X_0=i_0)=P(X_{n+1}=i_{n+1}|X_n=i_n)$$

donde $P(X_{n+1}=i_{n+1}|X_n=i_n)$ es la Probabilidad condicional de que $X_{n+1}$ sea $i_{n+1}$ dado que $X_n$ es $i_n$.