Sea la Matriz de transición de una cadena de Markov. La matriz de evolución a través de pasos de tiempo, denotada como , se calcula elevando la matriz de transición a la potencia . Esto es, si partimos de una distribución de probabilidad inicial de los estados , la distribución de probabilidad después de pasos, , se calcula como:

Donde es un vector fila que representa la distribución de probabilidad inicial de los estados del sistema y es el vector fila que representa la distribución de probabilidad de los estados después de pasos.