Twórcą procesów Markowa był Andriej Markow, który po raz pierwszy opisał to zagadnienie w 1906 r. Uogólnienie na przeliczalnie nieskończone przestrzenie stanów zostało opracowane przez Andrieja Kołmogorowa w 1936 r.1. Dwustanowy łańcuch Markowa do opisu modelu występowania dób deszczowych i bezdeszczowych można wykorzystać m.in. w oszacowaniu prawdopodobieństw powstawania spływów deszczowych do kanalizacji.

Zmienna losowa X(t) może mieć rozkład dyskretny bądź ciągły. Proces losowy {X(t):tT} może być dyskretnym (czyli skończonym) lub przeliczalnym zbiorem tT (jeżeli jego realizację przyjmują liczby naturalne, to jest to łańcuch losowy).
Podstawowym zagadnieniem w procesach stochastycznych jest wyznaczenie prawdopodobieństw związanych z występowaniem zmiennej losowej X(t).
Dla dyskretnej przestrzeni czasu (t = 0, 1, 2,…) prawdopodobieństwo warunkowe zapisuje się w postaci:
P[X(t+1)/X(t), X(t-1),..., X(1), X(0)] (1)
Proces Markowa to ciąg zdarzeń, w którym prawdopodobieństwo każdego zdarzenia zależy jedynie od wyniku poprzedniego.
Łańcuchy Markowa to takie procesy, które definiuje się w dyskretnej przestrzeni stanów, będącej ciągiem X1, X2, X3 zmiennych losowych. Dziedzinę tych zmiennych nazywamy przestrzenią stanów łańcucha Markowa.
Proces losowy o dyskretnym zbiorze stanów i dyskretnym zbiorze parametrów T = N = {0,1,2,…} nazywamy jednorodnym łańcuchem Markowa. <...