1.14 Markov-Ketten

Inhalt:

Markovketten sind stochastische Prozesse, die die sogenannte Eigenschaft der Gedächtnislosigkeit besitzen: Der Zustand des Prozesses zum Zeitpunkt n + 1 hängt nur vom Zustand zur Zeit n, der Gegenwart, ab, nicht aber von der Vergangenheit vor n. Trotz dieser sehr vereinfachenden Annahme ist es möglich, mit Hilfe von Markovketten sehr viele Phänomene aus den Naturwissenschaften, insbesondere der Physik und der Biologie, zu modellieren.

Die Vorlesung ist dem Studium von Markovketten mit endlichem Zustandsraum gewidmet. Auf der Basis einer direkten Konstruktion der Kette als sogenannter stochastischer Algorithmus sollen wichtige Themen der Theorie der Markovketten wie Klassifizierung von endlichen Ketten, Rekurrenz und Transienz, Studium des invarianten Maßes, Dobrushin’s Ergodizitätskoeffizient oder Kac’s Lemma und Ergodensätze behandelt werden. Die Begriffe des Couplings (gemeinsame Konstruktion zweier Ketten, die von verschiedenen Positionen starten) und der Regeneration werden eingeführt, und es wird gezeigt, wie mit Hilfe des Couplings die Zeit der Konvergenz zum Gleichgewicht kontrolliert werden kann. Spezielle Modelle werden untersucht, in denen die Konvergenz gegen das Gleichgewicht abrupt erfolgt, das heißt nach einer annähernd deterministischen Zeit. Solche abrupte Konvergenz liegt zum Beispiel bei gewissen Kartenmischmodellen vor. Weiter werden perfekte Simulationsalgorithmen des invarianten Maßes konstruiert. Schließlich werden Verallgemeinerungen auf Modelle in stetiger Zeit (Poisson-Prozeß) behandelt werden.

Literatur:

1. Michel Benaim; Nicole El Karoui: Promenade aléatoire, Chaînes de Markov et simulations: martingales et stratégie. Editions de l’Ecole polytechnique, 2004.
2. Pablo A. Ferrari, Antonio Galves: Construction of Stochastic Processes, Coupling and Regeneration, Vorlesungsskript
3. Levin, David A.; Peres, Yuval; Wilmer, Elizabeth L.: Markov chains and mixing times. Providence, RI: American Mathematical Society (AMS) (2009).