Modelli markoviani
Durata: 16 ore
Periodo didattico: primo semestre
Programma
MAT/06Docente: Prof. Paolo Serafini
Programma
Lezione 1: Catene di Markov. Definizioni. Matrici di transizione. Stati transienti, ricorrenti nulli, ricorrenti positivi, periodici.
Lezione 2: Catene irriducibili. Probabilità limite e probabilità stazionaria.
Lezione 3: Catene invertibili. Metodi di calcolo.
Lezione 4: Esempi.
Lezione 5: Processi di Markov. Definizioni. Generatore infinitesimo. Matrice di transizione.
Lezione 6: Processi di Poisson.
Lezione 7: Processi di Erlang. Catene immerse. Processi subordinati.
Lezione 8: Esempi e simulazioni.
Lezione 9: Teorie delle code. Definizioni. Legge di Little. Coda M/M/1.
Lezione 10: Esempi e simulazioni.
Lezione 11: Coda M/M/m. Altre code.
Lezione 12: Tempo residuo. Coda M/G/1.
Lezione 13: Processi markoviani di decisione. Definizioni.
Lezione 14: Orizzonte finito. Calcolo della politica ottima. Esempi.
Lezione 15: Orizzonte infinito – caso scontato.
Lezione 16: Orizzonte infinito – caso medio.
