Pokročilé metody teorie informace

Anotace:
Předmět se věnuje pokročilejším partiím teorie informace a zároveň zkoumá vztah mezi teorií informace a statistikou. Konkrétně se zabývá definicí a vlastnostmi entropie a informace pro spojité náhodné veličiny, vztahy mezi diskrétní a diferenciální entropií, rozděleními s maximální entropií a rychlostí entropie náhodných procesů. Součástí výkladu je i metoda typů a její použití pro výpočet pravděpodobností extrémálních událostí a pro ukázku existence univerzálního kódu zdroje. Dále je studován problém testování hypotéz a role Fisherovy informace v odhadování parametrů pravděpodobnostních rozdělení.

Osnova:

1. Diferenciální entropie.
2. Relativní entropie a informace pro spojité náhodné veličiny.
3. Asymptotická ekvipartiční vlastnost pro spojité náhodné veličiny.
4. Rozdělení s maximální entropií.
5. Rychlost entropie pro gaussovský proces.
6. Metoda typů.
7. Testování hypotéz a Steinovo lemma.
8. Odhady parametrů a Fisherova informace.

Klíčová slova:
Entropie a informace pro spojité náhodné veličiny, maximální entropie, rychlost entropie, metoda typů, Fisherova informace

Studijní literatura a studijní pomůcky:
Povinná literatura:
[1] Vajda, I.: Teorie informace. Vydavatelství ČVUT, Praha 2004
[2] Cover, T. M., Thomas, J. A. Elements of information theory. John Wiley & Sons, NewYork 2012
Doporučená literatura
[3] MacKay, D. J. C.. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, Cambridge 2003.
[4] Csiszár, I., Körner, J. Information theory: coding theorems for discrete memoryless systems. Cambridge University Press, Cambridge 2011