Кількість інформації та Ентропія
Лабораторна робота: Аналіз інформаційних характеристик джерел.
📚 Формули та визначення
Кількість інформації — це апостеріорна характеристика, а ентропія — апріорна міра невизначеності стану джерела.
- Індивідуальна інформація: I(Xi) = -log2 P(Xi).
- Безумовна ентропія: H(X) = -Σ p(Xi) log p(Xi).
- Умовна ентропія: H(X/Y) = Σ p(yj) H(X/yj).
🔢 Кількість інформації в ансамблі
// Очікування введення даних...
📊 Безумовна та Максимальна ентропія
// Очікування введення даних...
🧩 Умовна ентропія джерела
// Очікування введення даних...