Ймовірності влучення випадкової величини

Числову характеристику законів розподілу, що   виражає  їхню невизначеність, називають ентропією. Невизначеність оцінюється тільки по ймовірностях значень випадкової величини; самі значення випадкової величини в оцінці невизначеності не фігурують. Необхідність введення невизначеності як характеристики випливає з того, що закони, що мають однакові перші моменти, можуть характеризуватися різним ступенем невизначеності.  Величину ентропії для дискретних законів розподілу визначають за формулою

Для визначення ентропії безперервної випадкової величини скористаємося виразом (3.3) у якості вихідного. Розіб'ємо шкалу рівнів безперервної випадкової величини  на невеликі ділянки  й усередині кожної ділянки виберемо крапки так, щоб виконувалася умова

Вираз (3.4) характеризує ймовірність влучення випадкової величини в інтервал . Заміна безперервної випадкової величини сукупністю дискретних значень буде тим точніше, чим менше ділянки .

Для одержання ентропії безперервної випадкової величини використовують формулу (3.3) для ентропії еквівалентної дискретної випадкової величини та здійснюють граничний перехід  при . Тоді з урахуванням умови нормування щільності ймовірності одержують вираз для ентропії безперервної випадкової величини у вигляді двох доданків, з яких перший визначається законом розподілу, а другий прагне до нескінченності:

Отже, ентропія безперервної випадкової величини  дорівнює нескінченності. Однак у реальних умовах відлік повідомлень на прийомній стороні виробляється в дискретних крапках внаслідок кінцевої точності та розв'язної здатності апаратури, тобто інтервали  мають скінченну величину, тому другий доданок у формулі (3.5) має постійну величину і зазвичай виключається з розгляду.

Перший доданок

являє собою так звану диференціальну ентропію. Диференціальна ентропія залежить від статистики повідомлень. Ентропія дискретних законів є безрозмірною величиною, а ентропія безперервних законів має розмірність самої величини .

  Доведено, що при заданій середній потужності (дисперсії ) максимальну ентропію має нормальний закон розподілу ймовірностей. Якщо ж задана пікова потужність, то максимальну ентропію має рівномірний закон розподілу. В табл. 3.1 наведені імовірнісні та інформаційні характеристики досліджуваних випадкових процесів.

  У класичній статистиці зазвичай розглядається параметрична модель: вибірка  відповідає розподілу відомого виду, тобто функція розподілу F(x) задана з точністю до одного або двох невідомих параметрів. Найчастіше припускають, що розподіл вибірки гауссів, а невідомі лише його параметри: математичне очікування –  і середньоквадратичне відхилення (СКВ) – . Зрозуміло, це досить обмежені припущення, і на практиці необхідно їх перевірити.

Оцінка параметра , отримана по вибірці, є випадковою величиною. Властивості оцінок повинні відповідати основним вимогам до оцінок:

– незміщеність –  оцінка  параметра  є незміщеною, якщо її математичне очікування дорівнює шуканому параметру: ;

– слушність – оцінка  називається слушною, якщо при збільшенні обсягу вибірки  вона прямує до істинного значення параметра (за імовірністю): , ;

– ефективність –  оцінка  називається ефективною (у визначеному класі оцінок), якщо вона має мінімальну дисперсію в цьому класі.

Ці властивості оцінок обумовлюють можливості їхнього застосування на практиці. Вимога незміщеності на практиці не завжди доцільна, оскільки оцінка з невеликим зміщенням і малою дисперсією може виявитися більш вагомою, ніж незміщена оцінка з великою дисперсією.

Основними методами оцінювання є: 1) метод максимальної правдоподібності; 2) метод моментів; 3) метод найменших квадратів (МНК).

Таблиця 3.1 - Імовірнісні та інформаційні характеристики досліджуваних випадкових процесів