Тема №2 Кількість інформації та ентропія.
Квантування сигналів за часом.
Вважається, що повідомлення передаються за допомогою деякого числа символів n, які надсилаються послідовно. Якщо кожен із символів може приймати m різних значень, то це m складає алфавіт , а n – довжина повідомлення. Тоді кількість повідомлень визначається як
EMBED Equation.3 EMBED Equation.3 EMBED Equation.3 - експоненціальний закон.
При m=2 (“0” або “1”) та n=3, M = 23 = 8 (тобто, 000,001,010,011,100,101,110,111).
Із збільшеням m росте і М. Між m та n є експоненційний зв’зок.
Властивості закону кількості повідомлень (інформації).
повідомлення будуються із алфавіту m символів з однаковою ймовірністю;
поява будь-якого символа на будь-якій позиції повідомлення має однакову ймовірність;
передача повідомлень проводиться по каналу зв’зку без завад, які можуть порушити умову формування повідомлень.
Адитивна міра кількості інформації. Закон Хартлі.
В 1927 році в Англії Р.Хартлі запропонував і обгрунтував “кількісну міру інформації, яка дозволяє порівнювати можливості різних систем передавати інформацію”. Оскільки між m та n є степенева залежність, то він запропонував
Лорифмічну міру інформації, яка відповідає умові адитивності (ємність суми комірок рівна ємності однієї, помноженої на кількість останніх).
EMBED Equation.3 ;
Інформаційна ємність системи EMBED Equation.3 .
Кількість інформації Ì є логарифмічною мірою числа повідомлення
За одиницю вимірювань приймають двійкову одиницю або біт (binary digit) – ємність однієї комірки з двома можливими сталими. Тоді основа логарифму а=2. і EMBED Equation.3 .
Одна двійкова одиниця – інформація елементарного випадкового повідомлення, коли є дві ситуації з однаковими ймовірностями (“ТАК”,”НІ”).
Закон Хартлі справедливий, якщо мають місце всі зауваження, які сформульовані для експоненціального закону кількості інформації.
(8біт = 1байт).
Інформація та ймовірності.
Якщо є набір М повідомлень, сформульованих у відповідності з експоненційним законом, тобто із рівномірних рівноправних символів, то всі ці повідомлення володіють однаковою ймовірністю. Тобто сума ймовірністей по цьому набору повідомлень рівна 1; тоді ймовірність одного повідомлення
EMBED Equation.3 ; або EMBED Equation.3
і тоді EMBED Equation.3 ; тобто EMBED Equation.3
Знак “-“ поставлений щоб зробити значення від логарифму додатнім log числа меншого 1, відємний. Таким чином ще одне формування закону Хартлі таке:
Кількість інформації рівна логарифму ймовірності повідомлення з протилежним знаком.
Статистистична міра інформації, Формула Шенона
Якщо ймовірності повідомлень Р не є рівним, тобто при формуванні повідомлень враховуються їх певна статистична структура, тоді кожний символ у повідомленні володіє ймовірністю Рі.
Шенон вводить поняття про середню інформацію на одне повідомлення:
EMBED Equation.3 ,
де Р(с) деяка середня ймовірність одного повідомлення.
При дуже великій кількості n символів в повідомленні вступає в силу закон великих чисел, згідно якого ймовірності символів можуть визначатися як їх частота появи в розгледуваному повідомленні.
EMBED Equation.3 ,
де Pi – відносна частота появи сигналу зі значенням I ;
ni – число символів зі значенням і ;
n – загальна довжина повідомлення.
Приклад: повідомлення 011010001100, n=12, n0=7, n1=5
EMBED Equation.3 , EMBED Equation.3 .
Ймовірність повідомлення рівна добутку ймовірностей символів на відповідних позиціях.
Р(с)=Р1*Р2*Р3 . . . Рn
Або EMBED Equation.3
Оскільки ni=npi , тоді
EMBED Equation.3
Тоді середня кількість інформації у повідомленні знаходиться як
EMBED Equation.3
EMBED Equation.3
Це формула Шенона для сигналів з нерівноймовірнісною появою символів в повідомленні.
Приклад: є два повідомлення про те що “1 липня буде сніг” та “1 липня буде дощ”:
перший випадок – Р1=1/100 (буде сніг один раз в сто років)
Р0=99/100 (не буде снігу).
EMBED Equation.3 дв.од.
Це середнея кількість на одне повідомлення за 100 років
другий випадок Р1=Р0=1/2 (або буде, або ні).
EMBED Equation.3 дв. од.
Ентропія
Ентропія – це кількість інформації, яка в середньому приходиться на один символ в повідомленні.
“Эн-mpone” (від грецького) – звертання. Ентропія – міра змістовності повідомлення.
EMBED Equation.3
EMBED PBrush
Ентропія – це міра невизначеності. Дійсно, найбільше значення Н приймає при найбільшій невизначеності (див. Графік),
Коли розглядаються повідомлення з однаковою ймовірністю Р1=Р0=0,5;
При прийомі сигналу невизначеність зрозуміло пропадає (при умові, що сигнал не був спотворений в результаті дії завади).
Надлишковість.
Надлишковість в повідомленнях виникає тоді, коли не всі символи в повідомленні несуть повне інформаційне навантаження, та визначається ентропією Н´.
Перетворення сигналів. Теорема Котельникова.
В 1933 році академік В.А. Котельников довів наступну теорему:
?t ?t ?t ?t ?t
t1 t2 t3 t4 t5
f(t)
f(t2)
f(t3)
f(t4)
EMBED Equation.3
EMBED Equation.3
EMBED Equation.3
EMBED Equation.3
t
t
t
t
t
Якщо функція F(t) неперервна і частотний спектр її не містить складових з частото, яка більша Fm(Гц),тоді вона повністю визначається сукупністю ординат, які розміщенні одна від іншої на відстань EMBED Equation.3 (сек).





На рисунку показана послідовність реалізації окремих відліків функції F(t) тобто її ординат у вигляді “функцій відліку”, Тоді F(t), неперервна,представляє собою суму в часі ряду Котельникова:
EMBED Equation.3
де n-номер вибір;
або
EMBED Equation.3
де EMBED Equation.3 ; EMBED Equation.3
На приймальній стороні припускається використання так званого “ідеального приймача Котельникова”, який повинен кожний короткий імпульс з амплітудою f(ti) перетворювати в функцію відліку зі значенням f(ti). Таким приймачем має бути ФНЧ (фільтр низьких частот ) з ідеальною характеристикою і частотою зрізу EMBED Equation.3 , рівною найвищій частоті в спектрі розглядуваної функції f(ti).
0
?m
?
Реальний ФНЧ
“ідеальний” ФНЧ
Кп



Вивід теореми Котельникова.
Згідно теореми сигнал S(t) представляється у вигляді нескінченної суми ряду
EMBED Equation.3
де EMBED Equation.3 - найвища частота в спектрі сигналу,
EMBED Equation.3 - інтервал між двома відліками на осі часу,
EMBED Equation.3 - вибірка сигналу (його значення) в точках відліку.
Властивості
EMBED Equation.3
Вточці t=n?t EMBED Equation.3 , а в точках К?t при К?n (де К-будь-яке додатнє чи відємне число). EMBED Equation.3 ;
Спектральна густина функції EMBED Equation.3 рівномірна у смузі частот EMBED Equation.3 < EMBED Equation.3 і рівна EMBED Equation.3 .
Оскільки функція EMBED Equation.3 відрізняеться від функції EMBED Equation.3 тільки зсувом на осі часу на величину n?t, то спектральна густина функції EMBED Equation.3
EMBED Equation.3 при -?<
EMBED Equation.3
0 при ?<-? та ?>?m
Тощо ряд Котельникова точно відтвонюэ вхідний S(t) чках відліку не вимагає доведення. Важливо довести, що він складає S(t) в будь – який момент часу.
Функції EMBED Equation.3 - ортогональні. Причому інтервал ортогональності рівний ?, а норма функції || EMBED Equation.3 || визначається у відповідності з:
EMBED Equation.3
Визначимо коефіцієнти ряду Фур’є розкладу S(t) на ортогональні EMBED Equation.3 : EMBED Equation.3
Прицьому виходимо з умови, що S(t) є малою функцією, що квадратично інтегрується (енергія S(t)) скінченна. Обчислюючи Сn скористаємось формулою спектру двох сигналів:
EMBED Equation.3
Границі інтегрування приведені у відповідність заданою граничною частотою ?m в спектрі сигналу, а також в спектрі EMBED Equation.3 .
Інтеграл в правій частині є не що інше, як зворотне перетворення фур’є для сигналу S(t) в момент часу t=n?t.
Тобто EMBED Equation.3
Підставивши це значення у вираз для Cn, отримуємо
EMBED Equation.3
Значення коефіцієнтів ряду є вибірками функції S(t) в точках t=n?t.
Оскільки обмеження спектру S(t) скінченною частотою забезпечує неперервність функції S(t), то ряд сходиться і функція S(t) при будь-якому значенні t.
Зменшення інтервалів між вибірками в порівнянні з величиною EMBED Equation.3 допустимо, але немає змісту. Збільшення цих інтервалів понад величину EMBED Equation.3 недопустимо.
Теорема Котельникова у застосуванні до сигналу скінченної довжини Тс.
Сигнал скінченної тривалості Тс може мати теоритично незкінченний спектр. І обмеження останнього найбільшою частотою fm можливе при припущенні того, що гармоніки з частотою f>fm складають “хвостик” сигналу.
Тоді число значень S(n?t), необхідне для повного заданнясигналезгідно до теореми, рівне EMBED Equation.3 , тобто EMBED Equation.3
Число N деколи називають числом степенів свободи сигналу, чи базою сигналу.
Енергія сигналу S(t) EMBED Equation.3
Середня потужність сигналу:
EMBED Equation.3
EMBED Equation.3 де Нентропія повідомлення.
EMBED Equation.3 , тому що при максимально можливій ентропії визначається менше число символів для даного повідомлення.
І тоді EMBED Equation.3 Надлишковість збільшує довжину повідомлень, але підвищує їх завадостійкість, що видно на прикладі людської мови, яка є розбірливою навіть при сильному шумі.
Квантування сигналів за часом.
?t ?t ?t ?t
Не перервна функція X(t) квантується з кроком квантування ?t=const.
Якщо крок квантування вибирати згідно Котельникова тобто EMBED Equation.3 , де Fm –максимальна частота, яка зберігіється в спектрі розглядуваної функції, то в результаті реального відновлення функції по окремим відліках в приймачі буде виникати достатньо велика похибка.
При визначенні кроку квантування по часу виходять із співвідношення EMBED Equation.3 , де ? - поправочнтй коефіцієнт, який залежить від типу приймача.
При лінійній інтерполяції EMBED Equation.3 , де ? - допустима відносна похибка
При ступінчастій інтерполяції EMBED Equation.3 , EMBED Equation.3
До визначення похибок квантування повернимось в наступних темах.