Какво трябва да знаем?
Дивергенция на Кулбак-Лайблер
Станчо Павлов
Свети Кирил и Методий. Стенопис от 1848 година от Захарий Зограф (1810 - 1853) в Троянския манастир "Успение Богородично"
Условна ентропия и взаимна информация - един по-общ поглед
Условната ентропия се дефинира с равенството
.
Ако X и Y са независими, то
.
, защото p(x/x)=1.
Както ще видим по-нататък
.
За нея са приети следните означения и са изпълнени следните свойства:
?
Тези твърдения показват, че появата на нова случайност, в случая Y, увеличава хаоса на една система.
Това увеличение е толково по-голямо, колкото новата случайност е по-независима от старата.
Вярно е следното двойно неравенство, чиято втора част ще докажем по-нататък чрез използването на неравенството на Йенсен:
За съвместната ентропия на няколко случайни величини е в сила верижното правило:
В общия случай това правило изглежда така:
Взаимната информация I(X; Y) се дефинира като:
Забележете, че при означението за взаимната информация случайните величини се отделят с точка и запетая,
за разлика от ентропията.
За нея са верни свойствата:
?
Ако случайните величини X и Y са независими то тяхната взаимна информация е равна на нула.
В сила е и свойството I(X ; X) = H(X).
Условната, взаимна информация на случайните величини X и Y при условие Z се дефинира с равенството:
Изпълнено е равенството:
?
За взаимна информация, както и за ентропията, също важи верижното правило:
В общия случай това правило изглежда така:
Дефиниция на дивергенцията на Кулбак-Лайблер
Един от интуитивните начини за определянето на различието между две дискретни разпределения на случайни величини с една и съща дефиниционна област е чрез
относителната ентропия или дивергенцията на Кулбак-Лайблер.
Основавайки с на теоремите за граници се приема че:
.
Подобно е и определянето за две непрекъснати разпределения:
И в двата случая относителната ентропия може да се изрази чрез средната стойност на случайна величина от теорията на вероятностите:
По-нататък ще пропускаме индекса KL, който е съкръщение от Кулбак-Лайблер.
Пример:
Дивергенцията на Кулбак-Лайблер не е симетрична величина. За нея са изпълнени равенствата:
Да припомним, че ентропията на случайна величина се задава с
.
С Un ще означим равномерното разпределение на дискретната случайна величина,
заемаща стойности от 1 до n.
Нека Pn да е произволно друго разпределение на случайна величина със същата дефиниционна област.
Тогава дивергенцията
е равна на ентропията на Pn.
Неравенството на Йенсен с вероятностни означения
Ще използваме неравенството на Йенсен за изпъкналата функция y = lnx:
В непрекъснатия случай това неравенство има вида:
Използвайки средната стойност това неравенство се изразява така:
И във двете неравенства стойността на случайната величина може да бъде заменена с произволна функция от x ,
която ще означаваме с f(x) .
В този случай неравенството на Йенсен придобива вида
дискретния и
в непрекъснатия случай.
Използвайки означенията със средна стойност получаваме неравенството
Тук X е случайна величина с дадена функция на плътността на разпределение P,
от която се определят вероятностите p(x) .
Ще докажем втората част на двойно неравенство
:
Като използване неравенството на Йенсен получаваме:
Предложение: Дивергенцията на Кулбак-Лайблер е неотрицателна:
Доказателство
На фигурата е изобразена графиката на
Интегралът от тази функция е положителен.
Дивергенцията на Кулбак-Лайблер не е симетрична и не удовлетворява неравенството на триъгълника.
Затова тя не е метрика и се нарича "дивергенцията" а не "разстояние".
Условна относителна ентропия
Нека са дадени две съвместни разпределения на случайните величини X и Y.
Тези разпределения ще означаваме с P(X, Y) и Q(X, Y).
Тогава условната относителна ентропия на двете разпределения при условие X се дефинира с равенството:
Относителната ентропия на съвместни разпределения се разлага на сума от относителната ентропия на
съответните им прости по първите, маргинални разпределения и условната относителна ентропия:
?
Това разлагане на относителната ентропия на две съвместни разпределения се нарича верижно правило за относителната ентропия.
Какво ще научим?