Какво трябва да знаем:     Условие за изпъкналост на функция       Неравенство на Йенсен      
                                            Изследване на функцията y=-x.ln x-(1-x).ln (1-x)
Математиката в училище

Максимумът на функцията       InEq0

Ще използваме неравенството на Йенсен
Неравенство на Йенсен -Jensen1
което е изпълнено за вдлъбнати функции, гледани отдолу – с отрицателна втора производна.
Да положим f(x)=-x.lnx,       Алфа-Alpha1       и xi = pi.
Тогава Аргумента на f в лявата страна на неравенството на Йенсен-Sum1
За сумата       Дясната страна на неравенството на Йенсен-Sum1_1       получаваме       Дясната страна на неравенството на Йенсен-SumLeft1
Да запишем резултата от заместването в неравенството на Йенсен:       Заместване-Jensen2
Да опростим:       Опростяване-Simplify1
Равенство се получава при единствено при       Равентво в неравенството на Йенсен се получава пре равенство на хикс и -Pi1
Понеже тяхната сума трябва да е 1 то       Сумата им е 1-Pi2
Изразът       Ентропия=Хаос -Entrophy1       в теорията на информацията се нарича „ентропия”.
Със pi се свързват вероятности при закон на разпределение с n възможни изхода.
Полученият резултат може да се изкаже така:

При даден случаен, дискретен процес с n възможни изхода максималната ентропия се получава когато изходите са равновероятни.

Основата на логаритъма в израза за ентропията, описваща случаен процес с n възможни изхода е естествено да се приеме равна на n.
Тогава нейната максимална стойност е 1 а минималната -0.
Минималната се получава, когато един от n-те изхода е с вероятност 1 а останалите са с вероятност 0.

Какво ще научим:    
Основни неравенства в теорията на информацията
Теория на информацията