Какво трябва да знаем:     Неравенство на Йенсен  
Изследване на функцията y = -x.ln x - (1-x).ln (1-x)  
Максимумът на функцията  
Приложение на производните за изследване на функции

Неравенство на Йенсен

Основни неравенства в теорията на информацията

Станчо Вълканов Павлов

Нека p1, p2 ,..., pn и x1, x2 ,..., xn са две n-торки от неотрицателни числа със сума единица.
Тогава максимумът на функцията _1Func1 се получава при pi=xi i= 1,2,3…n. ( 1 ) (При нулево pi или xi ще считаме, че съответното събираемо pi ln(xi ) е нула. ψ заема неотрицателни стойности.)
Или по-формално:
_1FormWritting   ( 1 )

Да представим x i като сума x i = p i + u i .
Тогава сумата на u i по i трябва да е нула.
Ограничения за новата променлива _1Restrction1                     Преобразуване на функцията _1Transform1
Ще покажем, че второто събираемо е по-малко или равно на u i .
В интервала (–p, +∞ ) е изпълнено неравенството:         _1InEqality

Полагаме       _1Substitution1       и разглеждаме функцията y(x) = x - ln(1+x)
Тази функция е изпъкнала в интервала (–1; +∞ ).
Минималната й стойност се получава при x = 0 и е нула.

Графика на y=x-ln(1-x) _1Graphic1 ( 2 )

Фиг. 1 Графиката на функцията y = x - ln(1+x) в интервала (-1; 1)
Следователно ln(1+x) ≤ x

Да се върнем към основната тема         от доказаното неравенство _1FromTheProofed1
Сумирайки по i и отчитайки, че Σui = 0 получаваме търсеното неравенство.
Неравенството
_1InEquality_Gibs1
изпълнено при
_1Suits1
се нарича неравенство на Гибс.


Доказването на това и други подобни неравенства се улеснява твърде много с използването на неравенството на Йенсен.

Ако f(x) е изпъкнала функция в интервала I и _1Suit2 то за всички xi от I е изпълнено _1JensenInEquality1
Равенство се получава единствено, когато всички xi са равни помежду си.

Изпъкнали функции са тези, чиито графики имат формата на „усмивка” –
_1Graphic2
Фиг.2 Графики на изпъкнали функции

Например параболата с уравнение y=f(x)= x2 е изпъкнала.
Ако p1 и p2 са неотрицателни числа със сума единица то _1JensenInEquality2
Това неравенство се доказва и без да използване на неравенството на Йенсен.

_1ShortMultiplication

Прехвърляйки дясната част отляво получаваме еквивалентното
_1EquivalentTransformation1

Лявата част на последното неравенство е
_1a^2GreaterThan0


Ще докажем неравенството между средноаритметично и средногеометрично за положителни числа
_InEqArGeom

Смело логаритмуваме двете страни и използваме неравентвото на Йенсен за вдлъбнатата функция y = ln(x).

Нека         1Suit2         Тогава в сила е неравенството         _InEqualityMaxEntropy         Равенство се получава при pi = 1/n.

Разглеждаме функцията f(x)= -x.ln(x)
_1Graphic3 ( 2 )

Фиг. 3 Графиката на функцията y = -xln(x) в интервала (0; 1)

Тя е вдлъбната в (0;1].
В неравенството Йенсен, за коефицеинтите pi полагаме всички да са 1/n.         Неравенството на Йенсен в този случай _1JensenInEquality3
Но         Заместване _1Substitution2
Така:         резултат _1Result
Съкращавайки на 1/n получаваме:         Окончателно _1AtLast


Йенсен Jensen ( 3 )

Джон Лудвиг Уийлям Валдемар Йенсен (1859 –1925) датски математик и инжинер.
Литература:
1. Леон Бриилюен Наука и теория информации,
      ГОСУДАРСТВЕННОЕ ИЗДАТЕЛЬСТВО ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ МОСКВА I960
2. Графики http://ek.roncho.net/ElMath/Functions/GraphicsInHTML/expl.html
3. http://en.wikipedia.org/wiki/Johan_Jensen_(mathematician)

Какво ще научим:
Ентропия и информация

Теория на вероятностите