Читать онлайн «Понятие энтропии в теории вероятностей»

1953 г. май—июнь т. VIII, вып. 3 (55) УСПЕХИ МАТЕМАТИЧЕСКИХ НАУК ПОНЯТИЕ ЭНТРОПИИ В ТЕОРИИ ВЕРОЯТНОСТЕЙ А. Я. Х и н ч и н Общая схема взаимной связи научной теории с практикой, даваема*! диалектико-материалистической теорией познания, для математической науки превосходно выражена хорошо известными словами П. Л. Чебышева (в его статье «О черчении географических карт»): «сближение теории с практикой даёт самые благоприятные результаты, и не одна только практика от этого выигрывает: сами науки развиваются под влиянием её; она открывает им новые предметы для исследования или новые стороны в предметах давно известных». Убедительный пример явления, описанного Чебышевьш, даёт нам выросшее за самые последние годы из нужд практики понятие энтропии в теории вероятностей. Это понятие возникло впервые при попытках соз­ дать теоретическое обоснование для передачи информации различного рода; оно вводилось первоначально в тесной связи с передающими установками того или другого определённого типа. Лишь постепенно было осознано его общетеоретическое значение, установлены его общие свойства и общие схемы его практических приложений. Однако и до сих пор сколько-нибудь цельное изложение теории энтропии можно найти только в специальных статьях и монографиях, посвященных вопросам передачи информации; хотя учение об энтропии фактически выросло уже в важную и содержательную главу общей теории вероятностей, изложение его в этом общетеоретическом плане до сих пор отсутствует. Настоящая статья представляет собой первый опыт такого изло­ жения. При составлении её я опирался главным образом на работу Шеннона «Математическая теория сообщений» [1]. Однако изложение Шен­ нона не всегда в достаточной степени полно и математически кор­ ректно, так что помимо естественной необходимости освободить теорию от практических деталей мне пришлось во многом дополнять и изме­ нять как формулировки определений и теорем, так и доказательства последних. Можно не сомневаться, что учение об энтропии в ближайшие годы должно стать неотъемлемой главой теории вероятностей; поэтому проде­ ланная мной работа представляется мне необходимым этапом в разви­ тии этого учения. 4" А. Я . Х И Н Ч И Н 1. ЭНТРОПИЯ КОНЕЧНЫХ СХЕМ П о л н о й с и с т е м о й с о б ы т и и Ал, А2, . . . , Аь в теории вероятностей называют такую группу событий, что в каждом испытании обязательно насту­ пает одно и только одно из них (выпадение 1, 2, 3, 4, 5 или 6 при бросании игральной кости). В случае п = 2 мы имеем простую альтернативу (пару п р о т и в о п о л о ж н ы х событий: выпадение герба или надписи при броса­ нии монеты). Если события Av А?, . . . , Ап некоторой полной системы и то мы заданы вместе с их вероятностями pv /л,, . . . ,рп (р- > 0 , 2 Р\ ~- 1)> 1-1 условимся говорить, что нам задана к о н е ч н а я схема А-( **•-•*•). ,„ \ Pi P-1 ••• Ра I В случае «правильной» игральной кости, обозначая черва А1 ( ] < ; ' <(>) выпадение i очков, мы имеем конечную схему Л, Л.