Читать онлайн «Лекции по байесовским алгоритмам классификации»

Лекции по статистическим (байесовским) алгоритмам классификации К. В. Воронцов 16 апреля 2008 г. Материал находится в стадии разработки, может содержать ошибки и неточности. Перепечатка любых фрагментов данного материала без согласия автора является плагиатом. Содержание 1 Байесовские алгоритмы классификации 2 1. 1 Вероятностная постановка задачи классификации . . . . . . . . . . . . 2 1. 1. 1 Функционал среднего риска . . . . . . . . . . . . . . . . . . . . . 3 1. 1. 2 Оптимальное байесовское решающее правило . . . . . . . . . . . 3 1. 1. 3 Задача восстановления плотности распределения . . . . . . . . . 6 1. 2 Непараметрическая классификация . . . . . . . . . . . . . . . . . . . . . 9 1. 2. 1 Непараметрические оценки плотности . . . . . . . . . . . . . . . 9 1. 2. 2 Метод парзеновского окна . . . . . . . . . . . . . . . . . . . . . . 11 1. 3 Нормальный дискриминантный анализ . . . . . . . . . . . . . . . . . . . 14 1. 3. 1 Подстановочный алгоритм . . . . . . . . . . . . . . . . . . . . . . 18 1. 3. 2 Линейный дискриминант Фишера . . . . . . . . . . . . . . . . . . 20 1. 4 Разделение смеси распределений . . . . . . . . . . . . . . . . . . . . . . . 23 1. 4. 1 EM-алгоритм . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1. 4. 2 Смеси многомерных нормальных распределений . . . . . . . . . 29 1. 4. 3 Сеть радиальных базисных функций . . . . . . . . . . . . . . . . 32 2 К. В. Воронцов. Вычислительные методы обучения по прецедентам 1 Байесовские алгоритмы классификации Байесовский подход основан на теореме, утверждающей, что если плотности распределения каждого из классов известны, то искомый алгоритм можно выписать в явном аналитическом виде. Более того, этот алгоритм оптимален, то есть обладает минимальной вероятностью ошибок. На практике плотности распределения классов, как правило, не известны. Их приходится оценивать (восстанавливать) по обучающей выборке. В результате байесовский алгоритм перестаёт быть оптимальным, так как восстановить плотность по выборке можно только с некоторой погрешностью. Чем короче выборка, тем вы- ше шансы «подогнать» распределение под конкретные данные и столкнуться с эф- фектом переобучения. Будут рассмотрены три наиболее распространённых подхода к восстановлению плотностей: параметрический, непараметрический и расщепление смеси вероятностных распределений.