Читать онлайн «Математические методы распознавания образов»

1 Математические методы распознавания образов Курс лекций МГУ, ВМиК, кафедра «Математические методы прогнозирования» © Местецкий Леонид Моисеевич, 2002–2004 1 ЗАДАЧА РАСПОЗНАВАНИЯ ОБРАЗОВ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 4 1. 1 ПРЕДМЕТ РАСПОЗНАВАНИЯ ОБРАЗОВ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 4 1. 2 ПРИЗНАКИ И КЛАССИФИКАТОРЫ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 4 1. 3 КЛАССИФИКАЦИЯ С ОБУЧЕНИЕМ И БЕЗ ОБУЧЕНИЯ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . 6 1. 4 ФОРМАЛЬНАЯ ПОСТАНОВКА ЗАДАЧИ КЛАССИФИКАЦИИ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . 7 2 КЛАССИФИКАЦИЯ НА ОСНОВЕ БАЙЕСОВСКОЙ ТЕОРИИ РЕШЕНИЙ ... ... ... ... ... ... ... ... ... ... ... ... ... 8 2. 1 БАЙЕСОВСКИЙ ПОДХОД ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . 8 2. 2 ОШИБКА КЛАССИФИКАЦИИ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . 9 2. 3 МИНИМИЗАЦИЯ СРЕДНЕГО РИСКА ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 10 2. 4 ДИСКРИМИНАНТНЫЕ ФУНКЦИИ И ПОВЕРХНОСТИ РЕШЕНИЯ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 13 2. 5 БАЙЕСОВСКИЙ КЛАССИФИКАТОР ДЛЯ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 13 2. 5. 1 Квадратичная поверхность решения ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . 14 2. 5. 2 Линейная поверхность решения... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . 15 2. 5. 3 Линейная поверхность решения с диагональной матрицей ковариации... ... ... ... ... ... ... ... ... ... ... ... ... . . 16 2. 5. 4 Линейная поверхность решения с недиагональной матрицей ковариации... ... ... ... ... ... ... ... ... ... ... ... . 17 2. 5. 5 Классификаторы по минимуму расстояния... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 17 3 ЛИНЕЙНЫЙ КЛАССИФИКАТОР. АЛГОРИТМ ПЕРСЕПТРОНА ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . 19 3. 1 ЛИНЕЙНАЯ ДИСКРИМИНАНТНАЯ ФУНКЦИЯ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 19 3. 2 АЛГОРИТМ ПЕРСЕПТРОНА ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 20 3. 2. 1 Математическая модель нейрона ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 20 3. 2. 2 Алгоритм персептрона ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 21 3. 2. 3 Сходимость алгоритма персептрона ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 21 3. 2. 4 Оптимизационная интерпретация... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 22 3. 2. 5 Схема Кеслера ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . 23 4 ОПТИМАЛЬНАЯ РАЗДЕЛЯЮЩАЯ ГИПЕРПЛОСКОСТЬ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 24 4. 1 СУЩЕСТВОВАНИЕ И ЕДИНСТВЕННОСТЬ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 24 4. 2 ПОСТРОЕНИЕ ОПТИМАЛЬНОЙ РАЗДЕЛЯЮЩЕЙ ГИПЕРПЛОСКОСТИ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 25 4. 3 АЛГОРИТМ ГАУССА-ЗЕЙДЕЛЯ ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... . . 27 5 НЕЛИНЕЙНЫЙ КЛАССИФИКАТОР.