WWW.DISS.SELUK.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА
(Авторефераты, диссертации, методички, учебные программы, монографии)

 

Pages:   || 2 | 3 | 4 |

«КУРС ЛЕКЦИЙ по специальному курсу Теория принятия решений и распознавания образов Учебное пособие для студентов факультета радиофизики и электроники Минск 2005 1 УДК 681.31:621.38 ББК ...»

-- [ Страница 1 ] --

ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

Факультет радиофизики и электроники

Кафедра интеллектуальных систем

КУРС ЛЕКЦИЙ

по специальному курсу

«Теория принятия решений и распознавания образов»

Учебное пособие для студентов

факультета радиофизики и электроники

Минск

2005

1

УДК 681.31:621.38 ББК 32.841я43+32.85я43 ISBN 5-06-0004597 Рецензенты доктор технических наук В. А. Зайка кандидат технических наук, доцент А. А. Белый Рекомендовано Ученым советом факультета радиофизики и электроники 2003 г., протокол №_ Шестаков К. М.

Р15 Курс лекций по специальному курсу «Теория принятия решений и распознавания образов»: Учебное пособие для студентов факультета радиофизики и электроники. – Мн.: БГУ, 2005. –.

ISBN 985-445- Рассматривается методика формирования описаний классов и ситуаций, составления алфавита признаков и его минимизации, распознавания образов по цветовому описанию, геометрическим параметрам, а также по принятию решений в интеллектуальных системах. Теоретические сведения помогают разрабатывать рациональные алгоритмы процедур поддержки принятия решений, распознавания образов и реализовывать их в современных средах программирования.

Предназначено для студентов факультета радиофизики и электроники.

УДК 681.31:621. ББК 32.841я43+32.85я ISBN 5-06- © БГУ,

ВВЕДЕНИЕ

Промышленность развитых стран, банковские структуры, службы охраны, правоохранительные органы широко используют системы технического зрения для управления технологическими процессами, сортировки изделий, автоматизированной дактилоскопии, охраны и т. п. Применение этих систем создает базу для построения полностью автоматизированного производства, роботизированных предприятий торговли и т.д. Развитее компьютерных технологий в последнее десятилетие вывело в практическую плоскость задачу создания систем с элементами искусственного интеллекта. Теория принятия решений важнейшее звено в формировании математического базиса таких систем.

Рост вычислительной мощности цифровых систем обработки данных, удешевление компонентов мультимедийной аппаратуры сделали реальными, в приемлемом диапазоне цен, разработку и создание автоматизированных комплексов по идентификации объектов на базе их двумерных и трехмерных описаний. Использование таких комплексов в охранных системах банков, различных предприятий работающих с клиентами позволит повысить качество обслуживания и надежность проводимых операций, а также позволит автоматизировать технологический процесс сборки и контроля промышленной продукции, особенно на конвейерах.





В пособии анализируются истоки курса теории принятия решений. Основное внимание уделяется современным методам анализа ситуаций, образов, классическим и производным критериям принятия решений.

Рассмотрены модели используемые для описания риска и полезности, количественным характеристикам ситуаций возникающих при принятии решений. Правила выбора решений при распознавании образов, оптимизация процесса распознавания, вероятностные модели компонентов пространства признаков, правила проверки гипотез.

Учебное пособие ориентировано и на специалистов, работающих в области компьютерных систем и технологий.

1. Истоки курса теории принятия решений и распознавания образов 1.1. Введение в проблематику курса Курс тесно связан с понятием – “интеллектуальные системы”. В прошлом термин «интеллект» можно было применить напрямую только к человеку. Различные науки выделяли отдельные признаки, пытаясь дать определение данному понятию. Вот некоторые из них.

Наука Биология Психология Философия Что Способность Характеристика ум- Познание, понимание, такое человека ственного развития, рассудочная способинтел адекватно определяющая его ность к абстрактноанател- реагировать способность целесо- литическому расчленелект на изменение образно действовать, нию (Гегель); способокружающей рационально мыс- ность к образованию среды. лить. понятий (Кант).

В двадцатом столетии в области исследования интеллекта сформировались два важных научных направления:

- распознавание образов;

- принятие решений.

Теория принятия решений и теория распознавания образов прочно вошли в математический базис интеллектуальных систем, составляя сердцевину теории искусственного интеллекта. Они имеют довольно много схожего, как в предмете, методике исследования так и в приложении результатов. Зарождение данных направлений связано с появлением компьютеров. Носителем результатов исследований стало программное обеспечение, а в отдельных случаях и архитектура вычислительных сред.

Собственно интеллектуальность в искусственных системах присуще именно программным продуктам или, если говорить более обобщенно, наполнению памяти и переключателей связей интеллектуальных систем.

В подавляющем большинстве своем аппаратные средства современных компьютеров и системы на их основе в той или иной степени потенциально интеллектуальны, но только построенный по определенным принципам программный продукт добавляет им это свойство. Сегодня мы только приближаемся к построению программ способных распознавать другие программные продукты, определять их свойства, задействовать их функции в своих задачах. Такие виртуальные миры дело будущего и думается ближайшего.





В средах же программирования на уровне компиляторов, процессы заимствования идут полным ходом и составляют важнейшие парадигмы современного программирования. Начинаются они с присвоения программному продукту уникального имени – идентификатора и продолжаются до объявления доступных объектов и их свойств передаваемых через интерфейсы COM, CORBA и т.п.

Однако признаки искусственного интеллекта и их возможные носители (задача о приделах возможностей технической системы в оценке ситуации) исторически рассматривались довольно давно. Декарт, Лейбниц делали попытки сравнить человека с машиной в области умственной деятельности. Легендарные прообразы искусственных интеллектуальных систем - Франкенштейн, Голлем отображали и страх человека перед механическими существами, наделенными искусственным разумом.

Но реально, только в сороковые годы прошлого столетия началось освоение предметной области.

У.Р. Эшби в связи с началом работ по моделированию интеллектуальной деятельности человека ввел понятие “самоорганизующаяся система”.

В 1955-1956 г. Дж. Маккарти впервые употребил термин “искусственный интеллект”, который и получил дальнейшее развитие, став обозначением обширной области науки и техники. Между ними работа Алана Тьюринга “ Может ли машина мыслить” (1950), в которой наиболее просто ставится вопрос о достижении границы искусственного разума.

Стала стандартом и процедура Тьюринга: А задает вопросы В и С отвечают, В или С – машина. Необходимо по ответам распознать машину.

Испытания по данному тесту продолжаются до сего времени.

Интересно и то, что одновременно были высказаны количественные оценки требуемой мощности аппаратных средств. Например, объем памяти компьютера в миллиард бит должен быть достаточен для 5 минутного общения среднего человека с 70% вероятностным исходом не распознавания машины, как источника ответов. Достижение этой границы автор предсказывал через 50 лет.

Однако по мере развития науки о искусственном интеллекте изменяются и прогнозы. Один из них – компьютер производительностью в миллиард операций в секунду, с памятью объемом 1012 1015 бит с временем доступа 50 нс потенциально достаточен для принятия решений при неполном описании ситуации с логической надежностью близкой к человеку. Сегодня данным требованиям практически удовлетворяет персональный компьютер.

Последние десятилетия наибольшие успехи в области интеллектуальных систем достигнуты в решении частных задач. Текущее столетие же переводит в практическую плоскость решение следующих вопросов:

- Сможет ли человек познать процесс анализа ситуации, принятия решений идущий в его мозге?

- Можно ли вложить полученные знания в архитектуру технической системы, ее программное обеспечение?

- Сможет ли искусственная система превзойти своего создателя, быть «умнее» его?

Как шутил кибернетик И.А. Полетаев «Определите, что такое мышление и мы его быстренько запрограммируем».

Внешне проявление осмысленного участия кого то в принятии «разумных» решений выглядит как его правильность, оптимальность, доказанные по прошествии некоторого времени, достаточного для исчезновения неопределенности в оценки последствий этого решения.

Принимаемые решения – правильны, если они предполагают риск не выше допустимого и дают наибольший выигрыш по априорной информации о ситуации. Поведение системы, принимающей правильные решения, часто называют стандартным.

«Разумные» решения дают наибольший выигрыш по апостериорным данным, полученным по прошествии принятия решения.

Можно считать что системы «думают не стандартно», если разница выигрыша от принятия ими «разумных» решений по сравнению с последствиями правильных решений существенна. Конечно наиболее просто такой результат выявляется в конкурирующей среде многих систем с различным поведением, направляемых через механизм конкуренции.

При этом, так же ощутимый процент участников проигрывает системам, принимающим правильные решения.

Интеллектуальные системы потенциально обучаемы, если они содержат средства корректировки решающих правил, метрик пространств, в которых анализируются ситуации и оснащены техническими средствами получения информации о последствиях принимаемых решений.

Однако не следует упрощать проблему понимания механизмов функционирования мозга человека. Это задача не только столетий но и, думается, тысячелетий. Весьма серьезные исследователи функций мозга не отвергают и гипотез о вне земном происхождении мысли.

В двадцатом столетии значительную нагрузку в области умственной деятельности взяли на себя САПР, созданные для различных областей деятельности человека, сократив в десятки и сотни раз затраты человекочасов, необходимых для выполнения явно интеллектуальных задач в разработке, проектировании, проведении экспериментов и анализе их результатов. Эти системы не конкурируют с человеком, а дополняют его способности. Но без них создание конкурентно способных изделий не реально.

Технические системы начинают распознавать речь человека и подражать ему в ответах, имитируя ритм и тон собеседника, ведутся работы в области распознавания слов по движениям губ. Они берут на себя управление самолетами, автомашинами на испытательных трассах и оценивают ситуацию не редко более правильно, чем это делает человек. В конкурентную схватку они вступили на игровых полигонах – шахматах и др.

Роботы-гуманоиды соревнуются между собой в лиге гуманоидов на футбольных полях. Перед разработчиками ставится задача в обозримом будущем выставить команду для игры с командами людей и обыгрывать последних.

Все эти признаки показывают стремительный рост реальных научных достижений в распознавании образов и принятии решений техническими системами.

Начинаются работы по стандартизации конструкции роботов, их внутренней электроники, беспроводных интерфейсов, системам навигации. Эти процессы сосредоточены в одних руках, их координируют специалисты фирмы Intel и связаны в основном с продвижением линейки процессоров технологии Xscale, но данная отрасль привлекает интересы многих производителей, что должно привести к появлению и независимой организации по стандартизации систем.

Теория принятия решений в определенном смысле более общая наука, чем теория распознавания образов, она как бы поглощает последнюю. Но исторически сложилось так, что как в теории так и в практике достижения в распознавание образов, существенно опередили применение выводов теории принятия решений. Да и наработанный материал, введенные термины вносят свою специфику. На рис.1. приведены узловые интегральные операции построения выводов в обеих науках.

Рис.1. Последовательность действий при распознавании образов (а) и принятии решений (б) Курс состоит из двух дополняющих друг друга разделов. Вопросам подготовки описания ситуации наибольшее внимание будет уделено в разделе теория распознавания образов (ТРО), а формирование окончательного вывода детально рассматривается в разделе теория принятия решений (ТПР).

1.2. Краткий анализ рекомендуемых литературных источников Рассматриваемые в курсе вопросы тесно связаны с предметной областью теорий статистических выводов, игр, оценок, полезности, планирования эксперимента, оптимального управлением, оптимальной обработки сигналов и т. п.

Математическая статистика, дающая наиболее гибкие инструменты для анализа экспериментальных данных, часто рассматривается и с активной позиции, как наука о статистических решениях, вырабатывающая рекомендации по выбору оптимальных способов поведения и управления в случайных ситуациях. Именно в этом понимании, она является базой теорий принятия решения и распознавания образов.

В определенной степени указанные науки вошли в математический базис кибернетики [1]. Математические модели, описывающие случайные процессы рассматриваемые в курсе, достаточно полно изложены в учебном пособии [2]. Однако, каждый слушатель в вопросах связанных с приложениями теории вероятностей [3] может опираться и только на полученные знания в университете и те литературные источники, которые он изучал.

В работах [4-9] рассмотрена специфика наработанного материала по формирования образов, идентификации объектов в различных областях.

Монография Себестиана [10], вышедшая в 1962 году, в области распознавания образов является первой работой, интегрирующей результаты исследований в США. Как говорится в предисловии редактора перевода, только эта страна в то время обладала вычислительными машинами с огромной оперативной памятью в 100 тысяч слов, которые необходимы для ведения работ в данной области.

Книга написана как учебное пособие, математический аппарат строг, но просто изложен. Практически все узловые вопросы современной теории распознавания образов обозначены. Изображения трактуются как вектора в пространстве признаков. В этом пространстве определены метрики и расстояние. Распознаваемые подмножества в этом пространстве, определены как классы.

Метрика пространства признаков преобразуется для повышения компактности классов. Вероятность принадлежности нового объекта к данному классу оценивается через функцию подобия. Разделяющая функция относит точку в пространстве признаков к тому классу, которому она наиболее подобна. Классификация рассматривается как задача теории решений. Решающее правило минимизирует риск при распознавании.

Рассмотрены и вопросы обучения, нейросетевые приложения в распознавании и т. п.

В монографии Вапника В.Н. и Червоненко А.Я. [11] основной акцент делается на обучение систем распознавания образов, в частности применительно к нейросетевым структурам.

В работе Дуда Р., Харта П. [12] очень хорошо изложены основы байесовского подхода к распознаванию образов и принятия решений.

Цикл лекций Гренандера У. [13-15] подытоживает развитее науки о распознавании в период ее становления.

В монографии Патрика Э. [16] излагаются вопросы теории распознавания образов на академическом уровне, с довольно абстрактным математическим аппаратом. Она полезна для углубленного изучения вопроса.

Учебные пособия [17-18] образуют предельно минимальный набор литературных источников, дополняющих курс лекций.

В последние годы наибольшее применение в описании проблематики теории принятия решений находит понятие нечеткой информации, модели и их анализа. Такой подход можно изучить по работам [19-23].

Последующие работы [24-44] дополняют список литературы, конкретизируя отдельные вопросы, рассматриваемые в курсе. Как правило, смысловое содержание названия книги соответствует специфике рассматриваемого в ней вопроса.

Лабораторные практикумы позволят Вам получить навыки в формировании образов – [42], их обработке и принятию решений применительно к специфике курса – [43].

2.1. Статистические модели в описании объектов, признаков, образов, классов, ситуаций и процедур Предметом анализа ТПР и ТРО являются объекты различной физической, химической, биологической, социальной природы. Это могут быть изображения, звуки, описания рыночной конъюнктуры по виду товара в определенной области земного шара, математические формулы, концепции и т. п.

В результате анализа формируется математическая модель объекта – вспомогательный искусственный объект, имеющий сходство с оригиналом в определенном пространстве его свойств и характеристик. Модель должна удерживать только полезные для изучения свойства объекта, это один из наиболее очевидных путей получения более простого представления об оригинале, чем он сам.

Модель должна быть при последующем использовании адекватна оригиналу с заданной точностью, удерживать частное в общем в конкретной группе задач, эффективна (проще, удобнее или давать новую информацию об объекте), экономична т.е. не требовать для анализа больших ресурсов, чаще вычислительных, чем имеет исследователь в своем распоряжении для решения поставленной задачи.

Процесс создания модели включает в себя следующие механизмы:

определения состава (кортежа, алфавита) свойств объекта, подлежащих исследованию, составление набора технических средств для оценки выбранных свойств объекта, получения сведений (опыта, знаний), от других систем об свойствах подобных объектов, использование аналогий, анализ всех данных для формирования описания области существования объекта в пространстве обозначенных свойств.

Можно выделить две цели, преследуемых при анализе конкретного объекта:

1. Составление описания группы схожих объектов (класса), в пространстве выбранных свойств (признаков);

2. Отнесения текущего объекта к одной из обозначенных групп (классов).

В системах с самообучением, как правило, параллельно стремятся достичь обе цели.

Свойства объекта в математической формулировке – переменные могут быть детерминированными и случайными, числовыми и лингвистическими. Детерминированные числовые не требуют пояснения. Числовые случайные и лингвистические переменные рассмотрим подробнее.

Лингвистическая переменная описывается кортежем где: X – имя переменной (пример из [19] о возрасте на шкале лет - молодой);

T(X) – множество значений переменной (термы) (очень молодой, молодой, старый, очень старый);

U – универсальное множество (универсум), на котором задана переменная (возраст), такое множество удерживает свойства всех объектов (например: множество всех действительных чисел, на шкале которого задается возраст, или множество всех комплексных чисел используемых для отображения спектральных образов колебательных процессов);

G – синтаксическое правило, порождающее термы;

P – семантическое правило, ставящее каждому X его смысл, P(X) – нечеткое множество заданное на U (27 лет – молодой, 62 года – старый или очень старый).

Семантическое правило может выдавать и цифры, например вероятности, в данной точке U существования конкретного терма.

Область существования свойств X на U реально может быть ограничена. Ограничения на существование x в u отображаются зависимостями R(x;u). Они допускают только те x=u, которые удовлетворяют условию u R (x). Например: возраст человека ограничивается диапазоном чисел от 0 до 200.

Рис.2. Области задания лингвистических переменных (ин, ик, нн, нк, ндн, ндк – начало и конец идеальной, нечеткой, недопустимой областей) На рис.2 представлены примеры областей задания логических переменных: 2а – на оси одного свойства, 2б – в пространстве трех свойств на поверхности.

Наряду с ограничениями задается и семантическое правило формирования имени переменной. На рис. 2в приведен пример задания вероятности P определения конкретного значения переменной в границах нечеткой области.

Причиной появления не четкого описания переменных служат:

1. Ограничения на ресурсы измерительных средств, средств наблюдения, средств очувствления и т. д. приводят к описанию объекта в нечеткой словесной (символьной) форме.

2. Пакет передачи опыта включает в себя и совокупность не четких правил. Оценки свойств интервальные или заданы по экспертным заключениям с разрешением не достаточным для проведения анализа.

3. В процессе создания (жизни) объекта реализуется ряд альтернативных вариантов промежуточных решений по его самоорганизации, которые приводят к неопределенности свойств объекта, появляется нечеткое описание свойств, например, образ самолета противника.

4. В описании цели присутствует ряд не четко заданных словесных конструкций.

Различают так же синтаксическую нечеткость (Железные болты и гайки. Ограничение, железные, действует только на болты или и на гайки тоже) и семантическую – не ясен смысл фразы. Часто в литературе встречаются термины: случайные исходы, нечеткая информация, нечеткая функция полезности, нечеткая цель и т. п. Новая терминология порождает и новую формулировку задач, как, например. Интерпретация вероятности и возможности на основе распределения уверенности.

Лингвистические переменные в первом приближении можно оцифровать, ранжировав их по эффективности. Тогда переменная превращается в вектор, число степеней свободы которого равно числу ее термов. Далее эффективно используется аппарат анализа числовых случайных переменных.

Случайной функцией называется функция, значение которой при каждом данном значении аргумента (или нескольких аргументов) является случайной величиной. Всякая функция, которой оказывается равна случайная в результате опыта, называется реализацией случайной функции.

Скалярная функция одного скалярного вещественного аргумента (в качестве которого обычно выступает время) называется случайным процессом. Случайная функция нескольких скалярных вещественных аргументов (обычно координат точек пространства) называется случайным полем.

Случайная величина, событие появляется в некотором пространстве размерностью n. Это пространство определено в классической теории вероятностей, как пространство исходов. Размерность пространства зависит от числа составляющих случайную величину частей (компонентов) и возможных числовых значений (уровней), которые могут принимать эти компоненты. В компьютерных приложениях, как правило, число разрешимых уровней i для i -го компонента принимается равным i = 2ti, где ti - целое число.

Изображения имеют некоторую специфику формирования потока данных. Растровые форматы представления изображений передают информацию о нем по точкам. Если точка (пиксель) характеризуется кодированием цвета с ti = 1, то говорят о бинарном представлении i - компоненты, при ti 1 - о полутоновом. Точка обычно представлена в трех RGB или четырех RGB компонентном пространстве, в последнем случае добавляется - компонента, характеризующая прозрачность пикселя.

Трех компонентное пространство в целочисленном представлении для полутонового описания пикселя может быть представлено в формате с перекодировкой, это 16 - и 256 - цветные модели. Такой файл описания изображений сопровождается перекодировочной таблицей. По таблице коды преобразуются в представление без кодировки с ti = 8. Эти форматы получили еще название индексированных. Элемент матрицы ai,j является указателем на таблицу цветов. Число используемых цветов равно 2K, где K - количество бит, используемый для хранения элемента матрицы.

Цвета в указываемой таблице могут кодироваться другим числом бит.

Например, в 256 цветовых режимах видеоадаптеров выбирается 256 цветов из 262144 возможных, так как выбираемые цвета представляются в RGB формате и для каждой цветовой компоненты кодируется 6-ю битами. Существует много методов преобразования многоканальных изображения в индексированные (Error diffusion, ближайшего цвета...).

Форматы без перекодировки включают в себя и варианты с комбинациями t R = 5, tG = 6, t B = 5 и ti = 5.

Однако в практике систем распознавания образов более правильно обрабатывать сигналы непосредственно с АЦП CCD или SMOS матриц приборов наблюдения.

Монохромные приборы дают однокомпонентное описание точки с t = 8, 10, 12, 14 и у приборов ультра высокого качества t = 16.

Описание точки с цветных приборов существенно усложнено. На рисунках 3, 4 приведены варианты нанесения цветовых фильтров на фотоприемники матрицы.

Рис.3. Однородное заполнение Рис.4. Выделен зеленый цвет Каждый фотоприемник поставляет сигнал, который с учетом окружения перекодируется в RGB представление цифровым процессором сигналов камеры. Однако указанное не исчерпывает всех вариантов встречающихся описаний изображений. Дальнейшие преобразования продолжают изменения.

Представление пикселя в распространенных цветовых системах приведено в таблице 1.

Такие преобразования, естественные для восприятия изображения человеком или удобные для передачи данных, печати в системах распознавания является дополнительными, зашумляющими сигнал операциями.

Кроме того при изменении соотношения цветовых составляющих смещаются оценки положения границ объектов, что в высокоточных приборах не допустимо.

При цветовых преобразованиях необходимо также помнить, что между цветовыми моделями CIE, CMY, RGB, YIQ существуют аффинные преобразования, тогда, как между HLS и HSV- нет. Данное обстоятельство будет заметно, если изображение, содержащее непрерывные цветовые переходы, переводить, например, из HLS в RGB (на изображениях может появиться разрыв непрерывности).

Наиболее эффективно вести распознавание получив «чистый» сигнал с матрицы. Но на практике это решение не всегда возможно. Цифровые процессоры сигналов камеры наблюдения, последующих устройств формируют сигналы в одном из указанных стандартов и обратное преобразование не эффективно, так как первичная информация частично потеряна.

Не редко отличительными признаками могут являться сами компоненты стандартного сигнала, например, цветовой тон в стандарте HSB. Поэтому все указанные кодировки сигналов встречаются в задачах распознавания.

Как следует из выше сказанного в современных системах с распознаванием изображений описание пикселя представляется 8-16 битами, которое может первичным преобразованием увеличиваться до 24-32 битного.

Распознаваемый объект представлен j пикселями. Тогда объем пространства исходов Специфика описания ситуации в задачах распознавания образов и принятия решений в значительной величине объема пространства исходов. Даже для сегмента описания объекта 3 3 и с 24 - битным представлением пикселя он превышает 10 65.

Наряду с пространством исходов в математической статистике вводятся понятия F - - алгебры подмножеств заданных на. Которое определяет совокупность подмножеств множества, базирующихся на теоретико-множественных операциях – объединении, пересечении, образовании дополнения и замкнутых относительно счетных объединений. В ТПР особенно актуален расчет метрики пространства, она определяет расстояния между объектами и в конечном итоге потери при не правильных решениях.

Третий объект P - вероятность на F.

Набор объектов (, F, P ) называется вероятностной моделью или вероятностным пространством задачи и полностью описывает ситуацию, если определены в нем все рассматриваемые классы, цели и потери.

Обозначим результаты наблюдения, заданные в пространстве исходов, X t, где t, - целые положительные числа. Для текущего наблюдения моменты съема информации будем считать расположенными во времени равномерно. Отсчет t будем вести от нуля в каждом новом наблюдении. Разность t k или t 0 индексирует данные опыта, которые или предшествовали текущему наблюдению, или отстоят от текущего отсчета на расстоянии большем, чем расстояние влияния (корреляции) k. При k мы имеем текущую обучающую выборку, которая влияет на вывод в момент времени.

Данные опыта, дополненные оценками результатов распознавания, принятия решений и составляют априорную информацию об объекте исследования на момент начала текущего наблюдения. Как следует из определения, вероятностное пространство можно считать заданным если известно Pj для всех распознаваемых классов, ситуаций ( j - индекс класса). Исследователь сам решает интегральную или дифференциальную форму описания (функция распределения или плотность вероятности) использовать на практике. Однако большее распространение получила дифференциальная форма. Она более наглядна. Рассмотрим несколько часто используемых функций распределения вероятности.

Нормальное распределение.

Рис. 5. Нормированная плотность одномерного нормального распределения Его плотность (рис. 5) зависит от двух параметров - среднеквадратичного отклонения и µ - математического ожидания.

Вид нормированной функции распределения для нормального закоx Рис. 6. Нормированная интегральная функция одномерного нормального распределения ( =1, µ =0) Нормальный закон в ТРО и ТПР используется довольно часто. Он хорошо подходит для оценки симметричных, много причинных случайных событий при слабом доминировании какой либо из причин. В описании шумовых сигналов, подчиняющихся нормальному закону, утвердился термин – белый шум (обычно шум от многих источников практически равной энергии).

В игровых ситуациях нередко приходится иметь дело с событиями, образами, плотность распределения вероятности появления которых близка к равномерному закону распределения.

На рис 7-8 приведены нормированные функции дифференциальная и интегральная для равномерного распределения вероятности.

Рис. 7. Нормированная плотность од- Рис. 8. Нормированная интегральная номерного равномерного распределе- функция одномерного равномерного Равномерное распределение вероятности задается как правило на слитном участке оси пространства исходов. Хотя такой признак не обязателен, в сложных системах отдельные участки на оси могут быть запрещены и события в них не появляются.

Для равномерного закона при нулевом значении центра интервала Это примеры симметричных законов распределения. Многие образы имеют тенденцию к многочисленности на границе интервала своего существования. К ним относятся многие биологические объекты, природные включения (например, камешки и т. п. в пластах полезных ископаемых), отсортированные по размеру. На рис. 9, 10 приведен вид кривых экспоненциального закона распределения, практически хорошо подходящий для указанных случаев.

Рис. 9. Нормированная плотность од- Рис. 10. Нормированная интегральная номерного экспоненциального распре- функция одномерного экспоненциальделения ( 1) ного распределения ( 1) Экспоненциальный закон распределения где r - параметр, имеющий размерность, обратную размерности оси x и определяющий разброс случайной величины.

Для удобства сравнения, все примеры (рис. 7-10) приведены с тем же параметром 1, что и пример нормального закона распределения (рис.

5, 6).

Но реальные образы как правило многомерны. В практике обработки изображений наибольшее распространение находят двумерные функции описания яркости и соответственно двумерные распределения вероятности появления простейших образов.

На рис. 11, 12 представлено изображение и распределение интенсивности в сечении сформированного лазерного пучка, часто используемого в сканирующих системах. Оно близко по форме к двумерной функции плотность нормального распределения.

Рис.11. Изображение зондирующего лазерного пучка (пиксель) Рис.12. Распределение интенсивности в приделах пикселя Двумерные функции распределения учитывают взаимное влияние выпадения у текущего случайного события определенной координаты по одной оси от величины на второй. Наиболее просто это пояснить на примере.

где 1 – коэффициент корреляции координат x, y случайного события, i 0 – среднеквадратичное отклонение (стандартное отклонение) по оси i, µ i - математическое ожидание по оси i.

Для непрерывного представления осей пространства исходов Степень взаимосвязи между параметрами точек в пространстве исходов уменьшается по мере увеличения расстояния между ними. Обще принято считать независимыми события разнесенные в пространстве исходов на наименьшее расстояние, на котором ( - допустимый в анализе коэффициент ошибки). Это расстояние получило название радиуса корреляции. События разнесенные на расстояние большее, чем радиус корреляции принято считать не зависимыми.

В задачах распознавания образов взаимосвязь не редко сохраняется в приделах всего сегмента образа. Под сегментом образа будем понимать участок пространства минимальных размеров, описывающей рассматриваемый образ. Например, сохраняется связь цветовых характеристик пикселей биологического, ботанического объекта по всему объему при его конкретной реализации в большей степени, чем между различными объектами конкретного класса. Еще больше расстояние и степень связи у искусственных объектов. Это необходимо учитывать при проведении исследований. Проведя оценку цветовых характеристик пикселей в приделах одного объекта нельзя считать выборки не зависимыми. Только исследование многих объектов дает достоверную информацию для описания характеристик класса.

Функции распределения вероятности в технических системах могут быть заданы аналитически или таблично. В практике же статистического анализа более принято использовать функционалы от них.

2.2. Оценка параметров и функций в анализе ситуаций Наиболее употребимы определения точек ожидания появления событий, это математическое ожидание, медиана, мода. Для одномерного пространства исходов это скаляры, для многомерного - вектора.

Математическое ожидание µ можно определить по плотности функции распределения - µ = x p x, или по выборке размером n + 1 x xi, где i - порядковый номер зафиксированного события xi, i изменяется от 0 до n, недостоверные отсчеты не фиксируются. Данная характеристика получила еще название абсциссы центра тяжести плотности распределения случайной величины. Не достоверные выбросы, которые могут появляться в ряде случаев сильно смещают этот параметр.

Математическое ожидание, как основная характеристика свойства объекта часто используется в задачах с многократным повторением процедур распознавания или принятия решения.

Медиана ( median ) определяет координаты точки, относительно которой появление событий справа и слева равновероятно. Другое определение – абсцисса прямой, параллельной оси ординат и делящей фигуру под плотностью вероятности на две одинаковой площади. Для возрастающего ряда x без интерполяции можно записать:

где xmin, xmax - границы интервала проявления x, знак выделяет условие, которому должен удовлетворить переменная, в данном случае x диану оправдана тогда, когда величина отклонения случайной величины от интервала положения медианы не играет роли и важно только попадание в цель. При этом процедура распознавания применяется многократно. Медиана более устойчивая к аномальным явлениям характеристика, чем математическое ожидание.

Мода ( moda ) выделяет точку или отрезок на оси, на котором величина плотности вероятности имеет максимальное значение. Другое определение – абсцисса наиболее вероятного события.

Мода часто выбирается в качестве цели при однократном применении решения. Эта характеристика наиболее чувствительна к помехам и не четкости информации, чем математическое ожидание.

Перечисленные параметры оценивают координату ожидаемого результата. Возможна в практическое применение и их комбинации, как нелинейная так и линейная, например, величина wait _ µ :

где k1, k 2, k3 - коэффициенты доверия и Вторым по важности параметром является оценка ожидания разброса случайной величины. Эти оценка могут быть выражена числом, или интервалом на оси абсцисс, а для многомерных величин эллипсоидом, нередко носящим имя эллипсоида рассеяния.

На практике наибольшее применение получили функционалы вида где i - номер зафиксированного события (0-n), j - номер канала, x j, p j - абсцисса канала, вероятность попадания события в канал, на графике плотности вероятности (0-g), m - показатель степени, положительная величина, целая или дробная, определяет метрику данного критерия.

При m =1, говорят об оценке разброса через величину среднего арифметического отклонения, при m =2, оценивается разброс через величину среднеквадратичного или стандартного отклонения. Чем выше величина m, тем более влияют выбросы в измерениях и соответственно величина отклонения.

Определим усредненную симметричную оценку параметра разброса s случайной величины при наличии неопределенности в задании коэффициента m.

где k i коэффициенты доверия оценки отклонения с mi - показателем k i = 1; i - порядковый номер функционала со степенным степени и коэффициентом mi, i изменяется от 1 до b - числа конкурирующих оценок.

Оценка интервала (его границ), существования проявлений объектов исследуемого события, обычно ведется при задании ограничения на вероятность появления события вне интервала или внутри интервала.

Для одномерного случая с равным распределением вероятности ошибки определения интервала справа и слева границы доверительного интервала можно определить, как где - заданная вероятность ошибки, min_x, max_x границы интервала учета событий.

Определение доверительного интервала позволяет уменьшить пространство исходов.

Очень часто одно из граничных значений координаты появления события берется за исходную точку для осторожного принятия решения, которое обычно ориентируется на наихудшее стечение обстоятельств.

Эта координата соответствует появлению наиболее не желательного события. В этом случае вводится понятие допустимой вероятности появления более неблагоприятного события, чем те которые учитываются. Исходя из этого ограничения и определяется наиболее важная граница доверительного интервала.

Наряду с естественными системами координат, описывающими пространство исходов, используются и искусственные системы, производные от естественных. Например, из координат трехмерного пространства и времени формируются системы пространственных и временных частот.

В таких системах так же задаются интервалы существования объектов одного класса.

2.3. Статистические исследования при формировании описания Одно из ключевых понятий теории распознавания образов - понятие класса. Это искусственный объект удерживающий отличительные свойства группы объектов подлежащих распознаванию, как образ с одним именем. Отличительные свойства, участвующие в распознавании, получили название признаков, а их набор – алфавита признаков.

Рис.14. Сегмент в поле изображения Рис.15. Сегмент в памяти вычислителя Изображения после ввода их в память компьютеров, ЦПС, микроконтроллеров имеют вид слитного массива с по пиксельным описанием. Интуитивно и, как показывает практика, более корректно при программировании его представить двумерным массивом, состоящим из строк и столбцов.

Сегментация неизбежный атрибут обработки изображений, широко применяемый при распознавании образов. Разбиение изображения на фрагменты позволяет ограничить размер исходных файлов. В выделенных сегментах, содержащих исследуемые объекты, и проводится их дальнейшая обработка. Это позволяет сократить объем пространства исходов и понизить вычислительную нагрузку на систему обработки данных.

Простейшее формирование сегментов для последующей обработки заключается в выделении прямоугольного окна, перемещающегося по массиву.

Пусть координата столбца – x отсчитывается слева направо, координата строки – y сверху вниз. Сформируем бегущий сегмент и зафиксируем его на характерных участках объектов.

Пусть исходное изображение имеет размеры ym, xm. Назначим размеры сегмента ys, xs и зададим шаг сегмента по столбцу и строке – hy, hx.

Размер строки анализа xm равен целому числу шагов hx плюс размер сегмента xs. Число строк анализа ym равно целому числу шагов hy плюс размер сегмента ys.

Общее количество сегментов в строке nx, в столбце ny и по полю ns будут равны:

где floor – целая часть числа.

Введем текущий номер сегмента j от нуля и определим координаты первого пикселя сегмента yj, xj:

где mod(x,a) – остаток от x по модулю a.

Сегмент с текущим номером j (например: r(j)) сформируем как субматрицу из общей матрицы (R), указав начало и конец субматрицы по столбцу и строке:

Реальный адрес ячеек в памяти для последнего пикселя в строке, если адрес первого пикселя Adr0 = 0, где p - размер описания пикселя в байтах.

Адрес первого пикселя ( N ) сегмента в памяти устройства распознавания на j шаге Адрес первого пикселя следующей строки данного сегмента Рассмотрим методику формирования описаний объектов на примере задачи сортировки интегральных схем различных типов. На рис.16.

представлено изображение корпусов различных микросхем. Ниже в таблице 2 представлены выбранные сегменты корпусов, фона и гистограмм ы цветовых составляющих их описаний.

Рис.16. Корпуса интегральных микросхем В таблице 3 и на рисунках 17-19 проведены величины интегральных параметров и их взаимное положение в пространстве исходов.

stdevR = 15.26 stdevR = 8.33 stdevR = 10.88 stdevR = 31. stdevG = 12.14 stdevG = 3.51 stdevG = 10.77 stdevG = 38. stgevB = 12.03 stgevB = 8.16 stgevB = 14.14 stgevB = 31. Рис.17. Оценка величин математического ожидания Рис.18. Оценка величин среднеквадратического отклонения Рис.19. Оценка относительных величин среднеквадратического отклонения Абсолютные значения сигналов редко на практике используются в качестве координат пространства исходов. Они зависят от множества факторов – освещенности и т.п. Поэтому рассмотрим более стабильные параметры, для чего разделим цветовые компоненты сигналов на суммарный сигнал на объекте и определим доверительные интервалы существования объектов в пространстве исходов.

где i - 1-4 порядковый номер объекта.

На рис. 20 и рис. 21 приведены графики доверительных зон по r и g компонентам раздельно.

Рис.20. Оценка доверительных интервалов нормированного красного Рис.21. Оценка доверительных интервалов нормированного зеленого Интегральные зоны показаны на рис. 22 и рис. 23. На первом из них не учитывается понижение вероятности появления обеих признаков на краю зон, в этом случае описание зон существования объектов имеет вид прямоугольников. Более правильное их представление – упрощенными эллипсоидами рассеяния показано на втором рисунке. Номера параметров соответствуют номерам объектов в таблицах 2, 3.

Рис.22. Оценка доверительных интервалов с предположением равномерной вероятности появления признака у объекта по всему доверительному интервалу Рис.23. Оценка доверительных интервалов при понижающейся к границе интервала Приведенный пример пробного, прикидочного исследования признаков объектов не свободен от ряда упрощений и неточностей.

Рассмотрим их в ходе рекомендуемой методики проведения исследований положения объектов, классов в пространствах признаков и ситуаций.

1. Определитесь с целью исследования – формализуйте задачу. Это важный этап, он может привести к, так называемым, системным ошибкам в постановке и решении задачи. Исправить последствия этих ошибок чрезвычайно сложно, практически решение задачи придется начинать заново.

В рассматриваемом примере мы ставим задачу распознавания четырех объектов по RGB описаниям их пикселей с телекамеры низкого качества.

2. Наберите достаточный статистический материал об объектах рассматриваемых классов. Мы ограничились выборкой 600 слитных точек с объектов. Практически взято по одному зашумленному сегменту без фильтрации (результат хорошо виден на примере объекта №4 - керамический корпус в сегменте соседствует с металлической пластиной).

Такой выбор возможен только при поверхностном анализе. В практике распознавания объектов по их изображениям число точек включаемых в анализ превышает сотни тысяч, а главное их необходимо брать с различных объектов исследуемого класса, в различных условиях наблюдения и освещения. Практическая рекомендация – информация с одного экземпляра объекта только одно измерение, пусть при этом проанализировано несколько тысяч пикселей. Корреляция между параметрами точек на объекте достаточно велика и это делает отсчеты зависимыми.

3. Постройте гистограммы и по их виду сделайте оценку формы функций распределения, рассчитайте рабочие функционалы, планируемые в алфавит признаков. Стремитесь использовать мало зависящие от внешних условий параметры. Мы выбрали в признаков R, G, B описания и их среднеквадратичные отклонения, для справки вычислили относительные величины.

4. Постройте доверительные интервалы существования объектов классов в пространстве признаков. Современные компьютеры, математические пакеты позволяют проводить довольно большие объемы исследований в короткие сроки. Наиболее просто для визуального анализа отобразить положение классов в пространстве двух признаков.

5. Если области существования классов пересекаются увеличьте количество признаков измените существующие. На рис. 22 объекты классов практически не различимы по выбранным признакам.

На рис. 24 представлены области существования классов по измененным признакам. В качестве последних выбраны выражения что практически означает нормировку по интегральному световому потоку со всех объектов. На рис. 24 представлен результат – класс пластиковых корпусов (№3) в данном пространстве резко выделен и различим.

Рис.24. Оценка доверительных интервалов с предположением равномерной вероятности появления признака у объекта по всему доверительному интервалу и нормировкой по общему световому фону Необходимо учитывать то, что формализованные алгоритмы стандартных расчетов даже на объемных массивах данных в тысячи пикселей выполняются в миллисекунды, поэтому рабочий алфавит признаков может содержать несколько десятков компонентов. Все полученные значения ожидаемых оценок случайных величин – каждый столбик гистограммы, оценки центральных моментов сами по себе случайные величины. Для корректного использования они должны удовлетворять определенным требованиям, вернее стремиться соответствовать им:

При увеличении числа испытаний они должны стремиться к истинной величине параметра, с ростом объема данных n разница между искомым значением и расчетным - должна становиться сколь угодно малым числом ( 0 при n ). Такие оценки получили название состоятельных.

Оценка считается несмещенной, если она не содержит систематических составляющих погрешности Оценка должна быть эффективной т. е.

обеспечивать минимальный разброс в оценке искомой величины в заданном объеме исследований.

Первое требование не всегда можно обеспечить так как эргодических случайных описаний образов на практике не так много. Окружающий нас мир непрерывно развивается и практически все свойства объектов имеют определенную тенденцию изменения значений (тренд). Поэтому наибольший вес в анализе имеют “свежие” данные.

Важной спецификой в анализе исходных данных в принятии решений является и очень большой объем возможной информации, можно потратить жизнь изучая специфику изображений определенного класса, например, бровей на лице человека, выбирая все большее количество объектов. Это с одной стороны.

С другой стороны достаточно в течении нескольких часов проанализировать несколько десятков реализаций, что бы вложить стартовый материал в систему распознавания лиц форму бровных дуг в рабочий алфавит.

В развивающейся интеллектуальной системе компоненты алфавита признаков непрерывно корректируются, при этом вес последней информации, как правило, выше веса данных более ранних.

Аппаратное вычисление параметров закона распределения, плотности распределения одна из традиционных основных составных частей математической статистики. Специфика ПР и РО конкретизирует решение данной задачи. При анализе статистического ряда x0...xi...xn рекомендуется следующая последовательность действий:

определение математического ожидания µ ;

определение среднеквадратичного отклонения ;

прореживание статистического ряда;

задание метрики оси абсцисс и числа каналов;

подсчет чисел событий попавших в каналы;

при близости полученной гистограммы к известным законам распределений заменяют исследуемую гистограмму известной кривой распределения.

Отметим специфику некоторых из перечисленных операций.

При прореживании статистического ряда удаляются недостоверные отсчеты с номером j, таких что x j µ (3...5), на практике не редко их не удаляют, а перемещают в ближайшую точку доверительного интервала, это позволяет сохранить метрику сетки последовательных отсчетов, что важно при проведении корреляционных, спектральных исследований.

Количество каналов анализа задается исходя из соображений по - требуемой компактности описания конкретного класса, реального объема выборки, потерь от недостоверного определения формы функции плотности вероятности.

Вычислительная нагрузка возрастает в квадратичной степени или более резко от увеличения объема описания классов. Конкретный вид зависимости определяется сложностью алгоритмов распознавания.

Число событий попавших в канал является в каждом эксперименте случайной величиной и величина ее доверительного интервала зависит от числа событий принимающих участие в эксперименте, а положение его еще и от параметров, вида функции плотности распределения вероятности исследуемого события.

При малом числе испытаний определение доверительного интервала наиболее корректно через биноминальный закон распределения - закон Пуассона.

На рис. 25, 26, 27 приведены графики плотностей распределения этого закона для различных длин каналов анализа и различных чисел опытов.

События не зависимы.

Рис.25. Вид плотности распределения вероятности появления событий в каналепри Рис.26. Вид плотности распределения вероятности появления событий в канале при числе опытов 10 для длин интервалов подсчета 2 и Рис.27. Вид плотности распределения вероятности появления событий в канале при числе опытов 30 для длин интервалов подсчета 20 и Исследуемый процесс подчинен равномерному закону распределения и может принимать значения от 0 до n. Индексы при p1. Величина отношения значения индекса к n – искомая вероятность.

Во всех случаях математические ожидания, полученные в экспериментах, совпадают с искомыми. С ростом числа экспериментов дисперсии определения оценок плотности вероятности уменьшаются. Изменяется и вид кривых распределения – они становятся симметричней и приближаются по форме к нормальному распределению.

Реально при n 10 целесообразнее в силу его простаты и распространенности пользоваться графиками нормального закона.

Центральная предельная теорема (ЦПТ) в теории оценок говорит о том, что при большом числе случайных явлений их средние характеристики перестают зависеть от каждого отдельного явления и получают устойчивость т. е. перестают быть случайными. Пользуясь ими можно распознавать случайные явления и предсказывать поведение случайных процессов. Для сумм случайных отсъемов, фигурирующих в оценках функций распределения и их параметров можно записать:

где i - 1...n номера отсчетов, kn, ki - нормировочный, и весовой коэффициенты учета отсчета в итоговой сумме.

Математическое ожидание и дисперсия случайной величины для независимых по ЦПТ равны:

а среднее квадратичное отклонение оценки величины Y уменьшается с ростом n Усреднение лежит в основе подавляющего числа исследований в вообще и определения зон существования классов в пространстве признаков.

На первый взгляд различные по величине Dxi отсчеты не так уж часты. Но в практике интеллектуальных систем при самообучении новая информация и та, что отражает накопленный опыт соседствуют рядом.

Новая информация имеет большую достоверность, чем предыдущие отсчеты того же объема. Тем не менее оценка на основании накопленного опыта, в следствии интеграции качественно большего объема данных, характеризуется высокой достоверностью. При этом дисперсии могут разнятся на несколько порядков. Однако накопленный опыт не содержит детальной предыстории. Один из простейших выходов из ситуации, но довольно рациональный, это эволюционная корректировка данных, например, с Изложенный подход используется при определении всех параметров законов распределения и его вида.

При определении дисперсии уменьшают делитель на единицу, отображая тот факт, что число независимых данных при расчете дисперсии меньше на единицу общего количества отсчетов.

Эта оценка не смещенная. Дисперсия оценки величины дисперсии где µ 4 - четвертый центральный момент, зависящий от вида закона распределения, для нормального закона распределения µ 4 x = 3 Dx и Если вид закона распределения не известен то используют методику определения величины доверительного интервала через параметры закона распределения Стьюдента. В этом случае абстрагируются от параметров закона распределения, а ориентируются только на число опытов и заданную из вне вероятность появления события в доверительном интервале. Величина доверительного интервала тогда где t ( p, n ) - коэффициент Стьюдента. Данный коэффициент находится из одноименного закона распределения исходя из заданной величины вероятности попадания в доверительный интервал. Вид плотности распределения для числа степеней свободы n где ( x ) - гамма функция. Интегральное распределение задает величину доверительного интервала.

На рис. 28, 29 показано влияние заданной величины вероятности промаха от числа опытов и значения коэффициента.

Рис.28. Вид плотности распределения вероятности Стьюдента в зависимости от величины коэффициента и числа опытов (индекс 20 и 4) Рис.29. Изменение участка распределения вероятности Стьюдента в зависимости от величины коэффициента (индекс 3 и 2) и числа опытов Графики повторно показывают практическое снижение влияния числа опытов на вид закона распределения величины оценки доверительного интервала при числе независимых отсчетов более 10.

Гистограмма оценивает вероятность появления события в определенной зоне пространства признаков.

где I i j - индекс появления события на участке j в отсчете i, он равен 1 при появлении события на участке и нулю если был промах. Данная оценка не смещенная. Ее дисперсия Выше приведенные выражения работают строго только для независимых отсчетов, отстоящих друг от друга на расстоянии большим, чем радиус корреляции.

Корреляционный анализ случайных величин является одним из важных разделов математической статистики. Он широко используется уже в течение многих десятилетий. Большие возможности применения корреляционных представлений в физических и технических науках открылись с возникновением корреляционного анализа случайных функций, которое можно отнести к 1920г., когда Тэйлор ввел понятие корреляционной функции. Очень важное значение имело установление в 30-х годах Н. Винером и А. Я. Хинчиным связи между корреляционными и спектральными характеристиками случайных процессов. Разработка теории информации, сформировавшейся к концу 40-х годов, показала, что количество информации, заключенной в сигнале, существенно зависит от корреляционных свойств.

Реально встречающиеся случайные функции очень часто можно считать нормальными, а каждая нормальная случайная функция может быть полностью описана в рамках корреляционной теории. В то время и для случайных функций, не являющихся нормальными, эта теория дает ответ на целый ряд важных вопросов. Выделим два направления по использованию аппарата корреляционного анализа:

применение корреляционных функций и их параметров в качестве характеристик идентифицирующих сигналы, применение корреляционных функций в качестве характеристик идентифицирующих системы передачи информации.

К первому из указанных направлений можно отнести исследования, относящиеся к распространению волн, в том числе радиоволн, звуковых волн, исследование шумов различной физической природы, статистических свойств изображений; анализ отдельных звуков речи и слогов; применение в геофизике и метеорологии; применение в биологических и медицинских исследованиях и т. д.

Во второй группе ведущее место занимает экспериментальное определение корреляционных характеристик объектов; оно позволяет выяснить динамические свойства объектов по данным их нормальной работы без применения каких-либо искусственных возмущений и играет весьма важную роль при проектировании систем. К этой же группе относятся корреляционные методы снижения влияния искажений, вносимых при передаче сигнала, оценки качества переходных процессов в линейных системах; исследования акустических характеристик помещений, измерения звукоизоляции и звукопоглощения; определения частотоконтрастных характеристик систем наблюдения.

Уже приведенный здесь беглый перечень дает представление о значении и достаточно широком распространении корреляционного анализа.

В курсе наибольшее внимание уделяется распознаванию объектов по форме и параметрам взаимно корреляционных функций между исследуемым объектом и эталонами классов.

Величина корреляционной функции может быть представлена следующим образом:

или расширив пространство исходов временными осями процессов ( t1, t 2 ) получим Положив x = y, получим автокорреляционную функцию процесса X (t ).

Таким образом, автокорреляционную функцию можно рассматривать как частный вид взаимной корреляционной функции.

Автокорреляционные и корреляционные функции зависят как от степени взаимосвязанности случайных процессов, так и от дисперсии этих процессов. Для того чтобы получить меру взаимосвязанности, абстрагированную от величин дисперсии, производят нормирование корреляционных функций. Нормированные корреляционные функции называют коэффициентами корреляции:

В практике широко используется представление описаний классов в производных пространствах. Наиболее широко рассматриваются поиск отличительных признаков объектов в области пространственных частот.

На рис. 30 представлены модуль частотного спектра изображения рамки и на рис. 31 его сечение. Видны четко участки преобладающих частот, которые можно использовать как признаки.

Рис. 30. Фурье образ R составляющей сегмента рамки С учетом корреляционных соотношений и понятий верхних и нижних частот (временных для случайных процессов, пространственных для объектов в 3 мерном пространстве) уточним понятия оценки дисперсии параметров случайной величины.

Рис. 31. Сечение Фурье образа R составляющей сегмента рамки Для оценки математического ожидания, получаемой накоплением данных за временной интервал 0...T Здесь связь с корреляционной функцией. Довольно часто где C,, параметры характеризующие размах, скорость спада частоту колебаний корреляционной функции.

Для вычисления K ( ) с погрешностью менее 5% от K (0 ) необходимо интегрировать данные не менее Реально данные поступают дискретно с интервалом (во времени, в геометрическом пространстве и т. п.) где =1, 2,... и µ =1, 2,... слагаемые номера отсчета.

Для 2% точности вычисления корреляционной функции необходимо где f max - максимальная частота важная для анализа и учета.

2.4. Распознавание в математической статистике Два раздела математической статистики тесно связаны с процедурой распознавания:

определения вида и параметров функциональной зависимости между случайными событиями и их сочетаниями;

проверка статистических гипотез, в ходе которой выбирается вид закона распределения наиболее подходящий для описания исследуемого события, определяются его параметры и устанавливается степень согласия принятых решений с реальным объектом.

Статической называют зависимость, при которой изменение одной из величин влечет изменение распределения другой. В частности, статистическая зависимость появляется в том, что при изменении одной из величин изменяется среднее значение другой; в этом случае статическую зависимость называют корреляционной.

Зависимость между двумя и более случайными событиями из множеств Y, X можно представить в общем виде где A - множество параметров a j A.

Рассмотрим простейший случай. Пусть реальные отсчеты в i - том эксперименте порождают наборы результатов yi и xi ( i = 1...n ), между которыми предполагается наличие связи yi = ( xi, A).

Будем искать такие a j, которые минимизируют функционалы отклонений (ошибок) предсказания величины yi по значениям xi.

В качестве рабочего функционала ошибки примем сумму квадратов отклонений Будем искать решение в точках экстремума для чего дифференцируем выражение по компонентам вектора A.

где =1... m.

Это m нелинейных уравнений и в общем случае они аналитически не решаются.

Для поиска линейной зависимости между двумя величинами решение существует.

Решая систему уравнений находим где µ o - оценки математических ожиданий.

Задавая исходный участок по x не большим по размеру и расширяя его с проверкой постоянства параметров A (через их положение в доверительном интервале оценок) можно получить кусочно-линейную оценку функциональной зависимости для большинства случаев анализа компонентов пространства признаков. При нарушении постоянства A (при выходе за пределы доверительного интервала) вводится новый участок.

Реально аналитические выражения существуют и для квадратичного вида зависимости.

Проверка статистических гипотез предполагает оценку вероятности и достоверности принадлежности закона распределения рассматриваемой случайной величины одному из известных. При этом такие понятия, как доверительный интервал оценки плотности распределения вероятности по полученной гистограмме работает и в этом случае.

Совокупность известных и включенных в описание гистограмм составляют набор классов.

Проведенные исследования добавляют в рассмотрение новую гистограмму, которая может быть отнесена к известному классу.

Такой подход стандартен в составление описания классов, т. е. часть описания класса может быть заменена ссылкой - именным индексом на известные описания свойств одного из классов.

Для примера воспользуемся генератором случайных чисел и сгенерируем вектор из 1000 чисел. Найдем разницу в оценке гистограммы реализации px j (рис. 32) и теоретического распределения p j (рис. 33).

Рис. 32. Нормированная гистограмма Рис. 33. Плотность распределения с павектора из 1000 чисел, распределенных раметрами исследуемого вектора по нормальному закону Рис. 34. Погрешность отнесения гистограммы реального вектора к теоретическому График разности приведен на рис. 34. Вычислим интегральную оценку ошибки по формуле Расчетная величина d = 0,03.

Из приведенного примера можно сделать вывод о том, что реальная погрешность представления гистограммы случайного вектора чисел теоретической гистограммой или одной из известных всегда будет иметь место.

Методика определения подходит или нет один из имеющихся в базе данных классов гистограмм для исследуемого класса может быть представлена последовательностью следующих шагов:

1. Вычисляем нормированную гистограмму исследуемого вектора данных (нормировка заключается в делении чисел в каналах на общее число учтенных реализаций).

2. Генерируем известные графики распределений.

3. Определяем разность между гистограммой исследуемого вектора и известными.

4. Определяем метрику риска или потери полезности и вычисляем интегральный параметр ошибки.

5. По min (где - k индекс класса) данного параметра выбираем искомый класс k.

6. Проверяем на допустимость ошибки, если ошибка не допустима формируем описание исследуемого класса с новой формой функции распределения, внося ее в базу данных распределений.

Если ошибка допустима проверяем гипотезу статистической достоверности принадлежности реализации случайной величины к известным по форме и параметрам законам распределения.

Для проверки формы функции обычно используют критерии согласия Пирсона или Колмогорова. Проверка гипотез о значении параметра функции распределения заслуживает в нашей теме более детального рассмотрения.

Для простоты, задачу о параметре a функции распределения f a ( x ) n - мерной случайной величины x ( x1...xn ) рассмотрим, как проверку двух гипотез H 0 и H1.

Все пространство исходов разбивается на две не пересекающиеся области E0, E1, в которых наиболее целесообразны решения a = a0 (E0 ) и a = a1 (E1 ). Пространство решений полное т. е. H 0 = H1.

При распознавании образов под искомым параметром понимается, как правило, физическая величина, например, выход изделия в брак, наличие или отсутствие примеси, сигнал или шум в локации и т. д.

Отношение правдоподобия или коэффициент правдоподобия определяется по формуле где f a j ( x1,...xn ) вероятность того, что при конкретной реализации x1,...xn имеет место событие a j.

Вывод о событии a1 делается если Ln C, где C - порог принятия решения.

Реально величина порога зависит от многих факторов и прежде всего от допустимой вероятности принятия не правильного решения.

Ошибка первого рода - принимается решение a1, а это a0, обозначим вероятность такого решения.

Ошибка второго рода - принимается решение a0, а это a1, обозначим вероятность такого решения.

Часто данные ошибки имеют символьное описание, например в локации пропуск цели, ложная тревога или в промышленности риск изготовителя (отбраковано хорошее изделие), риск потребителя (получен брак).

Очевидно продолжение испытаний (рост n ) приводит при слабо коррелированных xi к понижению и. Т. е. порог принятия решения в общем случае является функцией платы за ошибочные решения, допустимой вероятности ошибки первого или второго рода и числа испытаний C (, n ), C (, n ), C (, ). Задание такого порога при ограничении на или позволяет минимизировать n. При заданном n минимизировать или.

Для однородной независимой выборки введя логарифмирование получим логарифм коэффициента правдоподобия ln, который также широко используется на практике, получив название "различимости" a1, a в точке x1,...xn.

В теории распознавания образов часто используют понятие случайной смеси. При этом параметрическое пространство A представляется конечным числом точек a1,... am с заданной вероятность появления P a j.

Для вектора можно вычислить конечную смесь В этой трактовке классы определяются как индексы тех параметрических векторов, которые имеют не нулевые смеси.

В структуру основных математических конструкций ТПР и ТРО входит матрица последствий принятия решений.

В ТРО наиболее распространена, как правило, квадратная матрица, строки и столбцы которой представляют распознаваемые классы. В таблице 4 представлена квадратная матрица состоящая из n столбцов и n строк.

Строки показывают ситуации, которые могут возникнуть при распознавании неизвестного объекта, например объекта с номером i.

Столбцы показывают последствия решений ei,j при наличии (предъявлении) образа из j -го класса, а распознавании его как образа из i -го класса.

лен/ Распознан В ТПР данная матрица как правило не симметрична (таблица 5).

Строки отражают последствия конкретного решения (1... n ), столбцы выделяют ситуации в которых осуществляется принятое решение (1... m ).

Под ситуацией часто понимается внешняя обстановка, например, характер и объем решаемых задач, которые могут возникнуть при функционировании компьютерной системы, решения по типу конфигурации которой принимается.

Решение Для конкретной области применения ei,j часто называют полезностью решения т. е. предполагается то, что данная величина положительна. В заранее убыточных задачах матрица заполняется величинами платы за принимаемые решения. Реально ei,j - вектор, нередко объединяющий оценки разнородных величин, например, потери мощности, стоимость, безопасность в эксплуатации, габариты в задачах проектирования систем электропитания. Если компоненты вектора ei,j нельзя привести к одному знаменателю, например, денежному эквиваленту, то такие задачи относят к многокритериальным.

Отдельный разговор о метрике компонентов ei,j, не редко на практике существует нелинейность в оценке платы за неправильные решения и отдельные потери не допустимы, тогда говорят о границах приемлемости существования ошибки. Например, перегрев процессора без системы защиты, приводящий к его разрушению, не допускается.

При распознавании образов правильное решение для всех образов в большинстве случаев оценивается одинаково. ei,i = const. Тогда целесообразно перестроить матрицу полезности, превратив ее в матрицу рисков от принятия не правильных решений.

В ТПР возможна также подобная процедура, но за желаемый результат принимается выигрыш или минимальные потери при оптимальном решении. Вычисление величины риска для квадратной матрицы выполняется по формуле Результаты представлены в таблице 6. Квадратная матрица в этом случае имеет нулевые диагональные элементы.

лен/ Распознан В конечном итоге формируется некоторый алгоритм распознавания.

Его эффективность в значительной степени зависит от интегральной величины среднего риска при выбранной стратегии. По строкам можно определить усредненный риск от принятия решения с индексом i, который не зависит от стратегии.

где p j вероятность появления образа j - го типа.

Учет стратегии заключается в ведении коэффициента pki j, который имеет смысл вероятности оценки объекта j, как i в стратегии k.

Тогда для стратегии k средний риск при принятии i - го решения Наряду со средней величиной риска при решении i используют понятие максимального риска. Учитывая отрицательный характер величины ri, j получим Эта величина не зависит от стратегии и часто используется, как опорная, показывающая наибольший риск от принятия решения i, его опасность.

Средний риск принятия решения при стратегии k В системах с противодействием матрица потерь немного изменяется.

В качестве опорной ситуации ищется наилучшее решение противника.

Тогда матрица, например, платежей ai, j принимает вид расплаты в случае применения противником решения j и нами решения i.

По минимаксному критерию ищется решение, которое обеспечивает наибольший выигрыш в наихудших условиях.

По Бейесу ищется решение минимизирующее средний риск.

По Нейману – Пирсону - решение дающее максимальную величину условной вероятности правильного обнаружения при заданной величине ложной тревоги.

Таким образом работа с матрицей рисков – итоговая процедура распознавания образов, принятия решений. Анализ ситуации, формирование описаний классов подготавливает условия корректного решения этой процедуры. Сказанное не снимает целесообразности запуска итерационного процесса (подготовки описания ситуаций, дополнительных измерений и т. д.), если прогнозируемый риск выше допустимого или желательного.

Теория полезности изучает предпочтения в среде последствий решений. При этом считается то, что каждое решение порождает вектор или матрицу полезности ui, j U учитывающую интересы всех агентов (инвесторы, работники и т. п.). Считается что решение i1 предпочтительнее или эквивалентно решению i 2, если полезность ui1, j f ui 2, j для всех j.

В матрице рисков для отдельных задач учитывается и вероятность появления придельных последствий, таких как смерть человека.

При принятии решений она должна быть ниже, чем вероятность летального исхода указанная в шкале профессионального риска.

Например:

Металлургическая промышленность чел/час;

Распознавание образов является сегодня и наукой и искусством. Наука ограничена наличием нескольких методик, имеющих относительно небольшое использование на практике. Но практическое использование реальных систем формирует тот экспериментальный материал, который неизбежно приведет к формированию фундаментальных основ данной науки.

Эталоном системы распознавания образов до настоящего времени является система восприятия человека (если абстрагироваться от быстродействия).

Обычно целью конструирования систем является оптимизация ее функционирования над выборочным набором образов.

Проверка реальности того, что задача может быть решена: это действия системы анализа образов человека.

Логично искать принципы построения системы в аналогах к биологических моделей и попытаться определить, каким образом они функционируют так хорошо. Очевидно, что это трудно сделать по нескольким причинам. Сверхвысокая сложность человеческого мозга затрудняет понимание принципов его функционирования.

Трудно понять общие принципы функционирования и взаимодействия его приблизительно 1011 нейронов и 1014 синоптических связей.

Кроме того, существует множество проблем при проведении экспериментальных исследований.

Микроскопические исследования требуют тщательно подготовленных образцов (заморозка, срезы, окраска) для получения маленького двумерного взгляда на большую трехмерную структуру.

Техника микропроб позволяет провести исследования внутренней электрохимии узлов, однако трудно контролировать одновременно большое количество узлов и наблюдать их взаимодействие.

Наконец, этические соображения запрещают многие важные эксперименты, которые могут быть выполнены только на людях. Большое значение имели эксперименты над животными, однако животные не обладают способностями человека описывать свои впечатления.

В общей схеме распознавания образов и принятия решений (рис. 35) преобладающей по трудовым затратам является операция преобразования пространства наблюдений с целью получения компактного описания объектов в пространстве признаков.

Системы распознавания объектов – сложные динамические системы с элементами искусственного интеллекта. Эти системы могут включать и подготовленных специалистов, экспертов т. е. быть комплексными человеко-машинными системами. Сегодня они в основном специализированны.

Рис.35. Обобщенная схема принятия решений при распознавании образов В процессе разработки таких систем формируются описания физикоматематических, химических, биологических, социальных моделей характеризующих объекты исследования.

В них должны отображаться только те признаки, значения которых можно измерить, или получить в процессе последующего общения с объектом распознавания.

Признаки могут быть детерминированные, вероятностные, логические и структурные.

Для формирования зон существования признаков, характеристики и параметры которых носят случайный характер, используют методы математической статистики.

Наиболее часто - это определение законов распределения и их параметров по имеющимся выборкам.

По результатам наблюдений проявлений признаков в различных реализациях распознаваемых объектов, ситуаций формируется статистическая гипотеза о виде и параметрах закона распределения.

Однако основную часть алфавита признаков, как правило, составляет множество детерминированных параметров и характеристик распознаваемых классов.

3.1 Классификация систем распознавания образов Классификация систем распознавания образов позволяет понять взаимосвязи в таких системах и решать задачу выбора признаков (процесс эвристический).

Классификация также способствует планированию использования как априорной информации (описание классов), так и апостериорных данных (измерения по данному неизвестному подлежащему классификации объекту).

Классификация - это распределение предметов, явлений по классам в зависимости от их общих свойств. В основе классификации лежат определенные принципы.

Для классификации систем распознавания можно использовать следующие признаки:

1. Однородность информации для описания распознаваемых объектов или явлений.

2. Способ получения апостериорной информации.

3. Количество первоначальной априорной информации.

4. Характер информации о признаках распознавания.

1. Однородность информации. Здесь под однородностью следует понимать - различную или единую физическую природу информации (признаков).

По этому принципу системы распознавания образов делятся на простые и сложные.

Простые системы распознавания характеризуются единой физической природой признаков. Например, только масса — для систем распознавания жетонов, монет в автоматах таких, как междугородный телефон, турникет метро; геометрические размеры - для таких систем распознавания, как всякого рода замки.

Сложные системы распознавания характеризуются физической неоднородностью признаков.

2. Способ получения апостериорной информации. По этому принципу сложные системы распознавания делятся на одноуровневые и многоуровневые.

Многоуровневые сложные системы распознавания отличаются от одноуровневых тем, что не все признаки от разнородных физических измерителей используются непосредственно для решения задачи распознавания.

Здесь на основе объединения признаков нескольких измерителей и соответствующей обработки могут быть получены вторичные признаки, которые могут как использоваться в следующей ступени, так и сами в свою очередь служить основой для объединения. То есть, получаем 2-й, 3-й и др. уровни признаков, определяющие иерархичность системы распознавания. Причем подсистемы, которые осуществляют объединение признаков, в свою очередь могут представлять собой также устройства распознавания (локальные системы распознавания ).

Таким образом:

в одноуровневых СР информация о признаках распознаваемого объекта (апостериорная информация) формируется непосредственно на основе обработки прямых измерений;

в многоуровневых СР информация о признаках формируется на основе косвенных измерений как результат функционирования вспомогательных распознающих устройств (например, при измерении дальности радиолокатором по времени задержки излученного импульса).

3. Количество первоначальной априорной информации.

Здесь вопрос касается того, достаточно или недостаточно априорной информации для определения априорного алфавита классов, построения априорного словаря признаков и описания каждого класса на языке этих признаков в результате непосредственной обработки исходных данных.

Соответственно этому системы распознавания делятся на системы без обучения, обучающиеся (ОСР) и самообучающиеся системы (ССР).

Конечно многоуровневые сложные системы распознавания однозначно нельзя разделить на указанные классы, так как каждая из локальных систем распознавания, входящих в их состав, сама может представлять как систему без обучения, так и систему обучающуюся или самообучающуюся.

Для построения системы без обучения необходимо располагать полной первоначальной априорной информацией.



Pages:   || 2 | 3 | 4 |
Похожие работы:

«СЕВЕРНЫЙ ГОСУДАРСТВЕННЫЙ МЕДИЦИНСКИЙ УНИВЕРСИТЕТ Кафедра военной и экстремальной медицины И.Г. Мосягин, А.А. Небученных, В.Д. Алексеенко, И.М. Бойко Медицинская служба гражданской обороны Учебное пособие по медицинской службе гражданской обороны для студентов высших медицинских учебных заведений обучающихся по специальностям: 040100 – лечебное дело 040200 – педиатрия 040300 – медико-профилактическое дело 040400 – стоматология 040500 – фармация 040800 – медицинская биохимия 040900 – медицинская...»

«ПРИОРИТЕТНЫЙ НАЦИОНАЛЬНЫЙ ПРОЕКТ ОБРАЗОВАНИЕ РОССИЙСКИЙ УНИВЕРСИТЕТ ДРУЖБЫ НАРОДОВ Л.Е. РОССОВСКИЙ, Е.М. ВАРФОЛОМЕЕВ ФУНКЦИОНАЛЬНО-ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ И ИХ ПРИЛОЖЕНИЯ К ИССЛЕДОВАНИЮ НЕЙРОННЫХ СЕТЕЙ И ПЕРЕДАЧИ ИНФОРМАЦИИ НЕЛИНЕЙНЫМИ ЛАЗЕРНЫМИ СИСТЕМАМИ С ОБРАТНОЙ СВЯЗЬЮ Учебное пособие Москва 2008 Инновационная образовательная программа Российского университета дружбы народов Создание комплекса инновационных образовательных программ и формирование инновационной образовательной среды,...»

«Федеральное агентство по образованию Московская государственная академия тонкой химической технологии им. М.В.Ломоносова Кафедра химии и технологии высокомолекулярных соединений им. С.С. Медведева Каданцева А.И., Тверской В.А. УГЛЕРОДНЫЕ ВОЛОКНА Учебное пособие 2008 www.mitht.ru/e-library УДК 677.494 ББК 24.7 Рецензент: к.х.н., доц. Юловская В.Д. (МИТХТ, кафедра химии и физики полимеров и процессов их переработки) Каданцева А.И., Тверской В.А. Углеродные волокна Учебное пособие М. МИТХТ им....»

«МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ САМАРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ Межфакультетская кафедра истории отечества МЕТОДИЧЕСКИЕ УКАЗАНИЯ К ИЗУЧЕНИЮ КУРСА “ОТЕЧЕСТВЕННАЯ ИСТОРИЯ” Издательство “Самарский университет” 2003 Печатается по решению Редакционно-издательского совета Самарского государственного университета Методические указания содержат программу, планы семинарских занятий, тематику контрольных работ, список литературы и рекомендации по работе над материалами курса....»

«Федеральное агентство по образованию Сыктывкарский лесной институт – филиал государственного образовательного учреждения высшего профессионального образования Санкт-Петербургская государственная лесотехническая академия имени С. М. Кирова КАФЕДРА ФИЗИКИ ФИЗИКА САМОСТОЯТЕЛЬНАЯ РАБОТА СТУДЕНТОВ Методические указания для подготовки дипломированного специалиста по специальностям 280201 Охрана окружающей среды и рациональное использование природных ресурсов, 230201 Информационные системы и...»

«Федеральное агентство по образованию Сыктывкарский лесной институт – филиал государственного образовательного учреждения высшего профессионального образования Санкт-Петербургская государственная лесотехническая академия имени С. М. Кирова Кафедра автоматизации технологических процессов и производств ТЕХНОЛОГИЧЕСКИЕ ПРОЦЕССЫ И ПРОИЗВОДСТВА САМОСТОЯТЕЛЬНАЯ РАБОТА СТУДЕНТОВ Методические указания для подготовки дипломированного специалиста по направлению 651900 Автоматизация и управление,...»

«СЫКТЫВКАРСКИЙ ЛЕСНОЙ ИНСТИТУТ КАФЕДРА ВЫСШЕЙ МАТЕМАТИКИ ВЫЧИСЛИТЕЛЬНАЯ МАТЕМАТИКА САМОСТОЯТЕЛЬНАЯ РАБОТА СТУДЕНТОВ Методические указания для подготовки дипломированных специалистов по направлению 654700 Информационные системы специальности 230201 Информационные системы и технологии СЫКТЫВКАР 2007 ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ СЫКТЫВКАРСКИЙ ЛЕСНОЙ ИНСТИТУТ – ФИЛИАЛ ГОСУДАРСТВЕННОГО ОБРАЗОВАТЕЛЬНОГО УЧРЕЖДЕНИЯ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ САНКТ-ПЕТЕРБУРГСКАЯ ГОСУДАРСТВЕННАЯ...»

«Федеральное агентство по образованию Российской Федерации НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЯДЕРНЫЙ УНИВЕРСИТЕТ МИФИ С. Н. Борисов Учебное пособие по физике для учащихся 7-го класса Москва 2009 УДК 53(075) ББК 22.3я7 Б82 Борисов С.Н. Учебное пособие по физике для учащихся 7-го класса. – М.: МИФИ, 2009. – 100 с. В настоящем пособии представлено шесть тем, которые изучаются в курсе физики 7-го класса. По каждой теме представлен необходимый теоретический материал, рассмотрены примеры решения задач....»






 
© 2013 www.diss.seluk.ru - «Бесплатная электронная библиотека - Авторефераты, Диссертации, Монографии, Методички, учебные программы»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.