НЕЙРОННЫЕ СЕТИ

Сайт о нейронных сетях - распознавание, управление, принятие решений

 
  • Рубрики

  • Метки

  • Последние записи

  • Ссылки

  • 1. Пользователю
    Автор admin, сентября 15, 2008   

    Сайт посвящен важнейшему направлению
    искусственного интеллекта — нейронным сетям. Построение ней-
    ронной сети — это попытка создания искусственной нервной сис-
    темы, в состав которой входит и человеческий мозг. Сами нейро-
    ны — это десятки миллиардов элементарных объектов, которые за
    нас с вами «думают», и исследователю в этой области необходимо
    понять, каким образом происходит этот процесс «думания», как
    человеческий мозг обучается обрабатывать информацию, и делать
    соответствующие выводы. Смысл существования нейронной се-
    ти, как подчеркивает автор, заключается в обучении и адаптации.
    Автор акцентирует наше внимание на принципах ассоциатив-
    ного мышления, так свойственного человеку в его деятельности.
    Именно ассоциативное мышление лежит в основе распознава-
    ния, движения, управления, принятия решений. Это в значитель-
    но большей степени приближает нас к проблемам искусственного
    интеллекта, в то же время логически подводя к моделям управле-
    ния в экономике, бизнесе, финансах, производстве и т.д.
    Назовем лишь некоторые из широко известных областей, где
    эффективно работают так называемые нейросетевые технологии,
    которые не имеют «солидного», как говорят математики, обосно-
    вания. Это страховая деятельность банков; прогнозирование
    банкротств, денежных потоков, налоговых поступлений; оценка
    кредитного риска, эффективности биржевой деятельности;
    предсказание результатов займов и многое другое.
    Ключевым инструментом здесь являются искусственные ней-
    ронные сети, реализуемые на основе специализированных паке-
    тов программ. Разве это не парадокс — всеобъемлющей теории
    нет, а пакет программ уже есть! Например, пакет прикладных
    программ Excel Neural Package, использующий в качестве функ-
    ций активизации гиперболический тангенс, а в качестве алгорит-
    ма обучения — алгоритм Rprop.
    Кроме того, нейронные сети применяются для грамотного
    сравнения финансово-экономических программных систем.
    Обычно это делается на базе экспертных оценок, но такой подход
    необъективен. Нужна хотя бы и неполная, но формализация. Она
    возможна, например, на основе Самоорганизующихся Карт Ко-
    хонена (СОК) с использованием программного пакета Viscovery
    SOMine. Возможна потому, что здесь в полной мере могут быть
    задействованы такие уникальные свойства искусственных ней-
    ронных сетей, как способность к обучению, выявлению скрытых
    закономерностей, накоплению опыта.
    Оригинальный подход автора обеспечивает доходчивость из-
    ложения проблем искусственного интеллекта и перспективу его
    практического воплощения. Этот подход основан на принципах
    построения электронных схем вычислительных устройств, отоб-
    ражающих такие основы математической логики, как булевы
    функции. Конечно, при этом имелось в виду по большей части
    программное обеспечение ЭВМ, нежели ее аппаратура.
    Перспектива построения систем искусственного интеллекта во
    многом основана именно на математической логике. Обобщение
    понятия булевых функций с большей степенью адекватности при-
    водит к воссозданию принципов мозга — к построению схем ассо-
    циативного мышления. Для этого необходимо перейти от опери-
    рования над булевыми переменными к операциям над действи-
    тельными, отражающими оценку или достоверность исходных
    данных. А это тотчас же потребует замены “конъюнкторов” и
    “дизъюнкторов” на универсальный логический элемент — нейрон,
    выполняющий простую пороговую передаточную функцию.


    Далее...
     
    2. Предисловие
    Автор admin, сентября 15, 2008   

    По нейронным сетям накоплен огромный материал, способ-
    ный привести в растерянность неискушенного читателя, пытаю-
    щегося понять, что такое нейросети. С этой проблемой столкнул-
    ся автор данной книги при чтении курса лекций по нейроинфор-
    матике студентам технического вуза, обладающим традицион-
    ным объемом математических знаний, и несформированным
    формально-логическим мышлением. Помогла схемотехническая
    направленность их знаний в области конструирования электрон-
    ных схем и программирования. Устранение излишней «матема-
    тизированности» проблемы и смещение ее на уровень прагмати-
    ческий, оперирующий лишь с простыми логическими элемента-
    ми, — одна из основных целей настоящей книги.
    Как же добиться доступности изложения? Один путь уже ука-
    зан: использование простых принципов схемотехники. Другой
    путь — в применении методов распараллеливания обработки ин-
    формации, присущих такой универсальной нейронной сети, ка-
    кой является мозг. Однако параллельные вычислительные про-
    цессы «обладают» теорией, несложными методами расчета и ор-
    ганизации, известными специалистам. Представляется логич-
    ным приложение простейших методов и концепции распаралле-
    ливания к такой же параллельной системе, как нейросеть.
    Подобный подход оказался плодотворным и, в частности,
    привел к простым и уже знакомым аудитории алгоритмам обуче-
    ния нейросети, позволяющим полностью устранить взаимное
    влияние эталонов, по которым производится обучение.
    И наконец, основной способ достижения доступности изло-
    жения состоит в строгом следовании идеям искусственного ин-
    теллекта, воспроизводящим работу мозга. Именно в этом случае
    нейросети обеспечивают простое и естественное решение тех
    проблем, о которых заявлено в названии книги.
    Мозг умеет все, и, что очень важно, логика его работы весьма
    проста. Она использует связи «если - то», «посылка - следствие».
    Более того, это основные отношения, складывающиеся на этапе
    обучения в незримые таблицы. В свою очередь, основной вопрос:
    «На что более всего похож предъявляемый образ и что из этого
    следует?», в то же время является основной функцией обучения
    нейросети, воспроизводящей работу мозга и ассоциативное
    мышление. И мы уже видим, как с помощью такого принципа ре-
    шаются представленные здесь задачи.
    Защищая принципы искусственного интеллекта и нейросете-
    вые технологии, спросим читателя, много ли он считает, т.е. опе-
    рирует с числами, в своей обыденной жизни? Как находит угол
    поворота-рулевого колеса, чтобы удержать автомобиль на дороге?
    Как выбирает значения массы параметров, чтобы попасть мячом
    в баскетбольную корзину? Как вообще он передвигается по доро-
    ге, не спотыкаясь о бугорки и обходя лужицы?
    Интерполируя по тем самым незримым таблицам, реализо-
    ванным и развиваемым в нейронной сети нашего мозга, мы мо-
    жем безбедно прожить жизнь, не ставя перед собой тяжелых
    творческих задач. И только взаимодействие таких таблиц, содер-
    жащихся в них отношений (в совокупности с образной памятью),
    позволяет строить логические цепочки, называемые умозаклю-
    чениями.
    Книга содержит девять разделов. В разд. 1 обсуждаются проб-
    лемы построения и применения нейронных сетей. В разд. 2 стро-
    ится обученная нейросеть на основе «схемотехнического» подхо-
    да. В разд. 3 приводятся пример и формальный алгоритм обуче-
    ния нейронной сети методом трассировки. В разд. 4 исследуется
    проблема динамического, постепенного обучения нейросети в
    процессе ее эксплуатации. В разд. 5 рассматривается построение
    нейронных сетей с обратными связями. Разд. 6 посвящен постро-
    ению самообучающихся систем управления. В разд. 7 представле-
    на нейросетевая реализация АЛГОЛ-программы. В разд. 8 аппа-
    рат «карт Кохонена», реализуется на универсальной нейросети,
    позволяющей значительно увеличить число рассматриваемых
    факторов. Разд. 9 посвящен перспективе применения нейросете-
    вых технологий в сфере обеспечения безопасности, в системах
    защиты информации, при управлении следованием поездов и др.
    Книга рассчитана на любознательных, предприимчивых
    компьютерщиков и программистов, желающих найти область
    приложения своим интересам для личных успехов в Computer Art
    Studio в науке, экономике и бизнесе, а также в индустрии развле-
    чений и зрелищ.


    Далее...
     
    3. Введение
    Автор admin, сентября 15, 2008   

    В моменты принятия сложных решений человек старается
    «заглянуть в себя» и постичь, каким образом он справляется с
    трудными и порой не решаемыми формальной логикой задачами.
    Естественное беспокойство и жажда познания обуревают его на-
    ряду со смутным сознанием того, что математический, алгорит-
    мический подход к построению сложных кибернетических сис-
    тем искусственно абсолютизирован. Все должно быть к месту, все
    должно быть взвешено, И обращаясь к себе, он раз за разом про-
    водит мозговую атаку на то таинственное, созданное природой —
    на собственный мозг…
    Итак, мы вступаем в самую сокровенную область искусствен-
    ного интеллекта.
    Мы смелы и безапелляционны. Долго и систематически на-
    саждаемая духовная нищета заставила нас позабыть о превалиру-
    ющем духовном начале в человеке. Все больше людей понимают,
    что мозг — лишь инструмент духа, души. И как любой инстру-
    мент, он производится, тупится и приходит в негодность — уми-
    рает. Бессмертной остается душа — продукт тонкого мира, мира
    сверхвысоких частот и, по мнению некоторых философов, нас-
    тойчиво проявляющейся психической энергии.
    А раз мозг — инструмент, его надо тренировать, заполнять, со-
    вершенствовать. В природе царит принцип целесообразности,
    полезности в борьбе за главную установку — установку на разви-
    тие. Нужное существует и утверждается, ненужное отмирает, как
    отмирают неиспользованные, «лишние» нейроны, порождая
    склеротическую ткань и разъедающую интоксикацию. И челове-
    ка ленивого, праздного, недеятельного охватывает преждевре-
    менное старческое слабоумие. «Душа обязана трудиться», — ска-
    зал поэт Н. Заболоцкий. Эту истину мы открываем вновь, с дру-
    гой, неожиданной стороны…
    Мы принимаем сказанное и успокаиваемся. Не вторгаемся
    мы в то, что для нас сейчас непостижимо, что пока нам не дано.
    Но кто знает? И на всякий случай мы вооружаемся иронией, пре-
    одолевая «сопротивление материала». Ирония позволяет и ска-
    зать, и не сказать, предположить, но тотчас, прикрываясь шут-
    кой, трусливо отступить. Только иронией можно защитить себя
    от мистических страхов, возникающих на трудном пути позна-
    ния.
    Внимание ученых к логическому моделированию процессов
    головного мозга [1—6] обусловили следующие причины:
    • высокая скорость выполнения сложных логических
    конструкций — предикатов с высоким параллелизмом действий;
    • простота алгоритмов логических действий мозга, основан-
    ная не на численном манипулировании, а на принципах ассоци-
    ативного мышления;
    • возможность решения трудно формализуемых задач, в кото-
    рых совместно используются данные логически несовместимой
    природы, противоречивые, неполные, «зашумленные», некоррек-
    тные;
    • устойчивость работы, совместимая с расширением, транс-
    формированием и совершенствованием знаний;
    • надежность, обеспечиваемая наличием многих путей логи-
    ческого вывода и способностью восстановления утраченных дан-
    ных;
    • возможность построения самообучающихся и самонастраи-
    вающихся систем;
    • прекрасная сочетаемость с традиционными «вычислитель-
    ными» алгоритмами обработки информации, позволяющая стро-
    ить сложные системы управления, - с максимальной надеж-
    ностью, адаптивностью и с минимумом расходуемых ресурсов;
    • отсутствие требований к «традиционно» развиваемым вы-
    числительным средствам. Единственный стимулируемый прин-
    цип — параллелизм. Для реализации параллельной системы —
    нейросети — необходима параллельная вычислительная система.
    Ведь для выявления параллелизма, в частности, мы и обращаем-
    ся к модели мозга! Наряду с разработкой параллельных вычисли-
    тельных устройств — нейрокомпьютеров — стимул к развитию по-
    лучают сети ЭВМ для реализации в них «больших» нейросетей.
    Особый интерес ученых и разработчиков сложных управляю-
    щих систем к нейросетевым технологиям, как и к другим техно-
    логиям искусственного интеллекта, возник в начале 1980-х годов
    (известный «японский вызов» [7]), когда остро встала проблема
    сверхвысокой производительности вычислительных средств.
    Приняв этот вызов, многие исследователи обратили внима-
    ние на принцип самообучения. Следует отметить краткое, но
    полное рассмотрение этой проблемы В.В. Игнатущенко [8].
    Благотворное влияние на развитие нейросетевых технологий
    оказало создание методов параллельной обработки информации
    [9].
    Необходимо выразить признательность замечательному хи-
    рургу, философу и кибернетику Н.М. Амосову [10], вместе с уче-
    никами систематизировавшему подход к созданию средств искус-
    ственного интеллекта (ИИ). Этот подход заключается в следую-
    щем.
    В основе стратегий ИИ лежит понятие парадигмы — взгляда
    (концептуального представления) на суть проблемы или задачи и
    принцип ее решения. Рассматривают две парадигмы искусствен-
    ного интеллекта.
    1. Парадигма эксперта предполагает следующие объекты, а
    также этапы разработки и функционирования системы ИИ:
    • формализация знаний — преобразование экспертом проб-
    лемного знания в форму, предписанную выбранной моделью
    представления знаний;
    • формирование базы знаний (БЗ) - вложение формализо-
    ванных знаний в программную систему;
    • дедукция — решение задачи логического вывода на основе
    БЗ.
    Эта парадигма лежит в основе применения экспертных сис-
    тем, систем логического вывода, в том числе на языке логическо-
    го программирования ПРОЛОГ. Считается, что системы на осно-
    ве этой парадигмы более изучены.
    2. Парадигма ученика, включающая следующие положения и
    последовательность действий:
    • обработка наблюдений, изучение опыта частных примеров
    — формирование базы данных (БД) системы ИИ;
    • индуктивное обучение — превращение БД в БЗ на основе
    обобщения знаний, накопленных в БД, и обоснование процеду-
    ры извлечения знаний из БЗ. Это означает, что на основе данных
    делается вывод об общности той зависимости между объектами,
    которую мы наблюдаем. Основное внимание здесь уделяется изу-
    чению аппроксимирующих, вероятностных и логических меха-
    низмов получения общих выводов из частных утверждений. За-
    тем мы можем обосновать, например, достаточность процедуры
    обобщенной интерполяции (экстраполяции), или процедуры ас-
    социативного поиска, с помощью которой будем удовлетворять
    запросы к БЗ;
    • дедукция — по обоснованной или предполагаемой процеду-
    ре мы выбираем информацию из БЗ по запросу (например, опти-
    мальную стратегию управления по вектору, характеризующему
    сложившуюся ситуацию).
    Исследования в рамках этой парадигмы и ее разработка про-
    ведены пока слабо, хотя они лежат в основе построения самообу-
    чающихся систем управления (ниже будет приведен замечатель-
    ный пример самообучающейся системы управления — правила
    стрельбы в артиллерии).
    Чем база знаний, общий и обязательный элемент системы
    ИИ, отличается от базы данных? Возможностью логического вы-
    вода!
    Теперь обратимся к «естественному» интеллекту. Природа не
    создала ничего лучшего, чем человеческий мозг. Значит, мозг яв-
    ляется и носителем базы знаний, и средством логического выво-
    да на ее основе независимо от того, по какой парадигме мы орга-
    низовали свое мышление, т. е. каким способом заполняем базу
    знаний, — учимся!
    Д.А. Поспелов в замечательной, единственной в своем роде,
    работе [11] освещает высшие сферы искусственного интеллекта —
    логику мышления. Цель данной книги — хотя бы частично препа-
    рировать нейросеть как средство мышления, тем самым привле-
    кая внимание к низшему, начальному звену всей цепи методов
    искусственного интеллекта.
    Отбросив мистику, мы признаем, что мозг представляет собой
    нейронную сеть, нейросеть, - нейроны, соединенные между со-
    бой, со многими входами и единственным выходом каждый.
    Нейрон реализует достаточно простую передаточную функцию,
    позволяющую преобразовать возбуждения на входах, с учетом ве-
    сов входов, в значение возбуждения на выходе нейрона. Функци-
    онально законченный фрагмент мозга имеет входной слой ней-
    ронов — рецепторов, возбуждаемых извне, и выходной слой, ней-
    роны которого возбуждаются в зависимости от конфигурации и
    величины возбуждения нейронов входного слоя. Предполагает-
    ся, что нейросеть, имитирующая работу мозга, обрабатывает не
    сами данные, а их достоверность, или, в общепринятом смысле,
    вес, оценку этих данных. Для большинства непрерывных или
    дискретных данных их задание сводится к указанию вероятности
    диапазонов, которым принадлежат их значения. Для большого
    класса дискретных данных — элементов множеств — целесообраз-
    но жесткое закрепление нейронов входного слоя.
    Распределение величин возбуждения нейронов выходного
    слоя, а чаще всего нейрон, обладающий максимальной величи-
    ной возбуждения, позволяют установить соответствие между
    комбинацией и величинами возбуждений на входном слое (изоб-
    ражение на сетчатке глаза) и получаемым ответом (что это). Та-
    ким образом, эта зависимость и определяет возможность логи-
    ческого вывода вида «если — то». Управление, формирование
    данной зависимости осуществляются весами синапсических свя-
    зей нейронов, которые влияют на направления распространения
    возбуждения нейронов в сети, приводящие на этапе обучения к
    «нужным» нейронам выходного слоя, т.е. служат связыванию и
    запоминанию отношений «посылка — следствие». Связь
    подструктур нейросети позволяет получать «длинные» логичес-
    кие цепочки на основе подобных отношений.
    Отсюда следует, что сеть работает в двух режимах: в режиме
    обучения и в режиме распознавания (рабочем режиме).
    В режиме обучения производится формирование логических
    цепочек.
    В режиме распознавания нейросеть по предъявляемому образу
    с высокой достоверностью определяет, к какому типу он относит-
    ся, какие действия следует предпринять и т.д.
    Считается, что в человеческом мозге до 100 млрд нейронов.
    Но сейчас нас не интересует, как устроен нейрон, в котором нас-
    читывают до 240 химических реакций. Нас интересует, как рабо-
    тает нейрон на логическом уровне, как выполняет он логические
    функции. Реализация лишь этих функций должна стать основой
    и средством искусственного интеллекта. Воплощая эти логичес-
    кие функции, мы готовы нарушить основные законы физики,
    например закон сохранения энергии. Ведь мы рассчитываем не
    на физическое моделирование, а на доступное, универсальное —
    компьютерное.
    Итак, мы сосредоточиваем внимание на «прямом» использо-
    вании нейросетей в задачах искусственного интеллекта. Однако
    их применение распространяется на решение и других задач. Для
    этого строят нейросетевые модели со структурой, ориентирован-
    ной на данную задачу, используют специальную систему связей
    нейроподобных элементов, определенный вид передаточной
    функции (часто используют так называемые сигмоидные связи,
    основанные на участии экспоненты при формировании переда-
    точной функции), специально подобранные и динамически
    уточняемые веса. При этом используют свойства сходимости ве-
    личин возбуждения нейронов, самооптимизации. При подаче
    входного вектора возбуждений через определенное число тактов
    работы нейросети значения возбуждения нейронов выходного
    слоя (в некоторых моделях все нейроны входного слоя являются
    нейронами выходного слоя и других нет) сходятся к неким вели-
    чинам. Они могут указывать, например, на то, какой эталон в
    большей степени похож на «зашумленный», недостоверный
    входной образ, или на то, как найти решение некоторой задачи.
    Например, известная сеть Хопфилда [12], хоть и с ограничения-
    ми, может решать задачу коммивояжера - задачу экспоненциаль-
    ной сложности. Сеть Хемминга [5] успешно реализует ассоциа-
    тивную память. Сети Кохонена (карты Кохонена) [3] эффектив-
    но используют принцип кластеризации и широко применяются в
    экономике, финансах, бизнесе и т.д. Эффективно применяются
    нейросети для аппроксимации функций многих переменных в
    виде рекурсивного разложения в базисе передаточной функции.
    В указанном выше применении нейросети выступают в роли
    спецпроцессоров для «быстрого» решения частных задач или клас-
    сов задач. Это можно сравнить с применением аналоговых ЭВМ
    для решения систем дифференциальных уравнений, где програм-
    мирование заключается в формировании электрической цепи из
    элементов заданного набора в соответствии с системой уравне-
    ний, а установившийся процесс позволяет на выходе снимать
    значения функций — решений.
    Когда хотят подчеркнуть такие «вычислительные» примене-
    ния нейросетей, то говорят о нейроподобных задачах, и это не
    должно отвлекать нас от действий в рамках ИИ, направленных на
    решение трудно формализуемых задач, на простоту и универсаль-
    ность, свойственные мозгу.


    Далее...
     
    1.1 Модель мозга
    Автор admin, сентября 15, 2008   

    Нейросеть содержит узлы — аналоги нервных клеток — нейро-
    нов (нейроподобных элементов, НПЭ) и их соединения — синапси-
    ческие связи (рис.1.1).

    dd98

    Модель нейрона во взаимодействии с другими нейронами
    нейросети представлена на рис. 1.2.
    Здесь Уа — энергетические доли импульсов Vk, выработанных
    другими нейронами и поступивших на дендриты нейрона /; юЛ -
    веса дендритов; Л, - пороги. В свою очередь, выработанный им-
    пульс V, также распространяется по дендритам нейронов, с кото-
    рыми связан нейрон / с помощью ветвящегося аксона. В соответ-
    ствии с законом распределения энергии величина ^делится про-
    порционально значениям весов дендритов «принимающих» ней-
    ронов. (В практических моделях такое распределение энергии
    обычно не реализуют.)

    dd99

    Каждый нейрон управляем или извне, или по принципу само-
    управления с помощью обратных связей. Можно регулировать
    значения весов синапсических связей {а>,} и значения порогов hj. Та-
    кое регулирование, реализованное в разных моделях, и определя-
    ет возможность обучения и самообучения сети. Оно задает пути
    прохождения возбуждений через сеть, простейшим образом фор-
    мируя связи «посылка — следствие».
    Изображенный на рис. 1.3 фрагмент нейросети позволяет
    представить следующее:

    dd100

    • функции f бывают различны, но просты по объему вычис-
    лений. В простейшем случае f совпадает с линейной формой —
    указанным аргументом, т. е. по всем дендритам с учетом их весов
    (см. рис. 1.3) производится суммирование и сравнение с порогом:

    dd101

    • величина превышения порога является величиной возбуж-
    дения нейрона или определяет значение величины возбуждения.
    Например, в некоторых моделях величина возбуждения всегда
    равна единице, отсутствие возбуждения соответствует нулю. В
    других моделях допускают и отрицательную величину возбужде-
    ния. Значение возбуждения передается через ветвящийся аксон в
    соответствии со связями нейрона;
    • в общем случае по дендритам может передаваться как воз-
    буждающее, так и тормозящее воздействие. Первое может соот-
    ветствовать положительному значению веса синапсической свя-
    зи, второе — отрицательному. Аналогичный эффект достигается
    при передаче отрицательных значений возбуждения нейронов;
    • в сети распознают входной (рецепторный) слой, воспринима-
    ющий внешние возбуждения (на который, например, подается
    видеоизображение), и выходной спой, определяющий решение за-
    дачи. Работа сети тактируется для имитации прохождения по ней
    возбуждения и управления им;
    • сеть работает в двух режимах: режиме обучения и режиме рас-
    познавания (рабочем режиме).
    Установим случайным образом начальные значения весов
    дендритов всей сети. Пусть нейросеть предназначена для распоз-
    навания рукописного текста. Тогда входной слой функционирует
    аналогично сетчатке глаза, которая воспринимает изображение.
    Его подача на входной слой возбуждает в некоторой конфигура-
    ции множество нейронов — рецепторов. Предположим, на вход-
    ной слой подан и поддерживается некоторый эталон, например
    буква А. Спустя определенное время максимально возбудится не-
    который нейрон выходного слоя (прохождение возбуждения от-
    мечено на рис. 1.3 черным цветом). Закрепим этот нейрон за бук-
    вой А, т.е. его возбужденное состояние будем воспринимать как
    ответ: «Это буква А». Снова введем букву А, но с естественными
    искажениями, обусловленными почерком, дрожанием руки и т.д.
    Возможно максимально возбудится тот же нейрон, а возможно —
    другой. Мы же хотим «научить» систему, заставить ее ответить, что
    это - тоже буква А, т.е. добиться максимального возбуждения то-
    го же нейрона выходного слоя.
    Тогда необходимо изменить веса и, возможно, пороги в сети
    на пути прохождения возбуждения так, чтобы заставить возбу-
    диться нужный нейрон. Такая настройка сети является основ-
    ным, наиболее важным элементом ее обучением. Применяемые
    для этого алгоритмы называют алгоритмами обучения.
    Одним из наиболее часто применяемых алгоритмов обучения
    является алгоритм обратного распространения ошибки. В нем
    воспроизводится подход, используемый в динамическом прог-
    раммировании и основанный на обратном и прямом проходах.
    Здесь мы предлагаем новый, более простой алгоритм “трассиров-
    ки”, основанный на прямом проходе при прокладывании путей;
    возбуждения от эталонов к нейронам выходного слоя.
    Предъявляя множество эталонов и регулируя параметры, про-
    изводим обучение сети данному образу. Математические пробле-
    мы несовместимости управления параметрами для разных этало-
    нов в данном случае не рассматриваются: в природе такой про-
    цесс проходит успешно, достаточно устойчиво при разумном от-
    личии эталонов. Ясно, например, что заставлять один и тот же
    нейрон выходного слоя возбуждаться и на строчную, и на про-
    писную букву А вряд ли разумно. В лучшем случае он определит,
    что это вообще буква, а не знак пунктуации.
    Обучение заканчивается тогда, когда вероятность «узнава-
    ния» достигнет требуемого значения, т.е. необходимость коррек-
    тировки параметров по предъявляемым эталонам возникает все
    реже. Теперь можно работать в режиме распознавания. Предъяв-
    ляем сети различные буквы. Можно быть уверенным, что, если
    мы предъявим случайно искаженную и даже зашумленную букву
    А (конечно, в допустимых пределах), сеть ее с большой вероят-
    ностью распознает, т. е. максимально возбудится соответствую-
    щий нейрон выходного слоя.
    Можно существенно облегчить обучение, предъявляя эталон
    «в полном смысле», т.е., например, показывая букву, регламенти-
    рованную букварем. Тогда на вероятность распознавания этой
    буквы будет влиять предусмотренная степень отклонения от дан-
    ного эталона, обусловленная почерком. Далее необходимо при-
    держиваться именно такого способа обучения.
    Расширим функцию входного слоя, связав его не с изображе-
    нием, а в общем случае с некоторыми характеристиками исход-
    ной ситуации (входного вектора), по которой необходимо прини-
    мать решение — формировать выходной вектор. Тогда сеть обуча-
    ется по эталонным ситуациям, решение которых известно, а за-
    тем в рабочем режиме выдает решение во всем диапазоне ситуа-
    ций и при этом автоматически определяет, на какую «знакомую»
    ситуацию более всего похожа введенная и, следовательно, какое
    решение надо принять.
    Такая обработка входной информации при возможном ис-
    пользовании в сфере развлечений показана на рис. 1.4.

    dd102

    Отметим, что нейронная сеть выдает заключение в виде отве-
    та на вопрос: «На какую ситуацию похожа данная и, следователь-
    но, какое должно быть принято решение?» Это еще раз подтвер-
    ждает, что нейросеть имитирует ассоциативное мышление.


    Далее...
     
    1.2 Устойчивость и помехозащищенность
    Автор admin, сентября 15, 2008   

    В рассмотренном в разд. 1.1 примере относительно жесткого
    закрепления нейронов выходного слоя между образами принцип
    ассоциативности или ответ на вопрос: «На что более всего это по-
    хоже?», пока не просматривается. Как же он появляется?
    Представим себе выходной слой нейросети (рис. 1.5). Рас-
    сматривая прохождение возбуждения, например, при подаче то-
    го же изображения буквы А, считаем, что в возбужденное состоя-
    ние придет не один нейрон, строго соответствующий (по нашему
    желанию) этой букве, — в его окрестности возбудятся и другие
    нейроны. Причем возбуждение будет угасать по мере удаления.
    Нам же необходимо, чтобы максимальной величиной возбужде-
    ния в этой окрестности обладал именно отмеченный нейрон. Бо-
    лее того, желательно, чтобы эта величина возбуждения была су-
    щественно выше величин возбуждения других нейронов. Это
    обеспечит однозначность при последующем использовании по-
    лученного вывода в построении «длинных» логических цепочек
    для принятия решения. Такая локализация возбуждения позво-
    ляет с большой определенностью ответить на вопрос: «На что бо-
    лее всего похож предъявляемый образ, несмотря на случайные от-
    личия его от эталона и помехи?»
    Отметим существующую в природе (реализованную в мозге)
    непрерывность перерастания свойства похожести одних образов
    в другие. Следование этому принципу при принудительном зак-
    реплении нейронов выходного слоя способствует построению
    адекватных моделей. Говоря точнее, подавая первый раз букву А
    при случайном начальном выборе весов, не следует указывать
    системе, какой нейрон выходного слоя должен возбудиться. Луч-
    ше подать достаточно «правильный» эталон и посмотреть, какой
    нейрон возбудится. Этот нейрон и будет впредь соответствовать
    нашей букве. Возбуждения именно этого нейрона необходимо
    добиваться при предъявлении других эталонов.

    dd97

    Далее при построении алгоритма обучения предположим, что
    первоначально сеть «пуста», т.е. все веса синапсических связей
    равны нулю. Путь возбуждения (связь «посылка — следствие»)
    прокладывается («трассируется») с помощью присваивания не-
    которым весам положительного значения.
    Способы максимизации и локализации уровня возбуждения
    основаны на нахождении экстремума функции возбуждения,
    построенной в области выходного слоя. Здесь не обойтись без об-
    мена тормозящими воздействиями между нейронами выходного
    слоя. Суть идеи в следующем. Все нейроны выходного слоя име-
    ют синапсические связи, такие, что каждый нейрон связан с бли-
    жайшими нейронами тормозящими связями, по модулю пропор-
    циональными величине собственного возбуждения. В результате
    взаимодействия двух нейронов (один из алгоритмов такого взаи-
    модействия будет рассмотрен ниже) более «сильный» сохранит
    положительный (хотя и меньший) потенциал, сообщив более
    «слабому» тормозящее воздействие. Такое пошаговое «голосова-
    ние» на фоне приходящего подтверждения от эталона и выделит
    сильнейшего.
    Итак, мы видим, что обучение сети неразрывно связано с ло-
    кализацией возбуждения на выходном слое.


    Далее...
     
    1.3 Ввод и «разглядывание» эталонов и образов
    Автор admin, сентября 15, 2008   

    Устройства ввода информации - эталонов, входных векторов,
    исходных ситуаций — имеют для нейросети определяющее значе-
    ние. С их помощью формируются и поддерживаются возбужде-
    ния входного слоя. Однако связь модели живого организма с
    внешней средой сложнее. Это настоящий конгломерат ряда част-
    ных технических и алгоритмических проблем, к которой отно-
    сится успешно решаемая проблема видеоввода. Но ввести в
    компьютер «картинку» — это лишь поддела. «Картинку» надо об-
    работать в целом и по частям, чтобы получить полную и досто-
    верную информацию. В результате имеем аналог нашего воспри-
    ятия действительности.
    Существуют три способа обзора представляемого изображе-
    ния:
    • сканирование сектора обзора, разбитого на элементарные
    сегменты;
    • сканирование сектора обзора со «своим окном просмотра»;
    • спонтанный обзор, обусловленный вниманием к цветовому
    или скоростному всплеску, быстрому увеличению размера (угро-
    жающему приближению) объекта, указанию извне (целеуказа-
    нию) и т.д.
    Третий способ также основан на сканировании сектора обзора,
    однако со значительно меньшими энергетическими затратами.
    При первом и втором способах анализ сложнее, так как тре-
    бует согласования виденного по сегментам, что, в свою очередь,
    приводит к включению высших уровней логического вывода (ин-
    теллекта).
    Применив третий способ, можно добиться избирательности,
    чрезвычайности реакции, например, на резкие движения, на бег,
    на появление яркой расцветки в одежде и т.д., что может с успе-
    хом использоваться в игровых системах.
    Все способы реализуются легче, если речь идет о единствен-
    ном объекте единовременного распознавания - букве, хозяине
    квартиры, подписи и т.д. В случае, если существует множество
    объектов, например туристская группа, любующаяся «умным»
    монстром, необходим не только детальный, но и совместный
    анализ этим монстром всех (многих) ее составляющих.
    Впрочем, говоря о туристах, можно вести речь о конечной, ус-
    редненной реакции монстра на всю группу. Производя обзор, уп-
    равляющая им нейросеть постепенно согласно критериям обуче-
    ния «хорошо — плохо» воспринимает настроение как последова-
    тельное проявление радости и огорчения и приходит к некоторо-
    му окончательному состоянию, обусловленному количествен-
    ным эквивалентом того и другого. Для разных групп туристов или
    экскурсантов это состояние будет разным: либо источником ве-
    селья и шутливого «поощрения» той группы, которая привела
    объект в радость, либо источником «осуждения» группы, вверг-
    нувшей его в печаль.
    Итак, на каждом такте обзора формируется сегмент, содер-
    жимое которого необходимо распознать. Чаще всего целесооб-
    разно допущение о том, что в элементарном сегменте (или в «ок-
    не просмотра») при дискретном сканировании находится не бо-
    лее чем один значимый объект. Пусть это — максимальная об-
    ласть текста, вмещающая единственную букву, написанную с до-
    пустимой долей небрежности. Как разглядеть эту букву? По-ви-
    димому, следует разместить ее на входном слое так, чтобы она
    максимально соответствовала тому размещению эталонов, с по-
    мощью которых производилось обучение. Тогда распознавание
    пойдет корректно (рис. 1.6). Такой процесс «разглядывания»
    предполагает:
    • поиск возможности совмещения условного центра элемента
    изображения и центра экрана — входного рецепторного слоя сети
    (фокусировку);
    • поиск варианта масштабирования элемента изображения
    (приближение — удаление);
    • поиск угла наклона и др.
    В результате таких пробных действий может вдруг начаться
    процесс распознавания, пусть и ошибочного.
    Указанный процесс выделения и размещения в попытке
    инициировать распознавание сравним с концентрацией внима-
    ния и с фокусировкой: ведь зрение в каждый момент времени
    сконцентрировано на элементе изображения посредством фоку-
    сировки на нем глаз в процессе обзора и разглядывания всего
    изображения.

    dd96


    Далее...
     
    1.4 Пространство признаков
    Автор admin, сентября 15, 2008   

    Рассмотрим подробнее процесс восприятия, например,
    строчной буквы а рецепторами — входным слоем нейросети.
    Конфигурация возбужденных рецепторов, порождая прохожде-
    ние возбуждения через внутренние слои нейросети (образуя путь
    возбуждения), задавала возбуждение (не затухшее по пути) одно-
    го из нейронов выходного слоя, определяющего: “Это буква а”.
    Устойчивость подобной схемы по отношению к множеству
    конфигураций возбуждений рецепторов, соответствующих
    одной только букве а, вряд ли высока. Такое непосредственное
    распознавание осуществляется далеко не всегда, ибо наше обра-
    зование базируется на признаках и определениях (правилах
    вывода).
    Как характеризуется строчная буква а? Это кружок, к которо-
    му справа примыкает палочка с хвостиком вправо. А прописная
    буква “А”? Две палочки с перекладинкой. Но ведь буква Н тоже
    соответствует этому определению. Тогда следует добавить: про-
    писная “А” — это две палочки, соединенные вверху. (Кстати, сое-
    динение вверху может быть из-за небрежности лишь обозначено.
    Тогда о намеке на него можно судить по наклону палочек. Даль-
    нейшая небрежность приведет к неразличимости букв А и Я.)
    Значит, существует ряд признаков, лежащих в основе опреде-
    лений. Ясно, что такой способ распознавания гораздо устойчивее
    к искажениям и особенностям почерка, однозначен и надежен.
    Ведь при изображении буквы А возможны не только небрежность
    в верхнем соединении палочек, но и различный наклон буквы,
    длина боковых палочек, место расположения перекладины, ее
    наклон, и т.д. Искажение приведет к сомнениям лишь при сход-
    стве с цифрой 4, с телеграфным столбом или с греческой буквой
    Л. Но даже в этом случае окончательный вывод может быть сде-
    лан на основе контекста, т.е. по использованию дополнительных
    признаков.
    Значит, в нашем случае необходимо ввести такие признаки,
    как наличие кружка, палочек, хвостиков, их взаимного располо-
    жения, т.е. построить пространство признаков, преобразовать в
    это пространство входные изображения, и тогда получим более
    определенное и устойчивое к искажениям заключение.
    Перевод входного изображения в пространство признаков
    значительно расширяет возможности обзора — масштабирова-
    ния, размещения, поиска угла наклона, т.е. позволяет с более вы-
    сокой достоверностью производить распознавание.
    Например, изображение танка может в разных ракурсах
    накладываться на входной слой рецепторов и запоминаться: «и
    это — танк», «и это — тоже танк» и т.д. Но если ввести опреде-
    ление «танк — это массивный корпус на гусеничном ходу, а
    сверху — башня с дулом пушки и все такое зелененькое», то в
    любом случае при распознавании будут приняты меры предос-
    торожности.


    Далее...
     
    1.5 Кора
    Автор admin, сентября 15, 2008   

    Понятно, что примитивная оптимизация целевой функции,
    принимающей только два значения: «хорошо» и «плохо», может
    быть использована лишь на начальной стадии изучения и приме-
    нения принципов нейросети. В частности, на таких принципах
    строится модель собачки Павлова, демонстрирующая условный
    рефлекс при предъявлении этикетки «Pedigree».
    Цепочки логических выводов человека содержат не одно, а
    много звеньев. Сделанные выводы вновь входят в конфигура-
    цию изображений (входных векторов) для новых выводов,
    действий и т.д.
    Буква нужна, чтобы распознать слово; слово — чтобы
    распознать предложение, уяснить его смысл, предпринять адек-
    ватные действия и т.д. Возникает вопрос о целесообразной
    структуре сети, где выводы, собираясь в различные конфигура-
    ции, как бы множась, вновь участвуют в формировании новых
    выводов. Здесь можно предположить как прямые, так и обрат-
    ные связи, когда попутно сделанные выводы уточняют умозак-
    лючение.
    При какой же концентрации выводов совмещаются понятия
    входного и выходного слоев? Видимо, целесообразно существо-
    вание универсального слоя — коры, со связями между отдельны-
    ми нейронами и целыми областями, где сформировавшиеся вы-
    воды используются для получения других выводов.


    Далее...
     
    1.6 Локализация максимального возбуждения на выходном слое
    Автор admin, сентября 15, 2008   

    Проанализировав сказанное выше, попытаемся собрать не-
    которую универсальную модель нейросети с входным и выход-
    ным слоями. Картина возбуждений выходного слоя при подаче
    изображения на входной слой после аппроксимации в непрерыв-
    ную область определения из дискретной будет представлять со-
    бой непрерывную функцию, максимум которой определяет необ-
    ходимое заключение. Однако на этапе обучения, а также в рабо-
    чем режиме с удовлетворительной достаточно малой вероят-
    ностью по ряду предъявляемых эталонов этот максимум не сов-
    падает с нужным ответом. Следовательно, путь распространения
    возбуждений внутри сети необходимо скорректировать измене-
    нием синапсических весов задействованных нейронов.
    Как было упомянуто выше, предварительная локализация
    максимума величины сигнала производится в результате взаимо-
    действия нейронов в области или некоторой окрестности выход-
    ного слоя или коры. Области возбуждений «закрепляются» за ти-
    пами объектов — за буквами, цифрами, продуктами питания и т.д.
    В развитой сети с актуальным понятием коры нейроны отдель-
    ных ее областей через нейроны внутренних слоев вновь порожда-
    ют пути прохождения возбуждений в другие области коры и т.д.
    Пытаясь проанализировать и воспроизвести универсальную
    нейросеть, видим, что отдельный нейрон может взаимодейство-
    вать с огромным числом нейронов (нейрон имеет до 10 тыс. денд-
    ритов), но это взаимодействие носит локальный характер. А имен-
    но, несмотря на случайность связей, вероятность связи с «близ-
    ким» нейроном значительно выше вероятности связи с нейроном
    «далеким». Об этом свидетельствуют исследования длины денд-
    ритов и аксонов: длина дендрита достигает миллиметра, а длина
    аксона — сотни миллиметров. При этом применяется, по-види-
    мому, усредненная характеристика, вряд ли отражающая нейро-
    ны только головного мозга.
    Такой принцип локальности, пронизывающий всю структуру
    сети, в сочетании с принципом иерархии — возможностью пост-
    роения новых выводов на основе сделанных, позволяет реализо-
    вать связи «каждый с каждым». Никакой вывод не остается не-
    доступным и неиспользованным при построении сложных умо-
    заключений.
    Принцип локальности обеспечивает минимизацию входной
    информации, существенное влияние лишь значимых признаков
    на заключение, контролируемое и диагностируемое пофункцио-
    нальное разбиение областей нейросети, определение и выделе-
    ние той области нейросети, в синапсические веса которой необ-
    ходимо внести поправки в процессе обучения.
    Данный принцип не отвергает существования маловероятных
    связей «каждого с каждым». Эта вероятность может быть высо-
    кой вследствие аномалий генетического характера. Например,
    некий уникум способен «видеть» кожей: нейроны, воспринима-
    ющие кожные ощущения, сильно связаны с нейронами выходно-
    го слоя, «отвечающими» за зрение. При слабых связях распрост-
    ранение возбуждения от кожных рецепторов в сторону «зритель-
    ных» нейронов гаснет. В данном же случае оно становится ре-
    зультативным, поскольку в целом все нейроны устроены одина-
    ково.
    Большое число связей способствует высокой надежности
    мозга. Ведь ежедневная гибель огромного числа нейронов, под-
    хлестнутая алкоголем и наркотиками, а также травмы компенси-
    руются другими путями прохождения возбуждений, иногда даже
    связанными с Необходимостью переобучения. Впрочем, огра-
    ниченный ресурс возможного не спасает в конце концов от дег-
    радации.
    Рассмотрим теперь более подробно процесс локализации мак-
    симальной величины возбуждения на выходном слое, заключаю-
    щейся в выделении того нейрона некоторой малой области, вели-
    чина возбуждения которого максимальна. Он основан на подав-
    лении тех сигналов, которые не соответствуют нейрону с макси-
    мальным возбуждением т.е. концентрация сигнала и выделение
    нейрона с максимальной величиной возбуждения достигаются с
    помощью подавляющих связей «соседних» нейронов выходного
    слоя.
    Пусть нейронам выходного слоя, условно расположенного на
    плоскости (х,у), соответствует непрерывная функция возбужде-
    ния Р(х,у) (рис. 1.7), обусловленная прохождением сигналов воз-
    буждений в сети на основе предъявленного эталона. Будем счи-
    тать, что эта функция имеет один или более максимум. Пусть Ру
    — значение величины возбуждения нейрона с координатами (i,j).
    Каждый нейрон (i,j), действуя в своей окрестности, рассыла-
    ет соседним нейронам, на их дендриты с отрицательными, не
    обязательно регулируемыми весами первоначальную величину
    возбуждения Рц, полученную из сети.
    Представим взаимодействие соседних нейронов, например,
    (i,J) и (i,j+l) с разными значениями величин возбуждения. Пусть
    Ру > P(j+]. Тогда в течение очередного периода тактовой частоты
    на входе нейрона (/, у) появится подавляющий сигнал Ру+у, а на

    dd95

    входе нейрона (i, j+1), имеющего меньшее значение величины
    возбуждения, — больший подавляющий сигнал Ру.
    При предъявлении на входном слое эталона, т.е. при сущест-
    вовании в некоторый период времени характера и величины воз-
    буждений, обусловливающих возбуждение выходного слоя, меж-
    ду нейронами (i,j) и (i,j+1) происходит перераспределение вели-
    чины возбуждения. А именно значение Рд, несомненно, умень-
    шится, но в еще большей степени уменьшится значение PiJ+1. В
    следующем такте «сильный» нейрон еще более «ослабит» «сла-
    бый» нейрон, который, в свою очередь, сможет еще в меньшей
    степени «ослабить» более «сильный» нейрон и т.д. Так, при доста-
    точно долгом показе эталона «слабый» нейрон может «слабеть»
    до тех пор, пока взвешенная сумма подаваемых ему сигналов не
    станет меньше его порога.
    Рассматривая этот процесс в рамках взаимодействия всех
    нейронов области выходного слоя, можно сделать вывод о посте-
    пенной концентрации высокого уровня возбуждения, присущего
    одному или нескольким нейронам и определяющего один или
    несколько локальных максимумов.
    При таком взаимодействии нейронов области возбуждения
    выходного слоя происходит усиление сигнала наиболее возбуж-
    денного нейрона. Полное подавление сигнала возможно только
    на границе этой области. Если где-то внутри области возбужде-
    ние некоторого нейрона окажется подавленным полностью (сиг-
    нал не преодолевает порога), то в следующем такте этот нейрон
    не сможет подавить сигнал того нейрона, который прежде имел
    более слабый сигнал возбуждения. Тогда возможно появление в
    указанной области возбуждения нового локального максимума.
    Таким образом, веса отрицательных связей должны способство-
    вать максимизации возбуждения того нейрона, который перво-
    начально продемонстрировал максимальное возбуждение при за-
    тухании возбуждения нейронов в сторону периферии.
    Но всегда ли следует на выходном слое локализовать величи-
    ну возбуждения?
    По-видимому, такое усиление возбуждения используется для
    того, чтобы единственный нейрон выходного слоя преодолел не-
    который порог, будучи ответственным за сделанный вывод или
    решение.
    Локализация и максимизация возбуждения на выходном слое
    особенно важны тогда, когда действительно необходима высокая
    степень определенности, например в том случае, если получае-
    мый вывод (решение) немедленно участвует в цепочке последую-
    щих выводов.
    В конце концов все обусловлено назначением сети решаемой
    задачей. Можно представить себе аттракцион — реакцию фантас-
    тического чудовища на изображение, как это показано на рис.
    1.4. По виду изображения инициируются те или иные программы
    — радости, гнева, поднятия лап, виляния хвостом и т.д. Возбужде-
    ние определенных нейронов выходного слоя связывается с запус-
    ком соответствующих программ, где основным параметром явля-
    ется величина возбуждения. Программы не исключают друг дру-
    га и могут запускаться в одном такте. При этом предпочтителен
    запуск только тех программ, значение параметра которых превы-
    шает некоторый порог.
    В большинстве частных случаев, когда нейросеть обучается с
    помощью «учителя», т.е. на основе действий извне при ее наст-
    ройке, присутствует элемент принудительного закрепления ней-
    ронов выходного слоя за выводами. В процессе последующего
    обучения преимущественно с помощью весов синапсических
    связей добиваются адекватной реакции сети.
    Отметим в заключение, что научный аспект проблемы разви-
    тия и внедрения нейросетевых технологий базируется на фило-
    софско-математическом представлении задач ИИ, выражаю-
    щемся в формализации процесса мышления.
    В работе [11] Д. А. Поспелов, в частности, исследует теорию
    Аристотеля - силлогистику и предлагает принципы ее моделиро-
    вания. Тем самым указывается важность формализации механиз-
    ма мышления. Этим механизмом уже давно, со времен Лейбница
    и до появления булевой алгебры (вплоть до наших дней), являет-
    ся математическая логика, отображенная во многих работах вы-
    дающихся математиков.
    Математическая логика, ее важный раздел «Алгебра высказы-
    ваний», действительно соединили принципы мышления и их ав-
    томатизированное воплощение.
    Однако для реализации мышления природа не создала ниче-
    го лучшего, чем человеческий мозг. Он является гигантской ней-
    росетью, фиксирующей причинно-следственные связи, создаю-
    щей базу знаний и владеющей процедурами логического вывода.
    Таким образом, нейронные сети реально являются основой
    формализации средств мышления. Поэтому справедливо считать,
    что исследование нейронных сетей опирается на достижения ма-
    тематической логики.


    Далее...
     

    2.1 Построение примитивной нейросети
    Автор admin, сентября 15, 2008   

    Говоря о вещах несогласуемых, мы вспоминаем поговорку:
    «В огороде бузина, а в Киеве дядька». Как же связать объекты,
    между собой не совместимые, вызывающие усмешку, но, несом-
    ненно, влияющие на раздумья о смысле жизни?
    Здесь мы сталкиваемся с действительно трудно формализуе-
    мой задачей, требующей мобилизации нашего ассоциативного
    мышления.
    Существует мнение о том, что нейросеть формируется «под
    задачу». Однако в природе есть идеальная, универсальная, «уни-
    фицированная» нейросеть — наш мозг. И каждый из нас не испы-
    тывает серьезных технических трудностей, если становится не
    коммерсантом, а, скажем, блестящим специалистом по реликто-
    вым захоронениям мезозойского периода. Более того, если чело-
    век талантлив, то он талантлив во всем.
    В книге Э. Мулдашева «От кого мы произошли?» в главе
    «Почему мы смотрим друг другу в глаза?» автор говорит об изве-
    стных ему 22 параметрах, отражающихся на глазной области ли-
    ца и динамически описывающих морально-психологическое
    состояние собеседника — партнера. Однако обсчитать на компь-
    ютере удалось лишь два. Автор удивлен той колоссальной ско-
    ростью, с которой ведет описанную обработку человеческий
    мозг: «Воистину велик Бог, создавший такое компьютерное со-
    вершенство мозга!»
    Мы уже не удивляемся высокой скорости работы мозга. Изве-
    стно, что это — процесс распараллеливания обрабатываемой ин-
    формации, и без параллельных вычислительных средств зани-
    маться моделированием работы мозга, т.е. «больших» нейросе-
    тей, — бессмысленно.
    Именно особенности параллельной обработки информации
    наряду с возможным отсутствием формальных расчетов (только
    на основе ассоциативного мышления) привлекли к себе внима-
    ние проектировщиков суперЭВМ в период так называемого
    японского вызова, в начале 1980-х годов.
    Нейросетевые технологии основаны на моделировании дея-
    тельности мозга, а по классическому утверждению Р. Шеннона
    [14], «моделирование есть искусство». И как каждое искусство,
    модель нейросети базируется на примерах, опыте и общих реко-
    мендациях.
    Рассмотрим пример, навеянный временем перестройки.
    Вася и Петя — друзья. Обозначим А — множество друзей:

    dd91

    Вася и Петя создали «крышу», под которой успешно трудится
    ряд палаток:

    dd92

    заботливо опекаемые хозяйками, соответственно Оксаной и Рок-
    саной, Мариной и Региной, а также Аполлинарией. Палатки ре-
    ализуют продукцию фирм:

    dd93

    Фирма Красный киллер производит винно-водочную продук-
    цию отличного качества. Фирма Пират специализируется на ау-
    дио- и видеопродукции и других культурных ценностях, а фирма
    Ночная бабочка — на французской косметике из мосластых мос-
    ковских дворняг.
    Ситуацию контролирует дядя Рамзай из налогового ведом-
    ства, который имеет свой маленький частный бизнес. С каждой
    сложившейся ситуацией, определяемой тем, кто из друзей какие
    палатки посетил и чья продукция находилась на реализации, дя-
    дя Рамзай связывает свою долю прибыли, основанную, мягко го-
    воря, на шантаже. Дядя Рамзай имеет свой штат осведомителей:
    пару бомжей - жертв предыдущей амнистии, и пару-тройку голо-
    пузых апологетов трудного детства, которые с некоторой долей
    достоверности доставляют ему информацию.
    Дядя Рамзай — прогрессивный бизнесмен, и оценки прибыли
    производит с помощью математического аппарата, обратившись
    за помощью к нам. А информации дяде Рамзаю приходится обра-
    батывать много. Он, прямо скажем, работает в условиях неопре-
    деленности и усиленных помех. Судите сами. Оксана делит лю-
    бовь между Васей и Петей. Роксана — пока нет. Марина и Регина,
    жалея, подкармливают юных следопытов. Аполлинария заполу-
    чила покровителя в местной мэрии и разъезжает в длиннющем
    “линкольне”. Тщетно пытаясь разрушить узы бескорыстной
    дружбы, фирма Пират подкупила Васю, снизив нагрузку вымога-
    тельства на свою продукцию. Петя, кажется, пошел на наруше-
    ние «закона» и вторгается в область, контролируемую конкурен-
    тами. Все такие обстоятельства прямо или косвенно влияют на
    долю прибыли дяди Рамзая.
    А мы, принимая заказ на очень трудно формализуемую зада-
    чу, хотим уяснить, что нужно дяде Рамзаю, и устанавливаем:
    • он хочет, задавая исходные данные на основе неполной или
    недостоверной информации своих агентов, все-таки распознать с
    наибольшей определенностью, что это за ситуация и на какую
    прибыль можно рассчитывать;
    • он хочет, задавая исходную ситуацию с некоторой достовер-
    ностью, установить среднюю величину прибыли;
    • он хочет сделать вывод о частоте появления различных ситу-
    аций, чтобы перераспределить таксу за молчание о шалостях
    Васи и Пети.
    Итак, абстрагируемся.
    Пусть по стечению обстоятельств, которые мы будем назы-
    вать событиями, принимаются решения R1, R2, R3, R4, R5.
    События выражаются записями, например, вида {A1, B2, С3}
    или A1/\B2/\C3. Это означает, что Вася (А1) отправился в палат-
    ку Марины {СУ), торгующей в этот раз продукцией фирмы Пират
    (B2)
    Решения образуют конечное множество. Каждое решение но-
    сит сугубо личностный характер и определяет тактику дальней-
    шего поведения, надежду на существенное приобретение, турпо-
    ездку и т.д.
    Одно решение соответствует некоторой, в общем случае не
    единственной, комбинации событий. Для изображения таких
    комбинаций воспользуемся записями, например, вида A1/\(B2\/
    \/B3)/\(C4\/C5). Это означает, что Вася отправился в палатку то
    ли к Регине, то ли к Аполлинарии, торгующей продукцией то ли
    фирмы Пират, то ли фирмы Ночная бабочка. Однако эта же за-
    пись означает, что все составляющие ее конъюнкции A1/\B2/\
    /\C4, A1/\B3/\C4 и другие приводят к одному и тому же решению.
    Проанализировав и перебрав все возможные ситуации, с уче-
    том одинакового принимаемого решения получим систему логи-
    ческих высказываний — предикатов как основу формализации
    задачи при построении нейросети:

    dd94

    Тогда, например, первое логическое высказывание означает:
    «Если Вася отправился в одну из пяти палаток, и все они торгу-
    ют сегодня продукцией фирмы Красный киллер, то следует при-
    нять решение R1 (например, заказать туристическую путевку)».
    Второе логическое высказывание означает: «Если Вася посе-
    тил одну из палаток С1, С2 или С3, торгующих сегодня продукци-
    ей фирм B2 и (или) B3, то следует принять решение R2» и т.д.


    Далее...
     
    « Предыдущие записи   


    0.64mb