МЕТОДЫ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙ Мелихова О.А.,Гайдуков А.Б.,Джамбинов С.В.,Чумичев В.С.

Южный федеральный университет


Номер: 9-1
Год: 2015
Страницы: 52-59
Журнал: Актуальные проблемы гуманитарных и естественных наук

Ключевые слова

сеть, персептрон, правило Хебба, стохастическая модель нейрона, network, perseptron, Hebb’s rule, stochastic neuron model

Просмотр статьи

⛔️ (обновите страницу, если статья не отобразилась)

Аннотация к статье

Приводятся классификация математических моделей и понятие имитационного моделирования. Рассматриваются основы функционирования нервной клетки, называемой нейроном. Описываются основные отличия нейронных сетей от обычных электронных систем, созданных человеком. В статье рассматриваются первые модели нейронных сетей, такие как модель МакКаллока-Питса, модель Хебба, основные функции нейронной сети. Такими функциями являются: аппроксимация и интерполяция, распознавание образов, сжатие данных, прогнозирование, идентификация, управление, ассоциация. В соответствии с принципами функционирования биологических нейронов созданы различные математические модели, которыми в большей или меньшей степени реализуются свойства природной нервной клетки. В статье приводятся различные виды моделей нейронов, такие как простой персептрон, нейрон сигмоидального типа, адаптивный линейный нейрон, нейроны типа инстар и оутстар, нейрон типа WTI (Победитель получает все), модель нейрона Хебба, стохастическая модель нейрона. Нейронные сети обладают способностью к обучению и обобщению накопленных знаний, то есть наделены чертами искусственного интеллекта.

Текст научной статьи

Введение. При разработке интеллектуальных систем принятия решений модели представления знаний которых часто строятся в виде ситуационно-фреймовых сетей, нейронных сетей, а также при разработке глобальных интеллектуальных систем, использующих гибридные модели знаний для представления концептуальных понятий, необходимо иметь возможность быстро оценивать влияние тех или иных факторов на поведение системы в окружающем ее мире [1,2; 2,2-3]. Составной частью любой системы управления является математическая модель, достаточно полно описывающая процессы и явления, происходящие в реальных объектах. Вид математической модели зависит не только от природы реального объекта, но и от тех задач, для решения которых она создается, а также от требуемой точности их решения. Любая модель описывает реальный объект лишь с некоторой степенью приближения. Математические модели можно классифицировать по различным признакам. В зависимости от соотношений между состояниями и параметрами сложной системы они делятся на два больших класса: полностью определенные (детерминированные) и вероятностные. В полностью определенных моделях состояния системы в каждый момент времени однозначно определяются через параметры системы, входную информацию и начальные условия, а в случае вероятностной модели эта зависимость носит стохастический характер [3,1-3; 4,2-4; 5,31-35]. С точки зрения способа использования математической модели для исследования сложных систем они делятся на аналитические и имитационные. Для аналитических моделей характерно, что процессы функционирования элементов сложной системы записываются в виде некоторых функциональных соотношений и логических условий. Такие модели можно исследовать различными способами: 1) аналитически, когда стремятся получить в общем виде явные зависимости для искомых величин; 2) численно, когда невозможно получить решение в общем виде, но имеется возможность получить численные результаты при конкретных начальных условиях; 3) качественно, когда, не имея решения в явном виде, можно найти некоторые свойства решения, например, оценить его устойчивость, сходимость и т.п. Также получило широкое распространение имитационное моделирование процессов и систем управления. Суть этого метода заключается в том, что при невозможности получения численного решения с помощью аналитической модели или при отсутствии ее, используется алгоритмическое описание процесса функционирования исследуемой системы. Моделирующий алгоритм позволяет по исходным данным, содержащим сведения о начальном состоянии процесса и его параметрах, получить информацию о состояниях процесса в произвольные моменты времени [5,42-45; 7,2-3]. Имитационное моделирование, как любой численный метод, обладает тем недостатком, что полученное решение носит частный характер, отвечая фиксированным значениям параметров системы, входной информации и начальных условий. Основы функционирования нейрона. Тематика искусственных нейронных сетей относится к междисциплинарной сфере знаний, связанных с биокибернетикой, электроникой, прикладной математикой, статистикой, автоматикой и медициной. Искусственные нейронные сети возникли на основе знаний о функционировании нервной системы живых существ. Они представляют собой попытку использования процессов, происходящих в нервных системах, для выработки новых технологических решений. Нервная клетка, сокращенно называемая нейроном, является основным элементом нервной системы. Изучение механизмов функционирования отдельных нейронов и их взаимодействия принципиально важно для познания протекающих в нервной системе процессов поиска, передачи и обработки информации. Передача сигналов внутри нервной системы - это очень сложный электрохимический процесс. Каждый нейрон имеет свои веса и свое пороговое значение. Они определяются местонахождением нейрона и решаемой им задачей и могут интерпретироваться аналогично содержимому локальной памяти процессора. Громадное количество нейронов и межнейронных связей (до 1000 входов в каждый нейрон) приводит к тому, что ошибка в срабатывании отдельного нейрона остается незаметной в общей массе взаимодействующих клеток. Нейронная сеть проявляет высокую устойчивость к помехам - это “стабильная” сеть, в которой отдельные сбои не оказывают существенного влияния на результаты ее функционирования. Таково главное отличие нейронных систем от обычных электронных систем, созданных человеком. Однако изучение нервных биологических систем позволяет надеяться на создание нового поколения электронных устройств, имеющих аналогичные характеристики. Другая важная особенность нейронных систем - высокая скорость их функционирования, несмотря на относительно длительный цикл срабатывания каждой отдельной клетки, измеряемый в миллисекундах. Эта скорость достигается благодаря параллельной обработке информации огромным количеством нейронов, соединенных многочисленными межнейронными связями. Такие операции, как распознавание образов и звуков либо принятие решений, выполняются человеком за промежутки времени, измеряемые миллисекундами. Достижение такого результата при использовании полупроводниковой технологии VLSI все еще выходит за границы современных технических возможностей, хотя цикл срабатывания отдельных исполнительных элементов СБИС является достаточно коротким и имеет порядок 10-8 с. Если удастся, взяв за образец нервную систему, создать устройство с высокой степенью параллельности выполнения независимых операций, то скорость его функционирования может быть существенно увеличена и приближена к уровню, наблюдаемому в процессах обработки информации биологическими объектами [2,3-5; 6,1-3; 8,3-4]. Первые модели нейронной сети. Каждый нейрон можно считать своеобразным процессором: он суммирует с соответствующими весами сигналы, приходящие от других нейронов, выполняет нелинейную (например, пороговую) функцию и передает результирующее значение связанным с ним нейронам. В соответствии с действующим правилом “все или ничего” в простейших моделях нейронов выходной сигнал принимает двоичные значения: 0 или 1. Значение 1 соответствует превышению порога возбуждения нейрона, а значение 0 - возбуждению ниже порогового уровня [1,1-5; 5,48-54; 7,2-3]. В одной из первых моделей нейрона, называемой моделью МакКаллока-Питса, предложенной в 1943 г., нейрон считается бинарным элементом. Входные сигналы (j=1, 2, …, N) суммируются с учетом соответствующих весов (сигнал поступает в направлении от узла i к узлу j) в сумматоре, после чего результат сравнивается с пороговым значением . Выходной сигнал нейрона определяется при этом зависимостью (1) Аргументом функции выступает суммарный сигнал Функция называется функцией активации. В модели МакКаллока-Питса это пороговая функция вида (2) Модель МакКаллока-Питса - это дискретная модель, в которой состояние нейрона в момент рассчитывается по значениям его входных сигналов в предыдущий момент Через несколько лет Д. Хебб в процессе исследования ассоциативной памяти предложил теорию обучения (подбора весов ) нейронов. При этом он использовал наблюдение, что веса межнейронных соединений при активации нейронов могут возрастать. В модели Хебба приращение веса в процессе обучения пропорционально произведению выходных сигналов и нейронов, связанных весом : (3) где означает номер цикла, а - это коэффициент обучения. В начале 60-х годов Б. Видроу предложил теоретическое обоснование и сформулировал принципы практической реализации адаптивных устройств обработки сигналов, что стало существенным вкладом в развитие нейронных сетей, функционирующих в режимах “онлайн” и “оффлайн”. Прикладные возможности нейронных сетей. Любая нейронная сеть используется в качестве самостоятельной системы представления знаний, которая в практических приложениях выступает, как правило, в качестве одного из компонентов системы управления либо модуля принятия решений, передающих результирующий сигнал на другие элементы, не связанные непосредственно с искусственной нейронной сетью. Выполняемые сетью функции можно распределить на несколько основных групп: • аппроксимации и интерполяции; • распознавания и классификации образов; • сжатия данных; • прогнозирования; • идентификации; • управления; • ассоциации. В каждом из приложений нейронная сеть играет роль универсального аппроксиматора функции от нескольких переменных, реализуя нелинейную функцию (4) где - это входной вектор, а - реализация векторной функции нескольких переменных. Для классификации и распознавания образов сеть обучается важнейшим их признакам, таким, как геометрическое отображение точечной структуры изображения, относительное расположение важнейших элементов образа, компоненты преобразования Фурье и другие подобные факторы. В процессе обучения выделяются признаки, отличающие образы друг от друга, которые и составляют базу для принятия решений об отнесении образов к соответствующим классам. При решении задач прогнозирования роль нейронной сети состоит в предсказании будущей реакции системы по ее предшествующему поведению. Обладая информацией о значениях переменной в моменты, предшествующие прогнозированию сеть вырабатывает решение, каким будет наиболее вероятное значение последовательности в текущий момент Для адаптации весовых коэффициентов сети используются фактическая погрешность прогнозирования и значения этой погрешности в предшествующие моменты времени. При решении задач идентификации и управления динамическими процессами нейросеть выполняет несколько функций. Она представляет собой нелинейную модель этого процесса, обеспечивающую выработку соответствующего управляющего воздействия. Сеть также выступает в роли следящей системы, адаптирующейся к изменяющимся условиям окружающей среды. Очень большое значение, особенно при управлении роботами, имеет функция классификации, реализуемая при выработке решения о дальнейшем развитии процесса [5,55-60; 6,4-5]. В задачах ассоциации нейронная сеть играет роль ассоциативного запоминающего устройства (ЗУ). Можно выделить ЗУ автоассоциативного типа, с помощью которых определяется корреляция между отдельными компонентами одного и того же входного вектора, и ЗУ гетероассоциативного типа, средствами которых устанавливается корреляция между двумя различными векторами. Если на вход сети подается неструктурированный вектор (например, содержащий искаженные шумом компоненты или вообще не содержащий отдельные компоненты), нейронная сеть сможет восстановить оригинальный и очищенный от шумов вектор и сгенерировать при этом полную версию ассоциативного с ним вектора. Важнейшее свойство нейронных сетей, свидетельствующее об их огромном потенциале и широких прикладных возможностях, состоит в параллельной обработке информации одновременно всеми нейронами. Благодаря этой способности при большом количестве межнейронных связей достигается значительное ускорение процесса обработки информации. Во многих ситуациях становится возможной обработка сигналов в реальном масштабе времени. Очень большое количество межнейронных соединений приводит к тому, что сеть становится нечувствительной к ошибкам, возникающим в отдельных контактах. Функции поврежденных соединений принимают на себя другие элементы, в результате в деятельности сети не наблюдаются заметные нарушения. Это свойство используется, в частности, при поиске оптимальной архитектуры нейронной сети путем разрыва отдельных связей. Другое не менее важное свойство нейронной сети состоит в способности к обучению и к обобщению полученных знаний. Сеть обладает чертами так называемого искусственного интеллекта. Натренированная на ограниченном множестве обучающих выборок, она обобщает накопленную информацию и вырабатывает ожидаемую реакцию применительно к данным, не обрабатывавшимся в процессе обучения. Различные виды моделей нейронов. В соответствии с принципами функционирования биологических нейронов созданы различные математические модели, которыми в большей или меньшей степени реализуются свойства природной нервной клетки. Составляющая основу большинства таких моделей, восходит к модели МакКаллока-Питса, содержащей сумматор взвешенных входных сигналов и нелинейный блок выработки выходного сигнала нейрона, функционально зависящего от выходного сигнала сумматора. Свойства нелинейной функции, особенно ее непрерывность, оказывают определяющее влияние на выбор способа обучения нейрона (подбор весовых коэффициентов). Другим важным фактором становится выбор стратегии обучения. Можно выделить два подхода: обучение с учителем и обучение без учителя. При обучении с учителем предполагается, что, помимо входных сигналов, составляющих вектор , известны также и ожидаемые выходные сигналы нейрона , составляющие вектор В подобной ситуации подбор весовых коэффициентов должен быть организован так, чтобы фактические выходные сигналы нейрона принимали бы значения, как можно более близкие к ожидаемым значениям . Ключевым элементом процесса обучения с учителем является знание ожидаемых значений выходного сигнала нейрона [5,102-112;6,1,3-5; 8,1-4]. Если такой подход невозможен, остается выбрать стратегию обучения без учителя. Подбор весовых коэффициентов в этом случае проводится на основании либо конкуренции нейронов между собой (стратегии “Winner Takes All - WTA” (Победитель получает все) или “Winner Takes Most - WTM” (Победитель получает больше)), либо с учетом корреляции обучающих и выходных сигналов (обучение по Хеббу). При обучении без учителя на этапе адаптации нейрона нельзя прогнозировать его выходные сигналы, тогда как при обучении с учителем результат обучения предопределен заранее благодаря априори заданным обучающим выборкам. Простой персептрон - это обычная модель МакКаллока-Питса с соответствующей стратегией обучения. Весовые коэффициенты входов сумматора, на которые поступают входные сигналы , обозначаются , а пороговое значение, поступающее с так называемого поляризатора, - . Нелинейная функция активации персептрона представляет собой дискретную функцию ступенчатого типа, вследствие чего выходной сигнал нейрона может принимать только два значения - 0 или 1 в соответствии с правилом (5) где обозначен выходной сигнал сумматора (6) В приведенной формуле подразумевается, что имеющий длину вектор дополнен нулевым членом , формирующим сигнал поляризации, Обучение персептрона требует наличия учителя и состоит в таком подборе весов , чтобы выходной сигнал был наиболее близок к заданному значению . Это обучение гетероассоциативного типа, при котором каждой обучающей выборке, представляемой вектором , априори поставлено в соответствие ожидаемое значение на выходе -го нейрона. Нейрон сигмоидального типа имеет структуру, подобную модели МакКаллока-Питса, с той разницей, что функция активации является непрерывной и может быть выражена в виде сигмоидальной униполярной или биполярной функции [1,5-7; 5,120-131; 6,1-5]. Униполярная функция, как правило, представляется формулой (7) тогда как биполярная функция задается в виде (8) В формулах (7), (8) параметр подбирается пользователем. Его значение влияет на форму функции активации. При малых величинах график функции достаточно пологий, но по мере роста значения крутизна графика увеличивается. При сигмоидальная функция превращается в функцию ступенчатого типа, идентичную функции активации персептрона. На практике чаще всего для упрощения используется значение Модель нейрона типа “адалайн” (адаптивный линейный нейрон) была предложена Б. Видроу. По методу весового суммирования сигналов нейрон типа “адалайн” аналогичен представленным ранее моделям нейронов. Адаптивный подбор весовых коэффициентов осуществляется в процессе минимизации квадратичной ошибки, определяемой как (9) Несмотря на линейный характер модели, в целевой функции присутствуют только линейные члены, представляющие собой сумму взвешенных входных сигналов. В связи с выполнением условия непрерывности целевой функции стало возможным применение алгоритма градиентного обучения. Как и в ситуации с сигмоидальным нейроном, в алгоритме Видроу для минимизации целевой функции применяется метод наискорейшего спуска. Значения весовых коэффициентов могут уточняться либо дискретным способом (10) либо аналоговым способом - путем решения разностных уравнений вида (11) в которых в соответствии с зависимостью (9) Несмотря на то, что адалайн имеет на выходе нелинейный блок типа signum, он все же считается линейным элементом, поскольку в определении целевой функции нелинейности отсутствуют, а подбор весов происходит так, как будто никакой нелинейности не существует. Нейроны типа инстар и оутстар - это взаимодополняющие элементы. Инстар адаптирует веса сигналов, поступающих на сумматор нейрона, к своим входным сигналам, а оутстар согласовывает веса выходящих из нейрона связей с узлами, в которых формируются значения выходных сигналов. Нейрон типа инстар был определен С. Гроссбергом. Сигналы подаваемые с весовыми коэффициентами на вход -го инстара, суммируются в соответствии с выражением (12) В соответствии с функцией активации на выходе нейрона вырабатывается выходной сигнал Часто в инстаре применяется линейная форма функции активации, и тогда Обучение инстара (подбор весов ) производится по правилу Гроссберга, в соответствии с которым (13) где - это коэффициент обучения, значение которого, как правило, выбирается из интервала (0,1). Результаты обучения по методу Гроссберга в значительной степени зависят от коэффициента обучения . При выборе веса становятся равными значениям уже после первой итерации. Ввод очередного входного вектора вызовет адаптацию весов к новому вектору и абсолютное “забывание” предыдущих значений. Выбор приводит к тому, что в результате обучения весовые коэффициенты принимают усредненные значения обучающих векторов . Инстар может обучаться как с учителем, так и без него. Во втором случае в правиле Гроссберга в качестве значения принимается фактическое значение выходного сигнала инстара. При обучении с учителем значение заменяется ожидаемым значением , то есть Нейрон типа оутстар Гроссберга представляет собой комплементарное дополнение инстара. Если инстар обучается с целью распознавать вектор, подаваемый на его вход, то оутстар должен генерировать вектор, необходимый связанным с ним нейронам. -й нейрон-источник высылает свой выходной сигнал взаимодействующим с ним нейронам, выходные сигналы которых обозначены Оутстар, как правило, является линейным нейроном. Обучение состоит в таком подборе его весов , чтобы выходные сигналы оутстара были равны ожидаемым значениям взаимодействующих с ним нейронов. Обучение оутстара согласно правилу Гроссберга проводится в соответствии с выражением (14) в котором - это коэффициент обучения, а - выходной сигнал -го нейрона, выступающего в роли источника. В режиме распознавания в момент активизации нейрона-источника оутстар будет генерировать сигналы, соответствующие ожидаемым значениям . Нейроны типа WTA (Победитель получает все) имеют входной модуль в виде стандартного сумматора, рассчитывающего сумму входных сигналов с соответствующими весами . Выходной сигнал -го сумматора определяется согласно формуле (15) Группа конкурирующих между собой нейронов получает одни и те же входные сигналы . В зависимости от фактических значений весовых коэффициентов суммарные сигналы отдельных нейронов могут различаться. По результатам сравнения этих сигналов победителем признается нейрон, значение у которого оказалось наибольшим. Нейрон-победитель вырабатывает на своем выходе состояние 1, а остальные (проигравшие) нейроны переходят в состояние 0. Для обучения нейронов типа WTA не требуется учитель, оно протекает аналогично обучению инстара, с использованием нормализованных входных векторов . Модель нейрона Хебба. Д. Хебб [5,135-146; 7,2-4; 8,3-6] в процессе исследования нервных клеток заметил, что связь между двумя клетками усиливается, если обе клетки пробуждаются (становятся активными) в один и тот же момент времени. Если -я клетка с выходным сигналом связана с -й клеткой, имеющей выходной сигнал , связью с весом , то на силу связи этих клеток влияют значения выходных сигналов и . Д Хебб предложил формальное правило, в котором отразились результаты его наблюдений. В соответствии с правилом Хебба, вес нейрона изменяется пропорционально произведению его входного и выходного сигналов (16) где - это коэффициент обучения, значение которого выбирается в интервале (0,1). Правило Хебба может применяться для нейронных сетей различных типов с разнообразными функциями активации моделей отдельных нейронов. Стохастическая модель нейрона. В отличие от всех детерминированных моделей, определенных ранее, в стохастической модели выходное состояние нейрона зависит не только от взвешенной суммы входных сигналов, но и от некоторой случайной переменной, значения которой выбираются при каждой реализации из интервала (0,1). В стохастической модели нейрона выходной сигнал принимает значения ±1 с вероятностью Prob где обозначена взвешенная сумма входных сигналов -го нейрона, а - это положительная константа, чаще всего равная 1. Заключение. Нейронные сети - это раздел искусственного интеллекта, в котором для обработки сигналов используются явления, аналогичные происходящим в нейронах живых существ. Важнейшая особенность сети состоит в параллельной обработке информации всеми звеньями. При громадном количестве межнейронных связей это позволяет значительно ускорить процесс обработки информации. Во многих случаях становится возможным преобразование сигналов в реальном времени. Также, при большом числе межнейронных соединений сеть приобретает устойчивость к ошибкам, возникающим на некоторых линиях. Функции поврежденных связей берут на себя исправные линии, в результате чего деятельность сети не претерпевает существенных возмущений. Другое не менее важное свойство - способность к обучению и обобщению накопленных знаний. Нейронная сеть обладает чертами искусственного интеллекта. Натренированная на ограниченном множестве данных сеть способна обобщать полученную информацию и показывать хорошие результаты на данных, не использовавшихся в процессе обучения. Характерная особенность сети состоит также в возможности ее реализации с применением технологии сверхбольшой степени интеграции. Различие элементов сети невелико, а их повторяемость огромна. Это открывает перспективу создания универсального процессора с однородной структурой, способного перерабатывать разнообразную информацию. Искусственные нейронные сети в практических приложениях, как правило, используются в качестве подсистемы управления или выработки решений, передающей исполнительный сигнал другим подсистемам, имеющим иную методологическую основу. Представляет интерес объединение различных видов нейронных сетей между собой, особенно сетей с самоорганизацией и обучаемых с учителем. Такие комбинации получили название “гибридные сети”. В настоящее время для описания сложных объектов управления, таких как человеческое общество с его системой экономических, политических, социальных отношений, все чаще используется нечеткая логика, позволяющая формализовать нечеткие понятия и обеспечить эффективную обработку семантической информации. Лица, принимающие стратегические решения в области планирования и управления, обычно имеют дело с задачами плохо формализуемыми и поэтому свои решения основывают на личном опыте и интуиции. Очень полезными для них оказываются системы поддержки принятия решений, включающие базу данных и базу знаний. База данных содержит информацию об объектах управления, а база знаний представляет собой математическую модель обработки информации и получения необходимого решения. Совокупность базы данных и базы знаний с нечетким логическим выводом образуют одну из моделей систем поддержки принятия решений. Для того, чтобы прогноз и оценка поведения системы были эффективными, в базе знаний такой системы кроме обычного логического вывода желательно иметь ускоренный вывод, позволяющий быстро, хотя и приближенно, оценивать влияние тех или иных факторов на поведение системы. Такими учеными как М. Эйгеном, Ф. Криком, Ф. Дайсоном, Ф. Андерсоном был разработан ряд интересных математических, компьютерных моделей и на их основе нейронных сетей, позволяющих представить возможные схемы эволюции, приведшие к возникновению молекулярно-генетических самовоспроизводящихся систем простейших клеточных организмов. В современной науке одним из наиболее употребительных терминов является термин “модель”. При всем разнообразии способов употребления этого термина, во всех оттенках вкладываемого в него смысла прослеживаются общие этимологические источники (французское modele происходит от латинского modus). Возможность взаимного переноса представлений, понятий и суждений с одного уровня абстракции на другой дает право говорить о теоретическом научном знании как об онтологическом, что и является основой универсальности концепции модели сетей. Все традиционные представления о моделировании исходят из того, что идеальная модель должна быть изоморфным образом отображаемого ею фрагмента реальной действительности. Поскольку идеал часто трудно достижим (если достижим вообще), то приходится довольствоваться моделями гомоморфными. Процесс выделения и систематизации абстрактных понятий, отражающих атрибуты внешнего мира, можно интерпретировать как некоторое гомоморфное преобразование, а процесс формализации уже построенной таким образом концептуальной схемы в виде научной теории - как изоморфное преобразование. При моделировании возможно использование идеи факторизации рассматриваемых систем объектов как нейронных сетей, введения на них различных метрик, топологий, частичного задания как самих изучаемых систем, так и определенных на них операций и предикатов. Использование понятий нечеткой математики приводит к нечетким морфизмам (отображениям) при моделировании систем искусственного интеллекта.

Научные конференции

 

(c) Архив публикаций научного журнала. Полное или частичное копирование материалов сайта возможно только с письменного разрешения администрации, а также с указанием прямой активной ссылки на источник.