Логіка мислення. Зареєструватися 11. Динамічні нейромережі. Асоціативність

Ця серія статей описує модель хвилі мозку, що істотно відрізняється від традиційних моделей. Я дуже рекомендую, що ті, хто тільки приєднався до читання першої частини.

Найлегше зрозуміти і модель є нейромережами, в яких інформація послідовно розподілена від шару до шару. За допомогою надсилання сигналу до введення ви також можете послідовно розрахувати стан кожного з шарів. Ці стани можна інтерпретувати як набір описів вхідного сигналу. До зміни вхідного сигналу, його опис буде залишатися незмінним.

Більш складна ситуація виникає, якщо зворотний зв'язок вводиться в нейромережу. Щоб розрахувати стан такої мережі, один прохід не вистачає. Після того, як ми змінюємо стан мережі за входом сигналу, зворотний зв'язок змінює вхідний шаблон, який вимагає нового перерахунок стану всієї мережі, і так далі.

ідеологія рецидивної мережі залежить від затримки зворотного зв'язку та інтервалу зміни зображень. Якщо затримка значно менше інтервалу зміщення, то ми, швидше за все, зацікавлені тільки в кінцевих рівновагових станах, а проміжні ітерації повинні бути прийняті як виключно процедура розрахунку. Якщо вони зіставлені, це динаміка мережі, яка доходить до тебе.



Розенблат Ф. Описав багатошарові перцептрони з перехресними посиланнями і показали, що вони можуть бути використані для імітації вибіркової уваги і відтворення послідовностей реакції (Росенблатт, Принципи нейродинамічної: Перцептрони і теорія механізмів мозку, 1962).

У 1982 році Джон Хопфілд запропонував дизайн нейромережі з зворотним зв'язком, щоб його держава була визначена на основі розрахунку мінімальної функціональної енергії (Hopfield, 1982). Виявилося, що мережа Taxify має чудове майно – вони можуть використовуватися як пам’ять, адресовані контентом.



Мережа Taxify

Знаки в мережі Taxify беруть на значення хребта {-1.1}. Меморанізація декількох зображень. Пам'ять відбувається, скоригуючи масштаби так:

Що призводить до алгоритму, який за допомогою простих неінеративних обчислень, дозволяє визначити параметри мережі:



де матриця складається з нейронних мас, і є числом спогадів. Диагональна матриця повинна бути нульою, що означає, що на себе немає впливу нейронів. Ваги, надані таким чином, визначають стабільні стани мережі, що відповідають пам'ятним векторам.

Функція активації нейронів:


Вводне зображення призначене для мережі як початкового наближення. Після чого починається ітеративна процедура, яка, якщо пощастило, зв'язується з стійкою державою. Такий стабільний стан, швидше за все, є одним з пам'ятних зображень. І буде зображення найбільш схожим на вхідний сигнал. Іншими словами, образ пов'язаний з ним.

Ви можете ввести концепцію мережевої енергії:

58

де використовується кількість нейронів. У цьому випадку кожен образ пам'яті буде відповідати місцевим енергетичним мінімумам.

Хоча дуже простий, Hopfield мережі ілюструють три фундаментальні властивості мозку. Першим є існування мозку в динаміці, коли будь-які зовнішні або внутрішні порушення сили, щоб залишити стан поточного місцевого мінімуму енергії і перейти до динамічного пошуку нових. Другим є можливість прибути в квазістабільний стан, визначений попереднім пам'яттю. Третя – асоціативність переходів, коли певна загальна близькість постійно простежується в зміні дескриптивних станів.

Наша модель є динамічною. Чи не існує в статичному стані. Будь-яка хвиля існує тільки в русі. Викликана нейрона активність викликає хвилі ідентифікаторів. Ці хвилі спрацьовують активність візерунків, які визнають знайомі комбінації хвиль. Візерунки запускають нові хвилі. І так і так далі.

Але динаміка наших мереж кардинально відрізняється від динаміки мереж Taxify. У традиційних мережах динаміка зводиться до ітеративної процедури конвергенції мережі до стабільного стану. Наша динаміка схожа на алгоритмічні комп’ютери.

Хвиля поширення інформації є механізмом передачі даних. Динаміка просторового поширення ідентифікаційної хвилі. Кожен цикл поширення інформаційної хвилі змінює шаблон індукованої нейронної активності. Перехід кори в новий стан означає зміну поточного опису і, відповідно, зміну картини нашої думки. І знову динаміка цих змін не є ітеративною процедурою, але формує послідовність образів нашого сприйняття і мислення.

Наша модель хвилі набагато складніше, ніж проста динамічна мережа. Пізніше ми описуємо досить кілька небанальних механізмів, що регулюють свою роботу. Не дивно, що ідея асоціативності в нашому випадку є більш складним, ніж асоціативність в мережі Taxify, а також нагадує поняття, властиві комп’ютерним моделям представлення даних.

У програмі асоціативність відноситься до здатності системи пошуку даних, схожих на зразок. Наприклад, якщо ми маємо доступ до бази даних, вказавши критерії запиту, то по суті, ми хочемо отримати всі елементи, подібні до зразка, описаного цим запитом.

На комп'ютері ви можете вирішити проблему асоціативного пошуку за допомогою простого броньування всіх даних для дотримання критеріїв пошуку. Але повний пошук трудомісткий, набагато швидше пошук здійснюється, якщо дані заздалегідь підготовлені, щоб ви могли швидко сформувати зразки, які відповідають певним критеріям. Наприклад, пошук у адресній книзі може бути значно прискореним, якщо ви створюєте таблицю змісту першим листом.

Підготовлена пам'ять називається асоціативною пам'яттю. Практична реалізація асоціативності може використовувати індексні столи, хеш-адресацію, бінарні дерева, і т.д.

Незалежно від реалізації, асоціативного пошуку вимагає встановлення критеріїв схожості або близькісті. Як ми вже говорили, основні види інтимації близькість в описі, близькості при прояві суглобів і близькості в загальному явищі. Перші говорять про схожість у вигляді, решту про схожість в певній сутності. Цей продукт використовує файли cookie. Продовжуючи користуватися нашим веб-сайтом, ви погоджуєтеся з використанням файлів cookie. Якщо ви вводите назву, ви отримаєте список товарів, які імена будуть близькими до вказаного. Але крім того, ви, ймовірно, отримаєте ще один список, який буде викликаний, щось схоже, «що шукає цей елемент часто звертають увагу на...» У той же час елементи другого списку не можуть нагадувати опису, що сформульовані оригінальною квитанцією в описах.

Давайте подивимося, як асоціативна причина стосується поняття, що використовуються в нашій моделі. Концепція - це набір шаблонів нейронів, які налаштовують на той же образ. Здається, що один візерунок відповідає окремому кортичному мінікулеру. Зображення є специфічним поєднанням сигналів в рецептивному полі нейронів. У сенсорних зонах кори зображення може бути утворений топографічними сигналами проекції. На вищому рівні зображення є шаблоном активності, яка виникає навколо нейрона як хвилі ідентифікаторів, які проходять.

Перехід нейрона до стану провокованої активності вимагає точного зображення відповідає картині ваг на його сипсах. Отже, якщо нейрон налаштовується для виявлення певної комбінації концепцій, то ідентифікатор хвилі повинен містити значну частину ідентифікаторів кожного з них.

Проведення нейрона, коли більшість концепцій, які роблять його характерним стимулом, називається визнанням. Визнання та пов’язана з індукованої діяльністю не дають узагальненої асоціативності. У цьому режимі нейрон не реагує на поняття, які мають часову близькість, ані до концепцій, які, хоча включені в опис стимуляції, характерних для нейрона, відповідають окремо від решти опису.

Ми використовуємо в нашій моделі нейронів, які ми порівняємо з реальними нейронами мозку, здатні зберігати інформацію не тільки за допомогою змін сиптичних мас, але і через зміни метаботропних рецептивних кластерів. У зв'язку з останніми нейронами можна пам'ятати фрагменти знімків навколишнього середовища. Рекордія такого запам'ятовуваного малюнка не веде до появи індукованої активності нейрона, що складається з серії імпульсів, але викликає один прохід. Чи можна чи не нейрон запам’ятовує щось таким чином, визначається рядом чинників, одним з яких є зміна мембранного потенціалу цього нейрона. Підвищення потенціалу мембрани викликає дивергенцію сплітових кінців метаботропних рецепторів, що робить їх набути чутливості, необхідної для запаморочення.

Коли нейрон розпізнає характерний образ і переходить в стан індукованої активності, її мембранний потенціал значно підвищується, що дає можливість запам'ятати навколишні візерунки активності на екстрасинаптичну частину мембрани.

Припустимо, що в момент індукованої діяльності нейрон запам’ятовує всі хвилі, що оточують її. Така операція має дуже певний зміст. Припустимо, що ми маємо повний опис того, що відбувається, що складається з великої кількості концепцій. Деякі з них дозволять нейрон розпізнати поняття, детектор якого є його шаблоном (мініколон). Знання забезпечать, що ця концепція бере участь у загальному описі. У той же час нейрони, відповідальні за сам концепт, фіксуються, які інші поняття включені в повноцінну дескриптивну картину.

Ця фіксація буде відбуватися на всіх нейронів, які роблять наш шаблон детектора. Регулярне повторення такої процедури призведе до накопичення рецептивних кластерів на поверхні детекторів нейронів, чутливих до певних комбінацій ідентифікаторів.

Припустимо, що більш часто поняття відбуватиметься спільно з діяльністю шаблону детектора, чим вище ймовірність того, що його самостійний зовнішній вигляд буде визначатися додатковими синоптичними рецепторами і викликати один прохід. Тобто, якщо виникає поширеність прояву між поняттями, то нейронами однієї концепції будуть реагуватися з одним шипком, коли в описі хвилі з'являється інша асоціативно пов'язана концепція.

Симулятивний єдиний спрей нейронів одного детектора є основою для запуску відповідної хвилі ідентифікації. Виявляється, за допомогою налаштування однієї концепції та поширення її ідентифікатора хвилі ви можете отримати набір концепцій, пов’язаних з ним в описі хвилі. Це може бути порівняно з тим, як база даних за запитом виробляє список всіх записів, які падають під критерії цієї запиту. Після отримання списку з бази даних ми використовуємо додаткові алгоритми для продовження роботи з цим переліком. Так само ми можемо уявити роботу мозку. Отримання доступу до асоціацій є одним кроком у своїй роботі. Нейронська активність може бути додатково обмежена, що дозволяє тільки дробу асоціацій перерву в опис хвилі. Суть цих додаткових обмежень значно визначає інформаційні процедури, властиві мислення.

Література використана

Продовження

Попередні частини:
Частина 1. нейрон
Зареєструватися 2. Фактори
Частина 3. Перцептрон, забруднені мережі
Частина 4. Підземна активність
Частина 5. Брайн хвилі
Частина 6. Система проекції
Частина 7. Інтерфейс користувача
Частина 8. Ізоляція чинників в хвилях мереж
Зареєструватися 9. Нейрон-детекторні візерунки. Зворотній проекції
Частина 10. Просторова самоорганізація

Олексій Редозубов (2014)

Джерело: habrahabr.ru/post/215701/