Логіка мислення. Зареєструватися 8. Ізоляція чинників в хвилях

У попередніх частинах ми описали модель нейромережі під назвою хвильової мережі. Наша модель відрізняється від традиційних хвильових моделей. Як правило, кожен нейрон має власні коливання. Спільна робота такого схильного до систематичної пульсації нейронів призводить до класичних моделей до певної загальної синхронізації та виникнення глобальних ритмів. Ми кладемо абсолютно різне значення в хвильову активність кори. Ми показали, що нейрони здатні записувати інформацію не тільки, змінюючи чутливість їхніх сипсів, але і через зміни мембранних рецепторів, розташованих за межами сипсів. В результаті нейрон набуває можливість реагувати на великий набір специфічних моделей активності оточуючих нейронів. Ми показали, що стрільба декількох нейронів, які утворюють певну схему, обов'язково запускає хвиля, яка пропагує через кору. Подібна хвиля не просто порушення, що передається з нейрона до нейрона, але сигнал, який створює певну закономірність нейронної активності, оскільки вона рухається вздовж, унікальний до кожного шаблону, який випромінює його. Це означає, що в будь-якому місці в корі, заснованому на шаблоні, що хвиля принесена з ним, можна визначити які візерунки на корі надійшло в активність. Ми показали, що через невеликі пучки волокон, хвильові сигнали можуть бути продані на інші ділянки кори. Тепер ми будемо говорити про те, як відбувається синоптичний нейронний навчання в наших хвилях.

Ізольація хвильових факторів
Візьміть довільний кортичний нейрон (фото нижче). У ній є проникне поле, в якому вона має щільну мережу сиптичних з'єднань. Ці з'єднання охоплюють як навколишні нейрони, так і віссони, що надходять в кору, які здійснюють сигнали з інших частин мозку. Завдяки цьому нейрон здатний стежити за діяльністю невеликої площі, що його оточений. Якщо зона кори, до якої належить топографічна проекція, то нейрон отримує сигнали з тих осей, які потрапляють в її рецептивне поле. Якщо є активні візерунки індукованої активності на корі, то нейрон бачить фрагменти ідентифікаційних хвиль з них, як вони проходять. Аналогічно, хвилі, які виникають з хвильових тунелів, які виконують хвильовий візерунок з однієї області мозку в інший.

р.

Джерела інформації для виділення фактора. 1 – нейрон кори, 2 – рецептивне поле, 3 – топографічна проекція, 4 – патерн індукованої активності, 5 – хвильовий тунель

У активності, що бачив нейрон на його рецептивному полі, незалежно від його походження, спостерігається головний принцип - кожен унікальний феномен викликає його унікальний візерунок, властивий тільки цьому явищі. Явище повторюється – повторюється візерунок активності, видимої до нейрона.

Якщо що відбувається, містить кілька явищ, то на один одному накладаються кілька закономірностей. При перекриттях візерунків активність не може збігатися з часом, тобто фронти хвиль можуть пропустити. Для цього врахуйте, оберіть індексний інтервал часу, що дорівнює періоду одного циклу хвилі. Припустимо для кожного сиптичного введення нейронної активності за цей період часу. Це, просто підвести, як багато походів прийшли до певного входу. В результаті ми отримуємо вхідний вектор, що описує сиптичну картину активності, інтегровану над циклом. З цим входом вектором ми можемо використовувати всі раніше описані методи навчання для нейрона. Наприклад, ми можемо перетворити нейрон в фільтр Hebb і зробити його ізолювати основний компонент, що міститься в потоці вхідних даних. У своєму сенсі це буде ідентифікація тих вводів, на яких з'являються вхідні сигнали, найчастіше. При нанесенні на ідентифікацію хвиль, це означає, що нейрон визначить, що хвилі мають візерунок, щоб з'явитися разом з часом, і коригувати його ваги, щоб розпізнати це поєднання. Це, шляхом ізоляції такого фактора, нейрон покаже індуковану активність, коли він визнає знайоме поєднання ідентифікаторів.

Таким чином, нейрон набуває властивостей нейрон-детектора, налаштовується до певного явища, виявляється його особливостями. У цьому випадку нейрон не тільки працює як датчик присутності (відсутнього явища – не існує явища), він сигналізує рівень його активності про тяжкість фактора, для якого він дізнався. Цікаво, природа сиптичних сигналів не є фундаментальною. З однаковим успіхом нейрон можна налаштувати для обробки хвильових візерунків, топографічних проекцій, або їх спільної діяльності.

Слід зазначити, що навчання Hebb, яка виключається з першого компонента, є чітким ілюстративним для того, щоб показати, що місцеве рецепційне поле будь-якого кортичного нейрона містить всю необхідну інформацію, щоб навчати його як універсальний детектор. Реальні алгоритми колективного навчання нейронів, які виділяють різні чинники, дещо складніші.

Стабільність - пластичність
Тренінг Hebbian дуже візуальний. Зручно використовувати для ілюстрації сутності ітеративного навчання. Якщо ми говоримо тільки про активні з'єднання, то як нейрон дізнається, його вага налаштовані на певний образ. Для лінійного додата, активність визначається:



Збігання сигналу з зображенням, що виділяється на сиптичних вагах викликає сильну нейронну відповідь, невідповідність слабка. При навчанні Hebb ми посилюємо ваги тих сипсів, які отримують сигнал в рази, коли сам нейрон активно працює, а ослаблюємо ті ваги, на яких немає сигналу.

Щоб уникнути нескінченного росту ваги, вводиться процедура нормалізації, яка зберігає їх кількість в певних межах. Ця логіка веде, наприклад, до правила Оя:

Найстрашніше про стандартне навчання Hebbian - це необхідність введення курсу навчання, яка повинна бути зменшена як нейронна освіта. Справа в тому, що якщо це не зроблено, то нейрон, навчався на будь-якому зображенні, то, якщо природа сигналів передається змінами, буде перенапружуватися, щоб ізолювати новий фактор, характерний для зміни потоку даних. Зменшення швидкості навчання, в першу чергу, природно уповільнює процес навчання, а по-друге, вимагає неявних методів управління цим зниженням. Недбала обробка швидкості навчання може призвести до «виправлення» всієї мережі та імунітету до нових даних.

Це відомий як стійкість / пластичність дилеми. Бажання реагувати на нові враження погрожують змінити ваги раніше навчених нейронів, а стабілізація призводить до того, що новий досвід перестає впливати на мережу і просто ігнорується. Ви повинні вибрати будь-яку стійкість або пластичність. Щоб зрозуміти, які механізми можуть допомогти вирішити цю проблему, давайте повернутися до біологічних нейронів. Давайте розглянемо механізми синоптичної пластичності, тобто за рахунок чого відбувається синоптичний тренінг реальних нейронів.

Суть явища синоптичної пластичності полягає в тому, що ефективність синоптичної трансмісії не є постійними і може змінюватися в залежності від схеми поточної діяльності. Крім того, тривалість цих змін може істотно відрізнятися і викликані різними механізмами. Є кілька форм пластичності (рис. нижче).



Змінюється при сиптичних чутливості. (A) – Фацілітація, (B) – зміцнення та депресія, (C) – посттетанічна потенція (D) – довгострокова потензія та довгострокова депресія (Nichols J., Martin R., Wallas B., Fuchs P., 2003)

Короткий волей шипів може викликати рельєф (фацілітацію) випуску посередника з відповідного пресинаптичного терміналу. З’являється миттєво, персистентність під час волей і помітно помітно близько 100 мілісекундів після закінчення стимулювання. Цей самий короткий вплив може призвести до пригнічення (депресії) релізу медіатора, що триває кілька секунд. У другій фазі (інтенсифікації), тривалість схожа на тривалість депресії.

Довгий, високочастотний ряд імпульсів зазвичай називають тетаном. Назва обумовлена тим, що така серія передує тетанічне скорочення м'язів. Введення тетану до снайпера може викликати посттанічну потенцію медіатора, що спостерігається протягом декількох хвилин.

Репетивна активність може викликати довгострокові зміни в натисках. Однією з причин цих змін є збільшення концентрації кальцію в постсинаптичних клітинах. Сильне підвищення концентрації викликає каскади вторинних медіаторів, що призводить до утворення додаткових рецепторів в післясинаптичної мембрани і загального збільшення чутливості рецептора. Зростання концентрацій дає протилежний ефект - зменшується кількість рецепторів, знижується їх чутливість. Перший стан називається тривалою потенцією, другий називається тривалою депресією. Тривалість таких змін – від декількох годин до декількох днів (Ніколи Дж., Мартін Р., Галас Б., Фукс П., 2003).

Як змінюється чутливість індивідуального шприца у відповідь на зовнішні імпульси, чи буде збільшення або депресія, визначається багатьма процесами. Припустимо, що це в основному залежить від того, як утворюється загальна картина нейронного збудження і на якому етапі навчання.

Описова поведінка сиптичного чутливості передбачає, що нейрон здатний виконувати такі операції:

• швидко налаштовувати до певного зображення - фасування;
• Змінити цю установку в інтервалах близько 100 мілісекундів або перевести її в більш тривалий затримку - зміцнення і депресії;
• Зніміть стан загострення і депресії або перекласти їх в довгострокову потенцію або довгострокову депресію.

Цей поетапний навчання добре підходить до концепції, відомого як адаптивна теорія резонансу. Ця теорія була запропонована Стефаном Гальбергом (1987 р.) як спосіб вирішення стабільно-пластичного дилеми. Суть цієї теорії полягає в тому, що вхідна інформація ділюється на заняття. Кожен клас має власний прототип – зображення, яке точно відповідає цьому класу. Для нової інформації визначається, чи належить вона до одного з існуючих класів, або це унікальний, на відміну від чогось іншого. Якщо інформація не унікальна, вона використовується для рефінансування прототипу класу. Якщо це щось принципово нове, то створюється новий клас, прототип якого лежить цей образ. Цей підхід дозволяє, з одного боку, створювати нові детектори, а з іншого боку, не знищувати вже створених.



Статус на сервери

Практична реалізація цієї теорії – мережа АРТ. Спочатку мережа АРТ нічого не знає. Перший образ створив новий клас. Сама картина скопіюється як прототип класу. Порівняно з існуючими класами наступні зображення. Якщо образ закритий до вже створеного класу, тобто викликає резонанс, то відбувається правильне тренування образу класу. Якщо образ унікальний і не схожий на будь-який з прототипів, то створюється новий клас, а новий образ стає його прототипом.
Якщо припустимо, що утворення детекторних нейронів в корі відбувається аналогічним чином, то фази сиптичного пластичності можна інтерпретувати наступним чином:

• Нейрон, який ще не отримав спеціалізації як детектор, але вступає в активність через активацію хвилі, швидко змінює ваги його сипсів, налаштовується на картину активності його рецептивного поля. Ці зміни є характером фасилітації і останні про один інсульт хвилеподібної активності;
  
• Якщо виявилося, що в найближчому середовищі вже достатньо детекторів нейронів, що налаштовується таким стимулом, то нейрон скидається на свій оригінальний стан, в іншому випадку його знімки переходять на стадію довше збереження зображень;
  
• У разі виникнення певних умов наведено під час етапу відбору, симпатики нейронного переходу на стадію тривалого зберігання зображень. нейрон стає детектором відповідного стимулу.
  

Тепер намагаємось систематизувати ідею проведення тренінгів для штучних нейромереж. Походимо з навчання. В результаті тренінгу ми хочемо отримати детектор нейронів, які відповідають двома основними вимогами:

• так, щоб за допомогою своєї допомоги можна повністю описати і адекватно все, що відбувається;
• Отже, такий опис визначає основні візерунки, властиві подіям, що відбуваються.

Перша дозволяє запам'ятати, накопичувати інформацію, не відсутні деталі, які пізніше можуть бути важливі візерунки. Другий забезпечує видимість тих чинників, на яких може залежати прийняття рішень.

Відомий підхід на основі оптимальної стиснення даних. Наприклад, використовуючи факторний аналіз, ми можемо отримати основні компоненти, які обліковуються на об'ємі варіабельності. Ми можемо значно зменшити довжину опису. Крім того, значення чинників розкажуть нас про тяжкість в описі події тих явищ, які відповідають цим факторам. Але ця компресія також має внизу. Для реальних подій, перші основні фактори, як правило, пояснюють лише невеликий відсоток загальної мінливості. Кожна з їх незначних чинників, хоча багато разів поступається за величиною до перших чинників, але це сума цих незначних чинників, які відповідають за основну інформацію.

Наприклад, якщо ви займаєте кілька тисяч фільмів і отримуєте свої рейтинги, кладуть сотні тисяч користувачів, то з такими даними можна провести аналіз фактора. Найголовніші перші чотири або п'ять чинників. Вони будуть відповідати основним жанровим напрямам кіно: кіно, комедія, мелодрама, детектив, фантастика. Для російських користувачів також буде сильний чинник, що описує наш старий радянський кіно. Визначені фактори мають просту інтерпретацію. Якщо ви описуєте плівку в просторі цих факторів, то цей опис буде складатися з коефіцієнтів, які говорять про те, скільки певного фактора виражається в даній плівці. Кожен користувач має певні жанрові переваги, які впливають на свій рахунок. Аналіз факторів дозволяє нам ізолювати основні напрямки цього впливу і перетворювати їх в фактори. Але виходить, що перші суттєві чинники пояснюють лише 25% від варіантності в оцінках. Решта надходить від тисяч інших маленьких чинників. Тобто, якщо ми спробуємо компресувати опис фільму на свій портрет в основних факторах, ми втратимо більшість інформації.

Крім того, ми не можемо говорити про важливість чинників з невеликою відмітною потужністю. Отже, якщо ви берете кілька фільмів одного режисера, їх оцінка, ймовірно, будуть тісно пов'язані з собою. Відсоток в рейтингах цих фільмів пояснить відповідний фактор. Це означає, що оскільки цей фактор не з'являється в інших фільмах, його пояснювальний відсоток у загальному обсязі даних буде недбалим. Але для цих фільмів набагато важливіше, ніж перші основні компоненти. Це стосується практично всіх маленьких факторів.

Причини, надані для факторного аналізу, можуть передаватися в інші методи кодування інформації. Про нас Поле, в 1994 році пап. Що таке призначення сенсорної кодування? (Фіельд, 1994), адресовані подібні питання про механізми, властиві мозку. Він прийшов до висновку, що мозок не займається стисненням даних і не прагне до компактного роду даних. Мозок більш комфортний з їх розвантаженим представленням, коли має описати безліч різних ознак, він одночасно використовує лише невелику частину з них (рис нижче).



Компактний кодування (A) та економічне розподілене кодування (B) (Field, 1994)

Як факторний аналіз і багато інших способів опису базуються на пошуку певних закономірностей і підбір відповідних факторів або характеристик класів. Але є часто дані, де цей підхід практично недоступний. Наприклад, якщо ми займаємо позицію годинникової стрілки, то виходить, що вона не має бажаних напрямків. Він рухається рівномірно по діагоналі, в залежності від години. Щоб передати позицію стріли, нам не потрібно виділяти будь-які фактори, і вони не будуть виділятися, але досить розділити диал на відповідні сектори і використовувати цей розділ. Дуже частина мозку стосується даних, які не передбачають поділу, що враховує щільність поширення подій, але просто вимагає введення певного опису інтервалу. Насправді, принцип адаптивного резонансу пропонує механізм створення такого проміжного опису, який може працювати навіть коли простір даних є досить рівномірним розподіленим середовищем.

Ізоляція основних компонентів або фіксація прототипів адаптивного резонансу – це не всі методи, які дозволяють нейромережі тренувати детектор нейронів, які зручні для формування описових систем. Насправді, будь-який метод, який дозволяє або отримати здоровий поділ на групи, або виділити будь-який візерунок, можна використовувати нейромережу, яка відтворює кору головного мозку. Дуже ймовірно, що справжня кора використовує багато різних методів, не обмежуючись тими, які ми надали, наприклад.

Поки ми говоримо про вивчення індивідуальних нейронів. Але основний інформаційний елемент у наших мережах є шаблоном нейронів, тільки він здатний запустити власну хвилю. Індивідуальна нейрона в полі не є воїном. У наступній частині ми розповімо, як можуть виникати нейронні візерунки, що відповідають певним явищам.

Література використана

Продовження

Попередні частини:
Частина 1. нейрон
Зареєструватися 2. Фактори
Частина 3. Перцептрон, забруднені мережі
Частина 4. Підземна активність
Частина 5. Брайн хвилі
Частина 6. Система проекції
Частина 7. Інтерфейс користувача

Олексій Редозубов (2014)

Джерело: habrahabr.ru/post/215151/