La lógica de pensamiento. Parte 11: redes neuronales dinámicas. Asociatividad

Esta serie de artículos describe el modelo de ondas del cerebro, es muy diferente de los modelos tradicionales. Es muy recomendable para aquellos que acaba de unirse, se inicia la lectura de la primera parte de la .

La mayoría son fáciles de entender y simular redes neuronales, en el que la información se distribuye secuencialmente de capa a capa. Una señal aplicada a la entrada, también puede calcular constantemente el estado de cada una de las capas. Estos estados pueden ser interpretados como un conjunto de descripciones de la señal de entrada. Mientras que no cambia la señal de entrada se mantiene sin cambios y su descripción.

Surge una situación más complicada, si introducimos una retroalimentación red neuronal. Con el fin de calcular el estado de la red ya no es suficiente una sola pasada. Tan pronto como se cambia el estado de la red de acuerdo con la regeneración de la señal de entrada para ajustar la imagen de entrada, lo que requeriría una nueva traducción de toda la red, y así sucesivamente.

La ideología de la red recurrente depende de la retroalimentación de retardo cómo correlacionada y el intervalo entre las imágenes. Si el retraso es mucho menor que el intervalo de cambio, es probable interesado en sólo el estado final de equilibrio, y la iteración intermedio tomarse como procedimiento puramente computacional. Si son comparables, a continuación, pasa a primer plano es la dinámica de la red.



F. Rosenblatt describe perceptrones multicapa con reticulado, y demostró que se pueden utilizar para el modelado de la atención selectiva y la secuencia de reproducción de las reacciones (Rosenblatt, Principios de la neurodinámica: Perceptrons y la Teoría de Mecanismos Cerebrales, 1962).

En 1982, John Hopfield propone un diseño de una red neuronal con retroalimentación de manera que su estado puede ser determinado a partir del cálculo del mínimo de la energía funcional (Hopfield, 1982). Resultó que la red Hopfield tiene una notable propiedad -. Que pueden ser utilizados como un contenido de memoria direccionable



Hopfield red i>

Las señales en la red de Hopfield toman valores de spin {-1, 1}. Red Educación - ahorra varias imágenes. La memorización es la configuración de saldo a pagar por lo que:

Lo que nos lleva a un algoritmo que el cálculo no iterativo sencillo para determinar los parámetros de la red:



donde - matriz compuesta de los pesos de las neuronas, y - el número de imágenes almacenadas. Matriz diagonal se basa cero, lo que significa que no hay influencia en las propias neuronas. Peso especificado de tal manera determinada por el estado de estabilidad de la red, los vectores correspondientes memorizado.

La función de activación de las neuronas es de la forma:


La imagen de entrada se asigna a la red como una aproximación inicial. Entonces comienza un procedimiento iterativo, que, si tienes suerte, converge a un estado estable. Por lo tanto es probable que sea una de las imágenes almacenadas en estado estacionario. Por otra parte, será la imagen que es más similar a la señal de entrada. En otras palabras, el asociativo imagen asociada con él.

Puede introducir el concepto de redes de energía como:



en el que - el número de neuronas utilizadas. Cada imagen almacenada en este caso corresponde a un mínimo local de energía.

Aunque la red de Hopfield y son muy simples, que ilustran las tres propiedades fundamentales del cerebro. El primero - es la existencia de la dinámica del cerebro, cuando cualquier perturbación externa o interna obligados a abandonar el estado de la actual mínimo local de energía y seguir adelante para encontrar una nueva dinámica. En segundo lugar - es la capacidad de llegar a quasistability como se define por la memoria anterior. En tercer lugar - transiciones asociatividad al cambiar los estados descriptivos constantemente rastreados cierta proximidad generalizada
.
Como red de Hopfield, nuestro modelo fue originalmente dinámico. Puede existir en una condición estática. Existe cualquier onda sólo en movimiento. Causada por la actividad de las neuronas desencadena una ola de identificadores. Estas ondas hacen que los patrones de actividad, reconocieron las combinaciones de ondas familiares. Los patrones están lanzando nueva ola. Y así sin parar.

Pero la dinámica de nuestras redes es fundamentalmente diferente de la dinámica de las redes de Hopfield. En las redes tradicionales, la dinámica se reduce a un procedimiento de convergencia iterativa de estado de la red a un estado estable. Tenemos las mismas dinámicas similares a aquellos procesos que se producen en los ordenadores algorítmicos.

Difusión de la onda de la información - un mecanismo de transferencia de datos. La dinámica de este programa - no es la dinámica de convergencia iterativos y dinámica espacial de la propagación de la identidad de la onda. Cada ciclo de la propagación de la onda de información cambia la imagen evocada actividad de las neuronas. La transición a un nuevo estado de la corteza se sustituye por la descripción actual y en consecuencia cambiar el cuadro de nuestros pensamientos. La dinámica de estos cambios de nuevo, no es algún procedimiento iterativo, y genera una secuencia de imágenes de nuestra percepción y el pensamiento.

Nuestro modelo de onda es mucho más compleja que una red dinámica simple. Más tarde, vamos a describir muchas de mecanismos unbanal regulan su trabajo. No es sorprendente que el concepto de asociatividad y en nuestro caso es más complicado que las redes de Hopfield asociativas, y más como un concepto inherente a los modelos informáticos de datos.

En la programación bajo la asociatividad es la capacidad del sistema para buscar datos, similar a la muestra. Por ejemplo, si nos volvemos a la base de datos, especificando los criterios de consulta, pues, de hecho, queremos que todos los elementos relacionados con la muestra, se describe esta solicitud.

En el equipo para resolver el problema de la búsqueda asociativa puede ser simple búsqueda comprobando todos los datos corresponden con los criterios de búsqueda. Pero mucho tiempo de búsqueda exhaustiva, la búsqueda es mucho más rápido si los datos se prepara con antelación para que le permiten generar rápidamente las muestras que cumplen con ciertos criterios. Por ejemplo, una búsqueda en la libreta de direcciones se puede acelerar en gran medida si se crea una tabla de contenidos en la primera letra.

Preparado llamado correctamente la memoria asociativa. La puesta en práctica de la asociatividad puede utilizar los índices de las tablas, el hash de direccionamiento, árboles binarios y herramientas similares.

Independientemente de la aplicación, búsqueda asociativa requiere la especificación de los criterios de similitud o proximidad. Como hemos dicho, los principales tipos de proximidad - su proximidad a la descripción, la proximidad de la expresión conjunta y la proximidad al fenómeno general. La primera habla de la similitud en la forma, y ​​el resto de la similitud a un cierto punto. Recuerda a la búsqueda de productos en la tienda. Si introduce el nombre, obtendrá una lista de productos cuyos nombres serán cerca de la meta. Pero aparte de eso, es probable que obtener otra lista, que se llamará algo así como "aquellos que están buscando por este concepto, a menudo prestan atención a ...". Los elementos de la segunda lista se encuentran en sus descripciones no se parecerán a la descripción que se expone la consulta original.

Vamos a ver cómo los argumentos acerca de la asociatividad se aplican a los términos utilizados en nuestro modelo. La idea que tenemos - un conjunto de patrones de detectores neuronales sintonizados en la misma imagen. Parece que un patrón corresponde a una minicolumna cortical separada. Imagen - esta es una combinación de señales en el campo receptivo de las neuronas. En las áreas sensoriales de las señales de imagen corteza puede ser generado proyección topográfica. En los niveles más altos de la imagen - esta actividad patrón que ocurre alrededor de la neurona, al pasar por una ola de identificadores
.
Para ir a la situación de la actividad neuronal evocada requiere que la imagen lo suficientemente precisa coincidió con una imagen de la escala en sus sinapsis. Así que si una neurona sintonizado a la detección de una combinación particular de los conceptos, el identificador de onda debe contener una porción sustancial de los identificadores de cada uno de ellos.

La activación de las neuronas cuando se repite gran parte de los conceptos que integran su estímulo característica se llama reconocimiento. El reconocimiento y la actividad evocada relacionadas no dan una asociatividad generalizada. En este modo, la neurona no responde al concepto de tener una proximidad temporal, cualquier concepto, aunque incluidos en la descripción de la característica del estímulo de la neurona, pero se encontró por separado del resto de la descripción.

Las neuronas que utilizamos en nuestro modelo, y nos comparamos con las neuronas reales en el cerebro, capaces de almacenar información, no sólo debido a los cambios en los pesos sinápticos, sino también debido a los cambios en los cúmulos receptivas metabotrópicos. Debido a las neuronas recientes son capaces de recordar fragmentos de pinturas de actividad ambiental. La repetición de una imagen almacenada tal no conduce a la aparición de la actividad neuronal inducida, que consiste en una serie de impulsos, y es una sola espiga. Recuerde neurona o no algo tan determinado por varios factores, uno de los cuales - un cambio en el potencial de membrana de la neurona. El aumento de la membrana causas potenciales de las puntas abiertas receptores metabotrópicos de discrepancia, lo que les provoca para adquirir la sensibilidad necesaria para recordar.

Cuando una neurona aprende imagen distintiva y cambia su estado de actividad evocada, aumenta significativamente el potencial de membrana, lo que le da la oportunidad de almacenar en la parte de la membrana que rodea extrasynaptic actividad de su pintura.

Podemos suponer que en el momento causado por la actividad de las tiendas de neuronas en todo él onda patrones. Esta operación tiene un significado definido. Supongamos que tenemos una descripción completa de lo que está pasando, se compone de un gran número de conceptos. Algunos de ellos permiten la neurona para aprender el concepto de un detector que es su patrón (minicolumna). El reconocimiento de este concepto proporcionará participación en la descripción general. Al mismo tiempo en las neuronas responsables de la concepción misma de las cerraduras que otros conceptos incluidos en la pintura completa narrativa.

Esta fijación va a pasar con todas las neuronas que componen nuestro patrón de detección (minicolumna). La repetición regular de este procedimiento dará lugar a la acumulación en la superficie de las neuronas detectores de grupos receptivas son sensibles a las combinaciones específicas de los identificadores.

Se puede suponer que cuanto más cualquier noción se reunirá en conjunto con el patrón de detección de actividad, mayor será la probabilidad de que será determinado por una aparición receptores extrasinápticos independientes y causar un único pico. Es decir, si hay coherencia entre los conceptos de la manifestación, las neuronas del concepto de un solo pico reaccionarán cuando una descripción de onda aparecerá concepto más relacionado asociativamente.

Sola detección pico neurona simultánea de un patrón - es la base para ejecutar la identificación apropiada de la onda. Resulta que mediante la especificación de un concepto y que se extiende su identificador de onda se puede obtener en la descripción de onda de un conjunto de conceptos, asociativamente conectado con él. Esto se puede comparar con la forma en la base de datos a petición enumera todos los registros que corresponden a los criterios de la consulta. Después de recibir la lista de la base de datos, utilizamos algoritmos adicionales para continuar con esta lista. Del mismo modo, uno se puede imaginar, y el cerebro. El acceso a las asociaciones - esto es sólo una de las etapas de su obra. En la actividad de las neuronas pueden imponer restricciones adicionales que permiten sólo una parte de las asociaciones de entrar en la descripción de las olas. La esencia de estas restricciones adicionales determina en gran medida los procedimientos de información inherentes a pensar.

Referencias

Continuación

Partes anteriores:
Parte 1. Neurona
Parte 2. Factores
Parte 3: Perceptrón, red de convolución
actividad Parte 4. Antecedentes
Parte 5. Las ondas cerebrales
Parte 6. proyecciones del sistema
Parte 7:
Persona-Ordenador Interfaz Parte 8: Asignación de los factores en las redes onda
Parte 9 patrones de detectores neuronales. Proyección posterior
Parte 10: la auto-organización espacial

Alex Redozubov (2014)

Fuente: habrahabr.ru/post/215701/