思维的逻辑。第11部分：动态神经网络。关联 Bashny.Net

本系列文章介绍了大脑的电波模式与传统模式完全不同。我们强烈建议那些谁刚刚加入，从开始的 第一部分阅读。

最容易理解和模拟神经网络，其中，信息被顺序地从层分布到层。施加到输入端的信号，也可以一致地计算每个层的状态。这些状态可以被解释为一组输入信号的描述。同时不改变输入信号保持不变，并且其描述。

更复杂的情况出现，如果我们引入神经网络的反馈。为了计算该网络的状态不再足够一次通过。只要我们按照输入信号反馈到调整输入的画面，这将要求对整个网络的一个新的翻译，等等改变网络的状态。

经常性网络的意识形态取决于图像之间是如何相互关联的延迟反馈和间隔。如果延迟比所述间隔变化少得多，我们仅在最终平衡状态可能有兴趣，以及中间迭代被视为纯粹的计算程序。如果它们是可比较的，那么就浮出水面是网络的动态。



F.布拉特描述多层感知与交联的，并且表明，它们可用于选择性注意力和反应的重放顺序（Neurodynamic的布拉特，原则：感知和脑机制，1962年的理论）建模。

在1982年，约翰的Hopfield提出了神经网络的反馈，使得其状态可以从能量的功能（Hopfield型，1982）的最小的计算来确定的设计方案。原来的Hopfield网络有一个显着的特性 - 它们可以被用来作为存储寻址内容



Hopfield网络 I>

在Hopfield神经网络信号采取自旋值{1,1}。教育网络 - 这样可以节省多张图片。记忆是由于平衡设置，以便：

这导致一种算法，简单的非迭代计算，以确定该网络的参数：



其中 - 基质的神经元的权重的构成，以及 - 存储的图像的数目。对角矩阵依赖为零，这意味着在神经元本身没有影响。在通过网络的稳定性状态来确定这样的方式规定的重量，相应的矢量存储。

神经元的激活函数的形式为：


输入图像被分配给网络的初始近似。然后开始迭代过程，其中，如果你运气好，收敛到一个稳定的状态。因此稳态很可能是所存储的图像中的一个。此外，这将是最相似于输入信号的图象。换句话说，图像关联与它相关联。

可以引入能源网的概念：



其中 - 用于神经元的数目。在这种情况下，每个存储的图像对应于一个局部能量最小。

虽然Hopfield神经网络，是非常简单的，它们示出脑的三个基本属性。第一个 - 就是大脑的动态，当被迫离开目前当地的最低能量状态和移动上的任何内部或外部扰动找到一个新的动态的存在。第二个 - 是来quasistability由以前的记忆所定义的能力。第三 - 关联转换改变描述的状态时，不断地追踪某些全身接近
。
随着网络的Hopfield，我们的模型原本是动态的。它可以在静态条件下存在。任何波只存在于运动。由神经元的活动引起触发一波标识符。这些波引起的活动规律，认识到熟悉的波的组合。模式推出新的浪潮。所以没有停止。

但是，我们的网络的力度，从Hopfield网络的动态本质的不同。在传统的网络中，动态减小到网络状态的迭代过程收敛到稳定状态。我们具有类似于发生在算法的计算机的那些过程相同的动力学。

波传播信息 - 一个数据传输机制。这一计划的动态​​ - 它不是反复收敛动态和波的身份传播空间动态。浪潮信息传播的每个周期改变神经元的画面诱发活动。到皮质的一个新状态的转变被替换为当前的描述和相应地改变我们的思想的图片。这些变化的动态再不是一些迭代过程，并产生我们的感知和思维的图像的序列。

我们的波模型比一个简单的动态网络要复杂得多。后来，我们将描述调节其工作很多unbanal机制。毫不奇怪，关联性和我们的情况下，在概念比联想的Hopfield网络更加复杂，更像是一个固有的数据的计算机模型的概念。

在根据相关性编程是该系统的搜索数据，类似于样品的能力。例如，如果我们把数据库，指定查询条件，那么，实际上，我们希望得到所有相关样品的元素，描述了这个请求。

在计算机上解决关联搜索的问题可以通过检查所有数据与搜索条件匹配的简单搜索。但耗时穷举搜索，搜索就是如果数据提前做好准备，以便让你快速生成符合特定标准的样品快得多。例如，在地址簿中搜索可以大大如果创建的第一个字母内容的表加速。

准备妥善所谓的联想记忆。实际执行的关联都可以使用表索引，哈希处理，二叉树，和类似的工具。

无论实施，关联搜索需要的相似或接近的标准规范。我们已经说过，接近的主要类型 - 它的邻近的说明中，联合表达，以及邻近的一般现象的附近。第一讲相似的形式，和相似的某一点的休息。这让我想起在店里产品的搜索。如果你输入的名称，你会得到的产品，其名称将接近目标的清单。但除此之外，你很可能得到另一份名单，将被称为像“谁正在寻找这个项目，往往讲究......”。第二列表的元素是在它们的描述将不相似的描述阐述原始查询。

让我们来看看有关关联的参数如何适用于在我们的模型中使用的术语。我们的概念 - 一组调谐到相同的图像的神经探测器的图案。看来1模式对应于一个单独的皮质微柱。图像 - 这是对神经元的感受野信号的一些组合。上皮层的图像信号的感觉区可以生成地形投影。在更高层次的图像 - 这种模式的活动发生周围神经元，通过一波标识符路过时
。
要转到诱发神经元活动的状态，要求图像足够准确恰逢规模在其突触的图片。因此，如果一个神经元调谐到的概念的特定组合的检测，波标识符必须包含它们各自的标识符的一个相当大的部分。

触发神经元反复大部分构成其特点的刺激被称为识别的概念时。识别及相关活动诱发不给一概而论关联。在这种模式下，神经元不响应具有时间接近，任何概念的概念，虽然包括在神经元刺激的特征的描述，但是从说明书的其余部分分别满足。

我们在我们的模型中使用，这样我们与大脑中的神经元的实际比较的神经元，能够存储信息，不仅由于改变突触加权值，也由于改变代谢容易接受簇。由于最近的神经元能够记住画片段环保活动。这种存储图象的重复不会导致诱导神经元活动的外观，包括一系列脉冲，并且是一种单尖峰。记住神经元或没有什么如此受到几个因素的其中之一来确定 - 在神经元的膜电位的变化。在分割膜电位的原因增加结束差异代谢型受体，这使他们掌握必要的敏感性要记住。

当一个神经元学习鲜明图像，改变状态诱发活性，显著增加了膜电位，这使他的机会，以存储在周围突触外他的绘画活动隔膜的一部分。

我们可以假设，在引起神经元店都在他周围的波浪模式活动的时刻。此操作具有一定的含义。假设我们有正在发生的事情，是由大量的概念的完整描述。他们中的一些允许神经元学习的检测器是它的图案（微柱）的概念。这个概念的识别将提供参与的一般描述。同时，对负责的锁，其中包括在全叙述性绘画等概念这一概念的神经元。

这种固定会出现的所有，使我们的检测模式（微柱）的神经元。此过程中的常规的重复将导致神经元检测器接受簇是标识符的特定组合敏感的表面上的积累。

它可以假定越任何概念将与活动检测模式一起满足，较高的可能性，这将通过一个独立的外观突触外受体被确定，并导致单个尖峰。也就是说，如果有一个在表现的概念之间的一致性，单个尖峰的概念的神经元会发生反应时，波描述将更关联方式相关的概念。

同时单个神经元秒杀检测的模式 - 是运行相应的标识波的基础。事实证明，通过指定一个概念，并扩大其波动标识符可以在一组概念，它关联方式连接的浪潮说明中获取。这可以通过根据要求的数据库列出了所有属于该查询的条件的记录的方式进行比较。从数据库中接收所述列表后，我们使用附加算法以继续与此列表。同样，可以想见，和大脑。接触到的关联 - 这是他的工作的阶段之一。对神经元的活性可强加额外限制，允许关联的仅一部分进入波描述。这些额外的限制本质很大程度上决定了固有的思维信息的程序。

参考

续

前面的部分：
第1部分神经元
第2部分因素
第3部分：感知器，卷积网络
第4部分后台活动
第5部分脑电波
第6部分预测的系统<​​/A>
部分7.人机界面
第8部分：分配因素波网
第9部分：神经探测器的模式。背投
第10空间自组织

阿列克谢Redozubov （2014）

来源： habrahabr.ru/post/215701/