Skip to content

初步进入

概况

在bi -PCN当中,我们可以看到已经有4项w了。我们尝试去掉原本更新\(\Delta x\)时需要的后面的神经元的信息,而是使用刚才双向得到的后传入的信息.如图:

这里x2的位置是一个平均.符合能量最小的原则. 另外前后两个节点可以使用这个的一种方式

最后一个节点用v和0的平均v/2

或者也可以直接使用v3

prediction

会发现这样prediction结束之后,实际上的\(\epsilon\) 不是0的 更新权重之后,会得到这样的: 注意,实际上,在prediction当中,这里的权重也是可以持续性进行更新的. 最后直到所有的\(\epsilon\)都是0. 最后这样每个权重实际上稳定以后,是互为逆(这叫做权重对齐)(也就是能从前面一个神经元推断后面这个神经元的值,后面这个神经元也能推断前面的值)

其实上面我们是直接设定x的值的,但是也可以通过\(\Delta x\)来改变x的值:

当然,方法2迭代到后面必然就是方法一.但是由于动态不一样,实际上方法二更加稳定. 因为这里的方法一实际上会有一个循环震荡的过程

权重对齐的观测

有时候权重可能不对齐:比如两层神经元不对等,那么就只能学习到让两个矩阵尽可能相乘得到单位矩阵 这时候只能观测:能不能观测到往对齐的方向发展 具体一点 1. 两个神经元的误差一直在减小 2. 用一些函数来衡量两者相乘是否接近于单位矩阵

神经实现

所有的计算规则可以使用三个方程来进行描述

训练

其实就是把输入和输出都固定,其余的过程都是一样的. - 上面的prediction和 train过程的时序,包括多少次inference之后进行权重更新,等等等.

非线性

目前没有特别work的方式 也是有几种加非线性的方法,但效果也不是很好