初步进入¶
概况¶
在bi -PCN当中,我们可以看到已经有4项w了。我们尝试去掉原本更新\(\Delta x\)时需要的后面的神经元的信息,而是使用刚才双向得到的后传入的信息.如图:

这里x2的位置是一个平均.符合能量最小的原则.
另外前后两个节点可以使用这个的一种方式

最后一个节点用v和0的平均v/2
或者也可以直接使用v3

prediction¶

会发现这样prediction结束之后,实际上的\(\epsilon\) 不是0的
更新权重之后,会得到这样的:
注意,实际上,在prediction当中,这里的权重也是可以持续性进行更新的.
最后直到所有的\(\epsilon\)都是0.
最后这样每个权重实际上稳定以后,是互为逆(这叫做权重对齐)(也就是能从前面一个神经元推断后面这个神经元的值,后面这个神经元也能推断前面的值)
其实上面我们是直接设定x的值的,但是也可以通过\(\Delta x\)来改变x的值:

当然,方法2迭代到后面必然就是方法一.但是由于动态不一样,实际上方法二更加稳定.
因为这里的方法一实际上会有一个循环震荡的过程

权重对齐的观测¶
有时候权重可能不对齐:比如两层神经元不对等,那么就只能学习到让两个矩阵尽可能相乘得到单位矩阵 这时候只能观测:能不能观测到往对齐的方向发展 具体一点 1. 两个神经元的误差一直在减小 2. 用一些函数来衡量两者相乘是否接近于单位矩阵
神经实现¶
所有的计算规则可以使用三个方程来进行描述


训练¶
其实就是把输入和输出都固定,其余的过程都是一样的. - 上面的prediction和 train过程的时序,包括多少次inference之后进行权重更新,等等等.
非线性¶
目前没有特别work的方式
也是有几种加非线性的方法,但效果也不是很好
