( A, B )---3*30*2---( 1, 0 )( 0, 1 )
让网络的输入只有3个节点,AB训练集各由5张二值化的图片组成,让A中有5个1,B中全是0,排列组合A的所有可能,统计迭代次数的顺序。其中有12组数据
A-B | 迭代次数 | |||
1 | 0 | 1 | 5*4*2*1*0-0*0*0*0*0 | 3932.508 |
1 | 0 | 0 | 5*4*2*1*0-0*0*0*0*0 | 3932.508 |
0 | 1 | 0 | 5*4*2*1*0-0*0*0*0*0 | 3932.508 |
0 | 0 | 1 | 5*4*2*1*0-0*0*0*0*0 | 3932.508 |
0 | 0 | 0 | 5*4*2*1*0-0*0*0*0*0 | 3932.508 |
|
| |||
1 | 1 | 0 | 6*1*2*4*0-0*0*0*0*0 | 3946.93 |
0 | 0 | 1 | 6*1*2*4*0-0*0*0*0*0 | 3946.93 |
0 | 1 | 0 | 6*1*2*4*0-0*0*0*0*0 | 3946.93 |
1 | 0 | 0 | 6*1*2*4*0-0*0*0*0*0 | 3946.93 |
0 | 0 | 0 | 6*1*2*4*0-0*0*0*0*0 | 3946.93 |
|
| |||
0 | 1 | 1 | 3*2*1*4*0-0*0*0*0*0 | 3958.236 |
0 | 1 | 0 | 3*2*1*4*0-0*0*0*0*0 | 3958.236 |
0 | 0 | 1 | 3*2*1*4*0-0*0*0*0*0 | 3958.236 |
1 | 0 | 0 | 3*2*1*4*0-0*0*0*0*0 | 3958.236 |
0 | 0 | 0 | 3*2*1*4*0-0*0*0*0*0 | 3958.236 |
| ||||
1 | 1 | 0 | 6*4*2*0*1-0*0*0*0*0 | 4000.899 |
1 | 0 | 0 | 6*4*2*0*1-0*0*0*0*0 | 4000.899 |
0 | 1 | 0 | 6*4*2*0*1-0*0*0*0*0 | 4000.899 |
0 | 0 | 0 | 6*4*2*0*1-0*0*0*0*0 | 4000.899 |
0 | 0 | 1 | 6*4*2*0*1-0*0*0*0*0 | 4000.899 |
|
| |||
0 | 1 | 1 | 3*4*2*0*1-0*0*0*0*0 | 4090.246 |
1 | 0 | 0 | 3*4*2*0*1-0*0*0*0*0 | 4090.246 |
0 | 1 | 0 | 3*4*2*0*1-0*0*0*0*0 | 4090.246 |
0 | 0 | 0 | 3*4*2*0*1-0*0*0*0*0 | 4090.246 |
0 | 0 | 1 | 3*4*2*0*1-0*0*0*0*0 | 4090.246 |
|
| |||
0 | 1 | 1 | 3*1*4*0*2-0*0*0*0*0 | 4104.518 |
0 | 0 | 1 | 3*1*4*0*2-0*0*0*0*0 | 4104.518 |
1 | 0 | 0 | 3*1*4*0*2-0*0*0*0*0 | 4104.518 |
0 | 0 | 0 | 3*1*4*0*2-0*0*0*0*0 | 4104.518 |
0 | 1 | 0 | 3*1*4*0*2-0*0*0*0*0 | 4104.518 |
| ||||
1 | 0 | 1 | 5*4*0*2*1-0*0*0*0*0 | 4158.889 |
1 | 0 | 0 | 5*4*0*2*1-0*0*0*0*0 | 4158.889 |
0 | 0 | 0 | 5*4*0*2*1-0*0*0*0*0 | 4158.889 |
0 | 1 | 0 | 5*4*0*2*1-0*0*0*0*0 | 4158.889 |
0 | 0 | 1 | 5*4*0*2*1-0*0*0*0*0 | 4158.889 |
|
| |||
1 | 1 | 0 | 6*4*0*2*1-0*0*0*0*0 | 4178.487 |
1 | 0 | 0 | 6*4*0*2*1-0*0*0*0*0 | 4178.487 |
0 | 0 | 0 | 6*4*0*2*1-0*0*0*0*0 | 4178.487 |
0 | 1 | 0 | 6*4*0*2*1-0*0*0*0*0 | 4178.487 |
0 | 0 | 1 | 6*4*0*2*1-0*0*0*0*0 | 4178.487 |
|
| |||
1 | 1 | 0 | 6*1*0*4*2-0*0*0*0*0 | 4282.608 |
0 | 0 | 1 | 6*1*0*4*2-0*0*0*0*0 | 4282.608 |
0 | 0 | 0 | 6*1*0*4*2-0*0*0*0*0 | 4282.608 |
1 | 0 | 0 | 6*1*0*4*2-0*0*0*0*0 | 4282.608 |
0 | 1 | 0 | 6*1*0*4*2-0*0*0*0*0 | 4282.608 |
| ||||
1 | 0 | 1 | 5*0*2*4*1-0*0*0*0*0 | 4295.774 |
0 | 0 | 0 | 5*0*2*4*1-0*0*0*0*0 | 4295.774 |
0 | 1 | 0 | 5*0*2*4*1-0*0*0*0*0 | 4295.774 |
1 | 0 | 0 | 5*0*2*4*1-0*0*0*0*0 | 4295.774 |
0 | 0 | 1 | 5*0*2*4*1-0*0*0*0*0 | 4295.774 |
| ||||
1 | 0 | 1 | 5*0*1*2*4-0*0*0*0*0 | 4322.508 |
0 | 0 | 0 | 5*0*1*2*4-0*0*0*0*0 | 4322.508 |
0 | 0 | 1 | 5*0*1*2*4-0*0*0*0*0 | 4322.508 |
0 | 1 | 0 | 5*0*1*2*4-0*0*0*0*0 | 4322.508 |
1 | 0 | 0 | 5*0*1*2*4-0*0*0*0*0 | 4322.508 |
| ||||
1 | 0 | 1 | 5*0*4*1*2-0*0*0*0*0 | 4368.085 |
0 | 0 | 0 | 5*0*4*1*2-0*0*0*0*0 | 4368.085 |
1 | 0 | 0 | 5*0*4*1*2-0*0*0*0*0 | 4368.085 |
0 | 0 | 1 | 5*0*4*1*2-0*0*0*0*0 | 4368.085 |
0 | 1 | 0 | 5*0*4*1*2-0*0*0*0*0 | 4368.085 |
|
收敛误差7e-4,每组收敛199次。统计平均值。
为什么这12组数据的迭代次数按这个顺序排列?为什么50412的迭代次数是最大的?假设同列的1之间存在排斥力,不同列的1之间的排斥力与他们彼此同列时相同。这就意味着同行的两个1之间可以相加。
1 | 0 | 1 | 5*4*2*1*0-0*0*0*0*0 | 3932.51 |
1 | 0 | 0 | 5*4*2*1*0-0*0*0*0*0 | 3932.51 |
0 | 1 | 0 | 5*4*2*1*0-0*0*0*0*0 | 3932.51 |
0 | 0 | 1 | 5*4*2*1*0-0*0*0*0*0 | 3932.51 |
0 | 0 | 0 | 5*4*2*1*0-0*0*0*0*0 | 3932.51 |
比如54210相当于01112,为方便比较把数值归一化,变成0,0.33,0.33,0.33,0.66.再按照
去计算0,0.33,0.33,0.33,0.66.的列排斥力
0 | 0.33 | 0.33 | 0.33 | 0.66 | |
0 | |||||
0.33 | 0.1089 | 0.0272 | 0.0242 | ||
0.33 | 0.1089 | 0.0545 | |||
0.33 | 0.2178 | ||||
0.66 | |||||
F=0.5414.
61240和32140经这种方法化简,平均列都是0,0.33,0.33,0.33,0.66.排斥力相同。
用这种方法计算其他各组
1 | 1 | 0 | 6*4*2*0*1-0*0*0*0*0 | 4000.9 |
1 | 0 | 0 | 6*4*2*0*1-0*0*0*0*0 | 4000.9 |
0 | 1 | 0 | 6*4*2*0*1-0*0*0*0*0 | 4000.9 |
0 | 0 | 0 | 6*4*2*0*1-0*0*0*0*0 | 4000.9 |
0 | 0 | 1 | 6*4*2*0*1-0*0*0*0*0 | 4000.9 |
化简为0.33,0,0.33,0.33,0.66,F=0.434.34201和31402与之相同。
1 | 0 | 1 | 5*4*0*2*1-0*0*0*0*0 | 4158.89 |
1 | 0 | 0 | 5*4*0*2*1-0*0*0*0*0 | 4158.89 |
0 | 0 | 0 | 5*4*0*2*1-0*0*0*0*0 | 4158.89 |
0 | 1 | 0 | 5*4*0*2*1-0*0*0*0*0 | 4158.89 |
0 | 0 | 1 | 5*4*0*2*1-0*0*0*0*0 | 4158.89 |
化简为0.33,0.33,0,0.33,0.66,计算得F=0.404,64021,61042与之相同。
1 | 0 | 1 | 5*0*2*4*1-0*0*0*0*0 | 4295.77 |
0 | 0 | 0 | 5*0*2*4*1-0*0*0*0*0 | 4295.77 |
0 | 1 | 0 | 5*0*2*4*1-0*0*0*0*0 | 4295.77 |
1 | 0 | 0 | 5*0*2*4*1-0*0*0*0*0 | 4295.77 |
0 | 0 | 1 | 5*0*2*4*1-0*0*0*0*0 | 4295.77 |
化简为0.33,0.33,0.33,0,0.66,计算得F=0.337,50124,50412与之相同。
由此得到F的顺序
A-B | F | |||||
5*4*2*1*0-0*0*0*0*0 | 3932.508 | 0 | 0.33 | 0.33 | 0.33 | 0.66 |
6*1*2*4*0-0*0*0*0*0 | 3946.93 | 0.541475 | ||||
3*2*1*4*0-0*0*0*0*0 | 3958.236 | ↓ | ||||
6*4*2*0*1-0*0*0*0*0 | 4000.899 | 0.33 | 0 | 0.33 | 0.33 | 0.66 |
3*4*2*0*1-0*0*0*0*0 | 4090.246 | 0.434088 | ||||
3*1*4*0*2-0*0*0*0*0 | 4104.518 | ↓ | ||||
5*4*0*2*1-0*0*0*0*0 | 4158.889 | 0.33 | 0.33 | 0 | 0.33 | 0.66 |
6*4*0*2*1-0*0*0*0*0 | 4178.487 | 0.403838 | ||||
6*1*0*4*2-0*0*0*0*0 | 4282.608 | ↓ | ||||
5*0*2*4*1-0*0*0*0*0 | 4295.774 | 0.33 | 0.33 | 0.33 | 0 | 0.66 |
5*0*1*2*4-0*0*0*0*0 | 4322.508 | 0.337288 | ||||
5*0*4*1*2-0*0*0*0*0 | 4368.085 |
刚好与迭代次数的大小相反。列间排斥力和迭代次数成反比。