卷积神经网络中的权值共享和局部连接
- 卷积神经网络的两大特点
- 权值共享
- 全连接
卷积神经网络的两大特点
权值共享,就是输入一张图,用一个filter去扫这张图,filter里面的数就叫权重,这张图每个位置都是被同样的filter扫的,所以权重是一样的,也就是共享。
权值共享
一维的情况,使用相同的权值向量来做卷积
二维情况示意图
一个mm的卷积核在图像上扫描,进行特征提取,如图,是33的卷积核,如果channels为k的话,那么总参数量为mmk
不进行参数共享
卷积核的参数数量为W(width)*H(height)*K(kernel)
全连接
此时参数量W(width)*H(height)*n(hidden node)
参数量巨大
例如,InceptionV3的输入图像尺寸是192192的,如果把第一层3332的卷积核去掉参数共享,参数数目会变成192192*32,约120万个参数,是原来288个参数的4096倍
参考链接:
【1】如何理解卷积神经网络中的权值共享? - Serendipity的回答 - 知乎
https://www.zhihu.com/question/47158818/answer/1499528063
【2】如何理解卷积神经网络中的权值共享? - superbrother的回答 - 知乎
https://www.zhihu.com/question/47158818/answer/670431317