迁移学习

迁移学习(transfer learning):将训练好的模型(预训练模型)参数迁移到新的模型来优化新模型训练。

因为大部分的数据和任务都是存在相关性的,所以可以通过迁移学习将预训练模型的参数(也可以理解为预训练模型学到的知识)通过某种方式迁移到新模型,进而加快并优化模型的学习效率。

(1)直接迁移:冻结预训练模型的全部卷积层,删除预训练模型的全连接层,添加并训练自己定制的全连接层。

(2)提取特征向量:抽取预训练模型的卷积层对所有数据的特征向量,将特征向量灌入自己定制的全连接网络。

(3)Fine-tune:冻结预训练模型的部分卷积层,甚至不冻结任何网络层,训练非冻结层和自己定制的全连接层。

VGG

VGG是由牛津的Visual  Geometry Group提出的预训练模型,所以VGG名字的由来就是提取这三个单次的首字母。

VGG的结构有两种:

16层结构(13个卷积层和3个全连接层)

19层结构(16个卷积层和3个全连接层)

VGG16采用的结构非常简洁,整个网络都使用了同样大小的卷积核尺寸(3x3)和max pooling层(2x2)

为什么采用3x3卷积核:原因很简单,对于给定的感受野,使用堆叠的小卷积核是优于采用大的卷积核,因为多层非线性层的堆叠能够增加网络深度,从而保证模型能够学习更复杂的模式,  而且因为小卷积核的参数更少,所以整个网络的计算代价较小。

VGG16只能识别48*48大小的图像,能够识别1000类的物体。

VGG16与图像分类:拆掉VGG16的全连接层,定制自己的全连接层,以适应我们当前的任务。

 

 

更多推荐

VGG16和VGG19