迁移学习
迁移学习(transfer learning):将训练好的模型(预训练模型)参数迁移到新的模型来优化新模型训练。
因为大部分的数据和任务都是存在相关性的,所以可以通过迁移学习将预训练模型的参数(也可以理解为预训练模型学到的知识)通过某种方式迁移到新模型,进而加快并优化模型的学习效率。
(1)直接迁移:冻结预训练模型的全部卷积层,删除预训练模型的全连接层,添加并训练自己定制的全连接层。
(2)提取特征向量:抽取预训练模型的卷积层对所有数据的特征向量,将特征向量灌入自己定制的全连接网络。
(3)Fine-tune:冻结预训练模型的部分卷积层,甚至不冻结任何网络层,训练非冻结层和自己定制的全连接层。
VGG
VGG是由牛津的Visual Geometry Group提出的预训练模型,所以VGG名字的由来就是提取这三个单次的首字母。
VGG的结构有两种:
16层结构(13个卷积层和3个全连接层)
19层结构(16个卷积层和3个全连接层)
VGG16采用的结构非常简洁,整个网络都使用了同样大小的卷积核尺寸(3x3)和max pooling层(2x2)
为什么采用3x3卷积核:原因很简单,对于给定的感受野,使用堆叠的小卷积核是优于采用大的卷积核,因为多层非线性层的堆叠能够增加网络深度,从而保证模型能够学习更复杂的模式, 而且因为小卷积核的参数更少,所以整个网络的计算代价较小。
VGG16只能识别48*48大小的图像,能够识别1000类的物体。
VGG16与图像分类:拆掉VGG16的全连接层,定制自己的全连接层,以适应我们当前的任务。
更多推荐
VGG16和VGG19
发布评论