论文笔记——ReCoNet: Real-time Coherent Video Style Transfer Network

摘要：

引用格式：

@inproceedings{gao2018reconet,
  title={Reconet: Real-time coherent video style transfer network},
  author={Gao, Chang and Gu, Derun and Zhang, Fangjun and Yu, Yizhou},
  booktitle={Asian Conference on Computer Vision},
  pages={637--653},
  year={2018},
  organization={Springer}
}

代码：

changgyhub/reconet
skq024/Real-time-Coherent-Style-Transfer-For-Videos
safwankdb/ReCoNet-PyTorch

网络结构：

损失函数：

输出层的时间损失（Output-level Temporal loss）

为什么添加这个损失呢，是因为作者认为在真实世界的视频中，由于光照的变化，同一物体在连续帧上的liminance和颜色可能是不一样的。在这种情况下，颜色恒定假设是不满足的，直接应用光流进行warp忽略了traceable像素的光照变化。

特征图层的时间损失（Feature-map-level Temporal loss)

为什么加这个损失呢，根据作者的观点，他们观察到了连续帧内的移动物体可能会有不稳定的表现比如颜色。直觉上，同一对象在高级特征图中应具有相同的特征。所以作者引入这个特征级的时间损失更进一步的提高他们模型的时间一致性。

总的损失函数：

内容损失，风格损失和总变分损失和论文Perceptual Losses for Real-Time Style Transfer and Super-Resolution中的一致。

论文地址

ReCoNet: Real-time Coherent Video Style Transfer Network