待消化吸收整理
发表于: 2022-08-31 17:01:00 | 已被阅读: 50 | 分类于: 深度学习
集成学习
https://zhuanlan.zhihu.com/p/39972832
多模态学习
比如语言描述和图像混合训练学习，是否可以考虑预训练后的encoder辅助训练图像算法？
自然语言处理领域的 prompt-based方法
这里需要做一个补充说明。由于数据空间大小和结构复杂度的差异，至少到目前为止，CV领域还不能通过预训练模型直接解决域间差异的问题，但是NLP领域已经接近了这一点。因此，我们看到了NLP学者们利用prompt-based方法统一了几十上百种下游任务，但是同样的事情在CV领域并没有发生。另外，在NLP中提出来的scaling law，其本质在于使用更大的模型来过拟合预训练数据集。也就是说，对于NLP来说，过拟合已经不再是一个问题，因为预训练数据集配合小型prompt已经足以表征整个语义空间的分布。但是，CV领域还没有做到这一点，因此还需要考虑域迁移，而域迁移的核心在于避免过拟合。也就是说，在接下来2-3年，CV和NLP的研究重心会有很大的差异，因而将任何一个方向的思维模式生搬硬套在另一个方向上，都是很危险的。 https://mp.weixin.qq.com/s/FjWAn7fodstBRVBBwcosUQ
卷积网络可视化
帮助了解卷积核都学到了啥，是否可以有取舍的删除某些卷积核（关注背景等）、 https://zhuanlan.zhihu.com/p/24833574 https://zhuanlan.zhihu.com/p/137782049
扩散模型
有点像VAE的生成模型。
全局和局部信息正交融合
https://zhuanlan.zhihu.com/p/419911842
pytorch ddp 通信
torch.distributed.gather
数据增强：
random erasing
SVD 让特征正交：
SVDNet for Pedestrian Retrieva
https://zhuanlan.zhihu.com/p/29441765
https://blog.csdn.net/zhuiqiuk/article/details/88412247
https://blog.csdn.net/u012193416/article/details/88626312
行人重识别方向
https://www.jianshu.com/p/98cc04cca0ae?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes
为什么卷积网络过度自信
https://github.com/max-andr/relu_networks_overconfident/blob/ce2d3a1ab8434cdb46a2d20da291411052474636/evaluation.py#L143
一种对抗训练方法 PGD
https://github.com/Harry24k/adversarial-attacks-pytorch/blob/master/torchattacks/attacks/pgd.py
卷积神经网络回顾之DenseNet、SENet、MobileNet系列、ShuffleNet系列
https://blog.csdn.net/qq_37002417/article/details/105935425
3D MM 人脸3维重建
https://zhuanlan.zhihu.com/p/161828142 https://blog.csdn.net/zb1165048017/article/details/104204035 https://blog.csdn.net/u011681952/article/details/82623328 实战： https://blog.csdn.net/qq_45912037/article/details/123775313 https://github.com/YadiraF/face3d/issues/3
3D 仿射变换用于训练增强网络
https://zhuanlan.zhihu.com/p/42692080 https://pytorch.org/tutorials/intermediate/spatial_transformer_tutorial.html
深度学习中的不确定性
https://zhuanlan.zhihu.com/p/98756147
提取part-level的特征
https://blog.csdn.net/baidu_39622935/article/details/83416908