论文链接: https://arxiv.org/abs/2103.00020 代码链接: * https://github.com/openai/CLIP (权重完全从0开始训练获得) * 中文版: https://github.com/OFA-Sys/Chinese-CLIP (利用了部分权重初始化) 视频链接: https://www.bilibili.com/video/BV1SL4y1s7LQ ## 前言 CLIP 的全称是 Contrastive Language–Image Pre-training, 目标输入图片+文本，输出相似度。正因为是描述，所以可以在各种图像*分类任务*上进行 zero-shot. 例如对应IMAGENET-1k数据集进行图片分类, 需要再文本输入构造1k类的语句, 生成对应的文本特征, 之后分别处理输入图像的特征, 计算相似度, 最大的部分作为分类匹配结果. 网络架构如图所示  OpenAI CLIP模型是一个创造性的突破； 它以与文本相同的方式处理图像。 令人惊讶的是，如果进行大规模训练(4亿对!!!)，效果非常好。 CLIP 将图像视为一系列不重叠的补丁，每个补丁都是一个视觉标记（类似于 NLP 中的文本标记或单词）。 因此，图像只是一系列视觉标记，可以使用旧的转换器像文本一样进行处理。 训练数据是从网络上抓取的图像标题对。 CLIP 模型经过训练，可以使用对比损失将图像/文本转换为向量嵌入。 经过训练的 CLIP 模型将在同一向量空间中生成图像和文本嵌入，使我们能够通过计算 (i) 图像嵌入和 (ii) 文本嵌入之间的余弦相似度来计算 (i) 图像和 (ii) 一段文本的相似度。 将任意图像/文本转换为矢量嵌入正在成为一种基本的人工智能原语。 它免费解锁了许多人工智能功能，而这些功能之前需要数周/数月的训练数据收集和模型训练工作。 实际上，它允许对许多用例进行zore-shot预测，例如 图像分类、图像分割与目标检测。 ## 代码解读 https://blog.csdn.net/weixin_38252409/article/details/133828294 ## 应用 CLIP分类 * 原文示例, 直接可以做IMAGENET-1k等的分类 CLIP分割 * [CLIPSeg: image segmentation with CLIP](https://huggingface.co/blog/clipseg-zero-shot) * 用到了有监督数据, 可以做到文本指定目标的分割, 以及给定图片目标, 搜索其他匹配图  CLIP检测 * [OWL-ViT](https://huggingface.co/docs/transformers/model_doc/owlvit)  方法的概述。左侧：首先使用图像-文本对进行对比训练图像和文本编码器，类似于 CLIP [33]，ALIGN [19]和 LiT [44]。右侧：然后，我们将预训练的编码器转移到开放词汇的目标检测中，通过移除令牌池化并直接将轻量级目标分类和定位头连接到图像编码器输出令牌上。为了实现开放词汇检测，查询字符串使用文本编码器进行嵌入并用于分类。该模型在标准检测数据集上进行微调。在推理时，我们可以使用基于文本的嵌入进行开放词汇检测，或者使用基于图像的嵌入进行少样本图像条件检测。 实战: * [人脸相关](https://developer.aliyun.com/article/1279278) * [视频搜索](https://juejin.cn/post/7187382612820754488) ## 参考 * https://www.cnblogs.com/emanlee/p/17146105.html * https://medium.com/@khjfsdu/zero-shot-image-classification-segmentation-detection-with-clip-b8eec06582e3