公众号：算法一只狗

今年，我们见证了人工智能算法的起飞，还有各种围绕大模型、AIGC等领域算法百花齐放。

如果说去年人工智能领域的关键词是“元宇宙”的话，那么2023年无疑是属于“大模型”的一年。迄今为止，国内外的科技公司、高校、研究机构已经发布了多款人工智能大模型，“百模大战”不断加码。

当然，作为AI从业者的我们，当然要不断学习。尽管目前大模型AI还不能够替代我们，但是也要求我们学会使用它，帮助自己提升工作效率。

因此这期我们来总结一下上半年的一些好玩有趣的AI算法。大家有兴趣的可以查看我公众号的详细文章。

1. 一切都可以进行分割

https://mp.weixin.qq.com/s/HROpJHlcRX64J1kMz4L9Dw

2. 开源图文回答工具

https://mp.weixin.qq.com/s/prJ9p9NAXYio9G8WCGomqQ

3. 视频转换风格生成

https://mp.weixin.qq.com/s/UN5meK7YKEfd32TPpiQCLQ

4. 免费好用的文档对话工具

https://mp.weixin.qq.com/s/e4bN6ciw5vzh9KR_Vc1YCw

第一个，一切都可以进行分割

一直沉静许久的CV圈，被Meta发布的SAM模型给炸出圈来。

发布的新模型，宣称能够“剪切”任何的图像。它可以对不熟悉的物体和图像进行零样本泛化，而无需额外的训练，就可以识别任意的图像。

从官方放出的demo来看，只需要通过鼠标点击对应的物体，就可以有效识别：

又或者给定一张图片，让它识别出图像中所有的物体：

现在大模型都需要有通用的，自适应于下游任务的能力。SAM模宣称可以直接理解不熟悉的物体和图像进行零样本分割，而无需额外的训练。

第二个，开源图文回答工具

在大模型的加持下，图片+文字的多模态模型也雨后春笋般。其中比较出名的MiniGPT-4，它产生了类似于 GPT-4 中新兴的视觉语言能力。
在MiniGPT-4模型中，你可以围绕一张图片和它进行对话：

从模型实现上来看，主要分为两步进行训练：

• MiniGPT-4冻结一个视觉编码器和LLM
• 在第一个阶段，使用100万个图像文本对进行训练。通过第一阶段后，模型能够有效理解图像，但是其生成能力变差
• 第二个阶段则使用高质量的图像文本对数据集，共3500个进行微调，以显着提高其生成可靠性和整体可用性。这个阶段的计算效率很高，使用单个 A100 只需要大约7分钟。

在官网放出的例子中，它可以描述这张图片的内容：

或者可以给这张图定制一个广告语：

第三个，视频转换风格生成

https://www.yuque.com/yuqueyonghumaryyq/fmvho1/rwh3g25ekk25kt2p
在以前如果要对现有的视频进行风格转换，往往会造成视频闪烁。

但是这个难题近期被南洋理工大学的团队很好的解决。首先来看看他们生成的视频效果：

可以看到，生成的视频很丝滑，而且人物的动作衔接的很连贯。

不仅仅在人物方面能够解决“闪烁”问题，就连建筑上也能够很好的hold住不同的风格：

同时帧与帧之间比较流畅，已经能够和正常的视频相媲美了。

第四个，免费好用的文档对话工具

文档对话能力

我们知道，目前有一众收费的ChatPDF等文档问答网站，而Claude2直接可以说秒杀这些大部分的网站

它可以在官网上传文件进行对话 ：

而且最大可以上传5个文件，每个文件最大可以10MB.

比如我这里把Claude2的技术文档上传上去，让它进行总结。它能够在几秒内把PDF进行总结：

同时也可以不断询问文档中的细节，这个能力和ChatPDF相当：

当然，我们也能够利用它的能力，进行excel数据分析：

文档联系功能

而且，只要我们上传更多的文档，就可以让它总结其中之间的联系，省去了我们看多个文档写总结的时间：