1、介绍
Inpaint Anything 是一个结合了 SAM、图像修补模型(例如 LaMa)和 AIGC 模型(例如 Stable Diffusion)等视觉基础模型的AI图像替换,修补系统。
基于此系统,用户可以方便的使用IA进行图像替换,处理具有任意长宽比和 2K 高清分辨率的图像,且不受图像原始内容限制,并且使用方便。
IA核心思想
IA 背后的核心思想是结合不同模型的优势,以建立一个功能强大且用户友好的图像修复系统。
IA 拥有三个主要功能
1、移除一切(Remove Anything):用户只需点击一下想要移除的物体,IA 将无痕地移除该物体,实现高效「魔法消除」;
2、填补一切(Fill Anything):同时,用户还可以进一步通过文本提示(Text Prompt)告诉 IA 想要在物体内填充什么,IA 随即通过驱动已嵌入的 AIGC(AI-Generated Content)模型(如 Stable Diffusion)生成相应的内容填充物体,实现随心「内容创作」;
3、替换一切(Replace Anything):用户也可以通过点击选择需要保留的物体对象,并用文本提示告诉 IA 想要把物体的背景替换成什么,即可将物体背景替换为指定内容,实现生动「环境转换」。
4、移除3D材质物品(Remove Anything 3D)
2、演示
傻瓜式替换小狗狗
还可以配合文字进行AI替换
输入 text prompt: “a camera lens in the hand”。
手中的甜甜圈就变成了相机镜头。
3、源码
项目目前已经开源,如果感兴趣开源持续关注
项目地址:https://github.com/geekyutao/inpaint-anything
论文链接:http://arxiv.org/abs/2304.06790