ViperGPT：结合视觉输入与文本查询生成和执行程序

ViperGPT 是一个混合视觉和语言处理模型，旨在解决视觉查询问题。这种问题需要视觉处理和推理能力的结合，ViperGPT通过利用代码生成模型，将视觉和语言模型组合成子例程，为任何查询生成结果。你可以在这里阅读相关的论文。

ViperGPT演示

ViperGPT的架构及其优势

ViperGPT的架构主要由以下部分组成：

vision_models.py：此文件包含预训练模型的代码，所有模型都是BaseModel的子类。这种设计使得添加新模型变得非常简单，只需创建一个新的从BaseModel继承的类，然后实现forward方法和name方法即可。
vision_processes.py：这个模块充当模型和代码的其余部分之间的桥梁，包含启动所有必需进程的代码，无论是多进程还是单进程。该模块自动检测在vision_models.py中实现的所有新模型，并定义了一个接收名字输入（以及参数）的forward方法，从而调用相应的模型。
main_batch.py 和 main_simple.ipynb：这是运行代码的主要文件。前者运行整个数据集，适合样本的并行处理，而后者运行单个图像/视频，适合调试。
image_patch.py 和 video_segment.py：这些类代表图像块和视频段，包含所有调用vision_processes.py的forward方法从而调用模型的方法。
configs, datasets, prompts：这些目录分别包含配置文件、数据集代码和Codex和GPT-3的提示。配置文件以YAML格式存储，通过OmegaConf进行读取。
utils.py, useful_lists 和 base_models：这些辅助文件包含有用的函数、列表和预训练模型实现。

ViperGPT的优势在于其高度模块化和灵活的结构，使得代码易于理解和修改。同时，其对多进程并行计算的支持可以提高模型运行效率。此外，预训练模型的架构使得新增模型变得简单，可以方便地进行扩展。最后，配置文件的使用使得代码的可配置性更强，便于不同的使用场景和需求。

结合外部知识查询功能

ViperGPT 还具有查询外部知识库的功能。许多关于图像的问题只有通过融合关于世界的外部知识才能正确回答。新增的模块 llm_query 利用文本模型作为非结构化的知识库。结合Codex的逐步推理和GPT-3文本模型查询的外部知识，ViperGPT在这个环境下表现出了令人印象深刻的性能。

如何使用ViperGPT

ViperGPT通过提供一个公开的视觉功能API，使得开发者可以像创建其他程序一样创建视觉查询程序。结果显示，这种简单的方法可以提供优秀的零样本性能。

ViperGPT通过结合视觉输入和文本查询，生成一个程序，并在Python环境中执行它。这样一来，就可以将任何视觉或语言模块纳入其中，只需要将与之相关的模块规格添加到API中。

在提供给 Codex 的 API 中，定义了两个全局类：ImagePatch 和 VideoSegment，分别代表图像块和视频段。每个模块都作为一个类方法实现，内部调用一个预训练模型来计算结果。
为了详细地描述API函数，通过函数名、函数描述、参数、参数类型和结果类型等内容进行规范。然后通过Python解释器和API实现来执行代码。

例如，下面是一个API的例子，用于简单查询：

def simple_query(self, question: str = None) -> str:
160 """Returns the answer to a basic question asked about the image. If no question is provided, returns the answer to "What is this?".
161 Parameters
162 -------
163 question : str
164 A string describing the question to be asked.
165
166 Examples
167 -------
168
169 >>> # Which kind of animal is not eating?
170 >>> def execute_command(image) -> str:
171 >>> image_patch = ImagePatch(image)
172 >>> animal_patches = image_patch.find("animal")
173 >>> for animal_patch in animal_patches:
174 >>> if not animal_patch.verify_property("animal", "eating"):
175 >>> return animal_patch.simple_query("What kind of animal is eating?") # crop would include eating so keep it in the query
176 >>> # If no animal is not eating, query the image directly
177 >>> return image_patch.simple_query("Which kind of animal is not eating?")
178
179 >>> # What is in front of the horse?
180 >>> # contains a relation (around, next to, on, near, on top of, in front of, behind, etc), so ask directly
181 >>> return image_patch.simple_query("What is in front of the horse?")
182 >>>
183 """
184 return simple_qa(self.cropped_image, question)