论文：Precise Zero-Shot Dense Retrieval without Relevance Labels
⭐⭐⭐⭐
CMU, ACL 2023, arXiv:2212.10496
Code: github.com/texttron/hyde
文章目录
- 论文速读
- 总结
论文速读
在以往的 dense retrieval 思路中，需要对 input query 做 encode 来得到 vector，并于 passages 的 vector 做相似度计算实现检索。这里面的 dense encoder 需要把有相关性的 query 和 docs 映射到相近的位置，这就存在两个缺点：
- dense encoder 需要大量的数据去 learn
- Hard to generalize when definition of relevance changes
但在现实世界中：
- 可以用于 train 的具有相关性关联的 data 并不多
- 检索的需求是多种多样的：
- 不同的企业或机构有不同的需求
- 用户的需求也在随着时间发生改变
这就导致了以往的 dense retrieval 的思路并不好用。
本文提出的 HyDE 的思路如下：
HyDE 框架中，没有训练或微调任何 LLM
- 给定一个 user query，通过 LLM 的 instruction-following 的能力，让 LLM 先生成一个对于这个 query 的杜撰的 document：“Hypothetical Document”
- 使用一个 dense encoder 将这个 Hypothetical Document 编码为 vector：“Hypothetical Document Embedding”
- 在 document embedding space 中进行检索
其中，denser encoder 可以是一个非常 weak 的模型，仅仅通过无监督的对比学习就可以完成训练。
HyDE 的特点是，不再需要做 query - document 的 mapping，而是让 LLM 先生成一个伪文档，然后通过这个伪文档来完成检索。从而弥补了 input query 与 corpus 之间的 gap。
HyDE 的整体示例如下图所示：
总结
HyDE 提供了一种以完全无监督的方式来构建有效的 dense retriever 的新思路，他的训练不需要任何相关联的 query-doc pair 作为训练资料。
论文指出，HyDE 主要用于搜索系统的部署前期，这时候缺少可用的训练素材，HyDE 可以提供与微调模型相当的表现。随着搜索系统的使用，搜索日志和相关性数据逐渐积累， 就可以逐步训练并推出有监督的 dense retriever 来提供其 in-domain 的专业能力。
