大模型分不清 9.9 与 9.11 谁大，那 Embedding 模型呢？

这是我今天在维也纳举行的 ICML 会议上被问到的问题。

在茶歇期间，一位 Jina 用户向我提出了一个源自 LLM 社区最近讨论的问题。他问我们 Jina Embeddings 能不能判断 9.11 比 9.9 更小，很多大模型在这个小问题上翻了车。

我说：“老实说，我也不知道。” 他接着详细阐述了这个能力对于他应用的重要性，并暗示：Tokenizer 可能是问题的源头，我若有所思点点头，脑海里开始构思如何用实验来找到答案。

本文我将通过一系列实验来探索 Embeddings、Reranker 模型能否可以准确比较数字。为了验证模型在实际应用中的表现，我还设计了一些具有挑战性的测试用例，包括

小数比较（例如 0.001 和 0.0001）
货币金额（例如和 2.00）
日期比较（例如 2023-12-31 和 2024-01-01）
时间比较（例如 23:59 和 00:00）

在这次实验中，我选择了 jina-embeddings-v2-base-en（2023 年 10 月发布）和 Reranker jina-reranker-v2-multilingual（2024 年 6 月发布）作为研究对象，来评估它们在数字理解和比较方面的优势与局限。

让我们拭目以待。

实验装置

完整的实现可以在下面的 Colab 中找到： https://colab.research.google.com/drive/11kUxYhHMLqYhw5HVKEYdHv0EfdZIyBBy?ref=jina-ai-gmbh.ghost.io#scrollTo=G7Cy9zSb2Ukg

本次实验设计非常直观。举个例子，要检查 Embeddings 模型是否理解 1 到 100 之间的数字，步骤如下：

构建文档：为每个数字生成“字符串文字”文档。
发送至 Embeddings API：使用 Embeddings API 获取每个文档的 Embeddings。
计算余弦相似度：计算每两个文档的余弦相似度，创建一个相似度矩阵。
绘制散点图：使用散点图可视化结果。相似度矩阵中的每个元素(i, j)映射到一个点，X 轴为(i-j)，Y 轴为(i, j)的相似度值。

实验原理是：如果(i-j)的差值为零，即 i 等于 j，那么语义相似度应该是最高的。随着(i-j)的差值增加，相似度应该降低。理想情况下，相似度应该与差值成线性关系。 如果我们观察不到这种线性关系，那么模型可能无法理解数字，并可能产生错误，比如认为 9.11 大于 9.9。

Reranker 模型遵循类似流程。主要区别在于，我们将每个文档逐一设为查询，通过加上 Prompt：“哪一项最接近...”，将所有其他文档作为 documents 进行排名。Reranker API 返回的相关性得分直接作为语义相似度度量。核心实现如下：

def rerank_documents(documents):
    reranker_url = "https://api.jina.ai/v1/rerank"
    headers = {
        "Content-Type": "application/json",
        "Authorization": f"Bearer {token}"
    }

    # 初始化相似度矩阵
    similarity_matrix = np.zeros((len(documents), len(documents)))

    for idx, d in enumerate(documents):
        payload = {
            "model": "jina-reranker-v2-base-multilingual",
            "query": f"what is the closest item to {d}?",
            "top_n": len(documents),
            "documents": documents
        }
    ...

模型能否比较 1 到 100 之间的数字？

左图是 jina-embeddings-v2-base-en 的结果，右图是 jina-reranker-v2-multilingual 的结果。

如何阅读这些图

在继续实验之前，我先解释一下如何正确解读这些图表。首先，我观察到 Embeddings 模型表现不错，而 Reranker 模型表现稍差。那么，这些图表到底展示了什么呢？

X 轴代表索引(i, j)的差值，即 i-j，当我们从文档集中均匀采样 di 和 dj 时。这个差值范围是[-100, 100]。由于文档集是按顺序排列的，即|i-j|越小，di 和 dj 在语义上越接近；i 和 j 越远，di 和 dj 之间的相似度越低。这就是为什么你会看到相似度（由 Y 轴表示）在 X=0 处达到峰值，然后随着 X 值的增大或减小而线性下降。

理想情况下，这应该形成一个尖峰或“^”形状。 然而，情况并非总是如此。如果你固定 X 轴某一点，例如 X = 25，并沿 Y 轴查看，你会发现相似度值在 0.80 到 0.95 之间。这意味着 sim(d_27,d_2)可能是 0.81，而 sim(d_42,d_17)可能是 0.91，尽管它们的差值都是 25。也就是说，即使差值相同，不同文档对的相似度也会不同。

青色趋势线显示了每个 X 值的平均相似度及其标准差。要注意，由于文档集是均匀分布的，确保了连续文档间的间隔相等，相似度应该线性下降。

Embedding 模型图总是对称的，X = 0 时，Y 值最大，为 1.0。这是因为对于 di 和 dj，余弦相似度是对称的，且 cos(0) = 1。

相反，Reranker 模型图总是呈现非对称性，这是因为在重排序模型中，查询与文档的角色存在差异。其最大值未必是 1.0，毕竟 X=0 表示的是我们利用 Reranker 模型去计算“与 4 最接近的一项是什么”和“4”的相关性。倘若深入思考，X = 0 并不一定会致使出现最大的 Y 值。

模型能否比较 -100 到 -1 之间的负数？

我们想测试模型在负数空间中是否能够判断语义相似性，测试数据集是从 -1 到 -100 的负整数字符串，即 documents = [str(-i) for i in range(1, 101)]。这是一个散点图，一同显示了平均值和标准差。