技术爬坡
长文本的技术爬坡方向
-
推理质量不能有所下降，如何在保质保量的做长文本的推理，是一件非常困难的事。
-
解决了能力问题之后，还要解决贵且慢的问题。前面讲到两个瓶颈，一个是推理成本会特别高，一个是首token会特别慢。在一个阶段解决好这两个问题之后，待上下文窗口再提升到下一个里程碑，这两个问题又会出现。
-
但还是要持续去研究expand context window, 因为有一个现象表明，当长文本能力上去之后，有很多附带的能力会涌现出来。
-
具体到以后长度能到多长，现在行业没有共识。具体的技术，从实验室环境到真正的生产环境，会有很大的gap。10 Million 的模型， 100 Million的模型可能已经有了，但是可能推不到生产。主要是延迟特别高，或者精度特别的差。
RAG的技术爬坡方向
-
整个链路变得更长了，远远比半年之前变得更复杂，开始有更多的技术栈被加入进来。
-
大概 6- 12 个月之前，市场对于 RAG 的印象是：先embedding 模型抽象出一个向量，然后导入向量数据库里边，然后搜索出向量背后代表的短文本块，放入大语言模型。
-
6个月之前，甚至三五个月之前
