一个500行Python代码构建的AI搜索工具,而且还会开源,试了一下麻雀虽小该有的都有。
后端是Mixtral-8x7b 模型,托管在 LeptonAI 上,输出速度能达到每秒大约200个 token,用的搜索引擎是 Bing 的搜索 API。
作者还写了一下自己的经验:
(1) 搜索质量至关重要。优质的摘要片段是形成精准概括的关键。
(2) 适当加入一些虚构内容实际上有助于补充摘要片段中缺失的“常识性信息”。
(3) 在进行内容概括时,开源模型表现出了卓越的效果。
访问链接:https://search.lepton.run/
GitHub:https://github.com/leptonai/search_with_lepton