原文链接:7.2K star!一个完全免费,可以本地部署的 AI 搜索聚合器。新手可尝试
ChatGPT 刚上线的时候我用的很少,还是习惯用 Google。主要还是因为不信任,怕它对我胡说八道。
慢慢的,也没有一个明确的时间点,就用的越来越多了。特别是涉及到一些技术问题,用它的回答基本上都可以解决。
原来的搜索模式需要我自己去选择看哪个链接,具体的答案也是靠自己筛选,总结。
现在则完全不同,直接就由 AI 总结好了,效率肯定是大大提升。
今天分享一个开源项目,我理解是一个搜索聚合器,包括前后端。后端使用 Python 开发,FastAPI 框架。
项目还是比较活跃的,star 增长也很快。这篇文章拖了两天才发,结果发现又多了 200 个。
项目简介
这个项目是完全免费的,并且可以本地私有部署,无需 GPU。
系统会根据用户提出的问题,到多个搜索引擎去搜索,然后把搜索结果发给 LLM,由 LLM 来生成最终答案。
功能特性:
- 完全免费
- 完全本地化,且私有部署
- 无需 LLM 硬件(GPU)即可运行
- 使用免费的 ChatGPT3.5 / Qwen / Kimi / ShipuAI(GLM) API(无需 API 密钥)
- 支持定制 LLM,比如 ollama
- 使用 Docker Compose 快速部署
- Web 页面,并且移动端友好,允许从任何设备轻松访问
项目部署
Docker 直接部署:
git clone https://github.com/nashsu/FreeAskInternet.git
cd ./FreeAskInternet
docker-compose up -d
这里要注意,项目刚启动的时候,可能会有这个报错:
llm-freegpt35-1 | Error refreshing session ID, retrying in 1 minute...
llm-freegpt35-1 | If this error persists, your country may not be supported yet.
llm-freegpt35-1 | If your country was the issue, please consider using a U.S. VPN.
主要就是网络问题,但是我在 Docker 里面设置了代理,还是没有解决。如果有小伙伴解决了,求指导。
这个问题也就导致了无法使用 ChatGPT3.5,所以后续的测试我都是用 kimi 做的。
项目使用
首页还是很简洁的,首先选择模型,我这里选择的是 kimi。如果用 ChatGPT3.5 的话,无需配置,直接用。
用其他模型,需要配置 token。这里再说一下怎么获取,还是以 kimi 举例。
打开 kimi 官网,然后找到这个 refresh_token 就是我们需要的,添加到设置里。
使用「搜索增强」模式,搜了最近挺火的「秦朗作业本」事件。
上面对话框里就是 LLM 总结的内容,下面是不同搜索引擎返回的内容。包括腾讯,微博和一些其他数据源。
还有一个「AI 对话」模式,就是把使用到的链接都放到对话框里面了。由于现在还不支持连续对话功能,所以区别不是很大。
这个项目刚开始,代码量还不是很大,如果想把它作为 AI 练手项目,是没问题的。
项目地址:https://github.com/nashsu/FreeAskInternet