为什么搞这个项目？

作为一个天天喜欢读最新论文的人，我也深受其害。打开邮箱，几十篇新推送的论文排队等我去点开阅读；好不容易点进去了，还得慢慢啃英文，最后还得写总结……嗯，太痛苦了。所以，我就想，为什么不整个自动化系统来帮我搞定这些事？于是，这个开源项目就这么诞生了！

项目地址：https://github.com/zhangleino1/paper-summarizer/tree/main

我的工作流程是怎么设计的？

大致思路很简单——省事儿！省时！还要高效！，具体操作可以理解成这样：

• 精准订阅，锁定领域：通过谷歌学术订阅，我可以个性化设置关键字，系统自动帮我过滤出和我研究方向相关的论文。
• 新鲜论文及时推送：有新论文发布？邮件一到，系统立马抓取处理，确保你不错过任何重要进展。
• 一键搞定翻译、提炼：整个流程自动化，从抓取到翻译、再到生成精华摘要，轻松帮你整理好论文精华。

系统的核心模块有哪些？

咱这个项目说起来很简单，但内部有几个“聪明的小帮手”在运转。每个小帮手都负责一个环节，团队配合无缝衔接，论文处理高效无比！

(1) 邮箱抓取论文推送

首先，系统会通过 IMAP 协议“潜入”你的 Gmail 或 QQ 邮箱，抓取那些学术推送的未读邮件。然后，它会自动提取出论文链接，给后面的处理模块用。

(2) Firecrawl 平台——专抓论文链接

Firecrawl 是个高效的爬虫平台，帮我从提取到的链接里抓取论文的核心内容，比如标题和摘要，确保信息完整干净。

(3) 多智能体系统——聪明的小伙伴

多智能体系统就像是一个论文处理的“流水线”，每个智能体都各司其职：

• 网页抓取 Agent：它负责把论文的网页内容抓取下来。
• 翻译 Agent：这位小伙伴会用大语言模型（比如 qwen2、llama3）把论文翻译成中文，省去了费劲啃英文的痛苦。
• 论文提取 Agent：它会自动帮你提取出论文的精华，比如研究创新点和解决方案，快速生成摘要。
• 整理 Agent：最后的成果会根据不同论文类型输出成 Markdown 文件，让你阅读和整理起来超级方便！

依赖的开源项目

Firecrawl：

这是一个用于网页抓取和数据处理的框架，负责抓取论文内容，并将其转化为 LLM（大语言模型）可读的数据格式。

地址：https://github.com/mendableai/firecrawl

CrewAI：

这是一个多智能体协作框架，智能体能够扮演不同角色协同工作，共同完成复杂任务，如抓取、翻译和提取论文内容等。

地址：https://www.crewai.com/

ollama

Ollama 是一款强大的工具，用于本地部署和管理大型语言模型（LLM），如 Llama 3、Mistral、Gemma 等。它提供了用户友好的界面和简单的命令，使其可供从业余爱好者到开发者的广泛用户群体使用。Ollama 不仅支持多种模型本地部署，还支持多平台，无论是 window、mac、linux都轻松拿下。

地址：https://ollama.com/

总结的效果展示

可以设置抓取最近几天的论文内容并按类别输出到不同的md文档，解决的问题，创新点等都有了，很清晰。

谷歌学术如何推送到邮箱（补课篇）

进入谷歌学术搜索关键字，以“yolo”为例，点击左下角建立快讯

设置接收邮箱

设置接收的邮箱

总结

这就是我新开发的开源项目！通过自动化抓取、翻译和整理论文，你可以把更多时间花在真正有价值的工作上！

如果你对这个项目感兴趣，欢迎来我的 GitHub 看看，或者直接留言一起交流！

项目地址

https://github.com/zhangleino1/paper-summarizer/tree/main