一款计算机顶会爬取解析系统 paper info

news2024/9/24 11:24:42

一款计算机顶会爬取解析系统 paper info

    • 背景
    • 项目实现的功能
  • 技术方案
    • 架构设计
    • 项目使用的技术选型
  • 使用方法
    • 本地项目部署
    • 使用ChatGPT等大模型
      • 创建一个ChatGPT助手
      • 使用阿里云
    • 顶会数据量
  • 百度网盘
    • pfd文件
    • json文件
  • Q&A

github链接 ：https://github.com/codebricking/paper-info
paper info 可以爬取顶会或者arxiv论文，并且利用ChatGPT对论文的关键信息进行理解，然后利用es进行检索，实现用中文检索英文论文，并快速了解论文核心内容。

当然，对于不从事开发工作的用户来说，部署这个项目，会有一点繁琐，本项目提供了爬取的顶会论文，以及解析的文本信息，用户可以将其直接上传至ChatGPT或者国内的大模型的语料库中，也可以实现和论文直接对话的功能。

背景

AI计算机领域很多新的成果都是通过论文的形式发出来的，高效的检索，下载和了解论文核心内容对于科研十分重要。在计算机领域，尤其是顶会论文。本人在读研初期，没有及时关注最新的高水平论文，阅读了一些质量不算高或者是方法不够新的论文，浪费了不少时间。随着研究的主键深入，对于在哪里寻找高水平论文才有了进一步的了解。因此，在周末空余实现，根据之遇到的问题，写了这样一个工具。

项目实现的功能

  1. 使用Jsoup抓取顶会论文和arxiv的论文关键信息。
  2. 批量下载论文到本地
  3. 使用XEasyPdf解析pdf为纯文本，方便后续处理
  4. 调用ChatGPT梳理论文关键信息
  5. 使用xxl-job定时任务功能，结合Jsoup检测arxiv最新的论文，紧跟研究方向前沿
  6. 使用xxl-job定时定频率地调用api接口，以免频率过高导致调用失败
  7. 使用es进行查询，让用户可以直接在众多论文中进行关键词查找，提高了检索速度
  8. 封装了调用ChatGPT的接口
  9. 封装了调用Google翻译的借口
  10. 封装了ChatGPT和Google代理，需要部署在国外服务器上

技术方案

架构设计

请添加图片描述

项目使用的技术选型

Java8

MySQL8

mybatis-plus

springboot 2.7

elastic search

xxl-job

Jsoup

knife4j

hutool

使用方法

本地项目部署

1、安装MySQL

2、安装es

3、xxjob(可选)

4、运行项目

可以将自己关注的领域的文章导入（JSON数据链接：https://pan.baidu.com/s/1Y3IlR0N2phD6AlKWfkXAdQ
提取码：umgd），调用接口进行翻译和核心内容提取。

使用ChatGPT等大模型

本项目所积累的数据还可以作为和大模型对话的个人数据，将其上传到大模型中，利用ChatGPT或者阿里云等服务自带的向量数据库，可以直接与论文进行对话。

JSON数据链接：https://pan.baidu.com/s/1Y3IlR0N2phD6AlKWfkXAdQ
提取码：umgd

创建一个ChatGPT助手

  1. 进入 https://platform.openai.com/assistants
  2. 点击create创建
  3. 上传数据

使用阿里云

//todo

顶会数据量

年份AAAIAISTATSACMLCOLTICMLCVPRICCVWACVECCVJMLRNIPSsum
20221623728316212328020406164535126719047
2021196145511513911831047836406028922718702
2020186141954125108114660378135825118978890
2019134035978124771129410750018414266651
201810982165793618979006618410064812
201701674175431783621002316773026
201669116229683206430002345662713
20156731232877269602526001184012817
201447412125583025400001204062046
2013276713250281471454001153572107

详细列表见

data/paper/

top_conference_2013.md337 kB
top_conference_2014.md310 kB
top_conference_2015.md444 kB
top_conference_2016.md414 kB
top_conference_2017.md535 kB
top_conference_2018.md800 kB
top_conference_2019.md1.1 MB
top_conference_2020.md1.5 MB
top_conference_2021.md1.5 MB
top_conference_2022.md1.5 MB

百度网盘

pfd文件

链接：https://pan.baidu.com/s/1FKK27KgbYHm_2n5iDy3WZA
提取码：z8a9

json文件

JSON数据链接：https://pan.baidu.com/s/1Y3IlR0N2phD6AlKWfkXAdQ
提取码：umgd

Q&A

1、项目所部署的机器无法访问ChatGPT和谷歌翻译

A：使用项目中提供的API-Reverse-Proxy模块，将其部署在可以访问的机器上，然后将本地项目调用的接口地址改为代理机器的地址。或者使用国产的替代

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1310950.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

PyTorch 模型训练性能大揭秘：从基础到高级技巧一网打尽！

PyTorch 模型训练性能大揭秘：从基础到高级技巧一网打尽！

PyTorch 是一个开源的 Python 机器学习库，基于Torch，用于自然语言处理等应用程序。 PyTorch既可以看作加入了GPU支持的numpy，也可以看成一个拥有自动求导功能的强大的深度神经网络，同时它也是大模型开发的首选工具。 《PyTorch模…
阅读更多...
每日分享，以元旦为题的诗词

每日分享，以元旦为题的诗词

元旦佳节即将来临，相信大家都会在朋友圈表达一下自己的情感，不管大家以前是怎么表达的，今天小编给你分享几首以元旦为题的几首诗，喜欢的朋友可以自取，想要更多免费的诗词，请自行百度或小程序搜索&#xff1…
阅读更多...
ES中根据主键_id查询记录

ES中根据主键_id查询记录

一、需求 es中_type：_doc，想要根据主键_id查询记录 二、实现 复合查询中使用语句查询http://192.168.1.1/_doc/1
阅读更多...
ArcGIS for Android开发引入arcgis100.15.2

ArcGIS for Android开发引入arcgis100.15.2

最后再点击同步即可！！！
阅读更多...
Stable diffusion 简介

Stable diffusion 简介

Stable diffusion 是 CompVis、Stability AI、LAION、Runway 等公司研发的一个文生图模型，将 AI 图像生成提高到了全新高度，其效果和影响不亚于 Open AI 发布 ChatGPT。Stable diffusion 没有单独发布论文，而是基于 CVPR 2022 Oral —— 潜扩…
阅读更多...
如何用开关电源测试系统测试电源峰值电流？

如何用开关电源测试系统测试电源峰值电流？

一、用万用表、示波器测量峰值电流 首先将待测电路输入信号线分别连接到测试电路的输入端和地端。待测电路的电源端连接电源。然后将示波器设置为AC耦合模式，通道1连接待测电路输入端，通道2连接待测电路地端。调整数字万用表为电流测量模式。打开电源&am…
阅读更多...
【动手学深度学习】(十三)深度学习硬件

【动手学深度学习】(十三)深度学习硬件

文章目录 一、CPU和GPU二、更多的芯片1.DSP:数字信号处理2.可编程阵列(FPGA)3.AI ASIC 三、单机多卡并行 一、CPU和GPU 提升CPU利用率 在计算ab之前，需要准备数据 主内存->L3->L2->L1->寄存器(数据只有进入寄存器才可以参与运算) 提升空间和时间的内存…
阅读更多...
USB2.0 Spec 中文篇

USB2.0 Spec 中文篇

体系简介 线缆 USB 是一种支持热拔插的高速串行传输总线，使用一对（两根）差分信号来传输数据，半双工。要求使用屏蔽双绞线。 供电 USB 支持 “总线供电” 和 “自供电” 两种供电模式。在总线供电方式下，设备最多可…
阅读更多...
C++学习笔记—— C++内存管理方式：new和delete操作符进行动态内存管理

C++学习笔记—— C++内存管理方式：new和delete操作符进行动态内存管理

系列文章目录 http://t.csdnimg.cn/d0MZH 目录 系列文章目录http://t.csdnimg.cn/d0MZH 比喻和理解a.比喻C语言开空间C开空间 b.理解a、C语言的内存管理的缺点1、开发效率低（信息传递繁琐）2、可读性低（信息展示混乱）3、稳定性差&…
阅读更多...
【MATLAB】基于VMD分解的信号去噪算法（基础版）

【MATLAB】基于VMD分解的信号去噪算法（基础版）

代码的使用说明 基于VMD分解的信号去噪算法（基础版） 代码流程图 代码效果图 本文代码：阿里云盘分享 获取代码请关注MATLAB科研小白的个人公众号（即文章下方二维码），并回复VMD去噪 本公众号致力于解决找代…
阅读更多...
铭飞CMS list 接口 SQL注入漏洞复现

铭飞CMS list 接口 SQL注入漏洞复现

0x01 产品简介 铭飞CMS是一款基于java开发的一套轻量级开源内容管理系统,铭飞CMS简洁、安全、开源、免费,可运行在Linux、Windows、MacOSX、Solaris等各种平台上,专注为公司企业、个人站长快速建站提供解决方案 0x02 漏洞概述 铭飞CMS在5.2.10版本以前list 接口处存在sql注入…
阅读更多...
AI抽烟识别系统研发关键

AI抽烟识别系统研发关键

为了设计一个有效的AI抽烟识别系统，我们需要考虑几个关键组成部分：图像捕捉、数据处理、模型训练、以及实际应用场景。下面是这个方案的详细阐述： 1. 图像捕捉与数据收集 摄像头部署：首先，在需要监控的区域安装高分辨…
阅读更多...
社交网络分析1：起源发展、不同领域的应用、核心概念

社交网络分析1：起源发展、不同领域的应用、核心概念

社交网络分析1：社交网络相关定义和概念 写在最前面关于课程 社交网络、社交网络分析社交网络发展阶段（自己感兴趣）1. 社交网络的起源2. 社交网络的演变3. 社交网络的成熟4. 发展阶段补充和展望 2023社交大变革（自己感兴趣的点&…
阅读更多...
带你手把手解读firejail沙盒源码(0.9.72版本) (三) fcopy

带你手把手解读firejail沙盒源码(0.9.72版本) (三) fcopy

文章目录 main.c该模块的各个函数功能详解selinux_relabel_pathcopy_filemkdir_attrcopy_linkproc_pid_to_selffs_copydircheckduplicate_dirduplicate_fileduplicate_linkmain Makefile main.c 文件总结 ├── fcopy │ ├── Makefile │ └── main.cmain.c #include…
阅读更多...
深度学习中的高斯分布

深度学习中的高斯分布

1 高斯分布数学表达 1.1 什么是高斯分布 高斯分布(Gaussian Distribution)又称正态分布(Normal Distribution)。高斯分布是一种重要的模型，其广泛应用与连续型随机变量的分布中，在数据分析领域中高斯分布占有重要地位。高斯分布是一个非常常见的连续概…
阅读更多...
【Spring】03 容器

【Spring】03 容器

文章目录 1. 定义2. BeanFactory1）惰性加载2）基本的容器功能3）XML配置 3. ApplicationContext1）主动加载2）AOP支持3）事件发布与监听4）国际化支持5）注解支持 4. Spring容器的生命周期…
阅读更多...
正则表达式（6）：分组与后向引用

正则表达式（6）：分组与后向引用

正则表达式（6）：分组与后向引用 总结 本博文转载自 在本博客中，”正则表达式”为一系列文章，如果你想要从头学习怎样在Linux中使用正则，可以参考此系列文章，直达链接如下： 在Linux中…
阅读更多...
ThinkPHP连接ORACLE数据库教程

ThinkPHP连接ORACLE数据库教程

目录 概念基本步骤详细操作问题排除参考 概念 要连接Oracle数据库，必须有两个东西，一个PHP官方写的扩展，一个Oracle官方写的客户端PHP是通过扩展去操作oralce客户端连接的服务端数据库，所以两个都不能少，而且版本必须…
阅读更多...
arthas统计大循环方法时的注意事项

arthas统计大循环方法时的注意事项

背景 arthas是我们日常查找各种问题的利器，不过我们也需要意识到arthas本身也是有性能损耗的，所以当老板对你提问为什么使用arthas分析时这个方法比生产上正常运行时这个方法的耗时要长很多，你可以向他进行解释，进而由于arthas的…
阅读更多...
边缘检测@获取labelme标注的json黑白图掩码mask

边缘检测@获取labelme标注的json黑白图掩码mask

import cv2 as cv import numpy as np import json import os from PIL import Imagedef convertPolygonToMask(jsonfilePath):
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023