摘要:本文讲解了如何配置和使用文本摘要的评价指标ROUGE(linux 系统)。
✅ NLP 研 1 选手的学习笔记
简介:小王,NPU,2023级,计算机技术
研究方向:摘要生成、大语言模型生成
文章目录
- 一、为啥要写这篇博客?
- 二、安装过程:
- step1:检查 `perl` 版本
- step2:安装 `XML::Parser`
- step3: 安装 `XML::RegExp`
- step4: 安装 `LWP::UserAgent`
- step5: 安装 `XML::Parser::PerlSAX`
- step6: 安装 `XML::DOM`
- step7: 安装 `DB_File`
- step8: 安装并测试 `ROUGE-1.5.5`
- 三、所有完整安装命令
- 四、参考文献
- 五、补充说明
一、为啥要写这篇博客?
● 调侃:这个xxx玩意,我真的,安装了好久好久,关键很多投稿文摘任务的作者还就喜欢有这一版本的ROUGE…我不用还不行…
● ROUGE
是由微软亚洲研究院知识挖掘组(The Knowledge Mining group at Microsoft Research Asia)调研经理(research manager) Chin-Yew Lin 研发的,用于摘要的自动评价,通过比较机器自动生成的摘要(called system_summary)与人工生成的摘要(called model_summary, 认为它是理想的)中重叠单元的数量,来评价机器自动生成的摘要。该方法中考虑的重叠单元有n-gram、word sequences、word-pairs等,并提出了四个测量标准 ROUGE-N
、ROUGE-L
、ROUGE-W
、ROUGE-S
。该包用 Perl
语言编写,目前版本为 ROUGE-1.5.5
。
● 首先安装 Perl 的一系列文件。直接用我的百度网盘:百度网盘链接,提取码:8fy5 里面的吧。当然如果你想去 github 下载也是可以的:https://github.com/summanlp/evaluation/tree/master/ROUGE-RELEASE-1.5.5。
● 如果你直接用的网盘里的几个压缩包,可以先将它们放到同一个文件夹里,如下图所示:
二、安装过程:
step1:检查 perl
版本
● 因为 DOM 要求 perl
版本要在 5.6.0
以上,所以先在终端用 perl -v
查看一下当前版本,版本较低的话先升级一下 perl
。
● 升级 perl
的 Linux 命令:
sudo apt upgrade perl
step2:安装 XML::Parser
● 假设使用的是百度网盘里的文件,那我们先将 XML-Parser-2.44.tar.gz
解压到当前文件夹(默认)或指定路径:
tar -zxvf XML-Parser-2.44.tar.gz
● 然后进入解压好的该文件,并进行编译和安装:
cd XML-Parser-2.44
perl Makefile.PL
make
make test # if %%%Result看到PASS为成功就继续,否则仔细看哪个case报错了
sudo make install # if %%%必须要sudo,否则可能没有读写文件的权限
● 前两个语句(cd XML-Parser-2.44
和 perl Makefile.PL
)应该大家都没问题:
● 但输入 make
后就会出现 Bug…OK,这一步我就卡了很久…
● 找了很久的资料,反正 ChatGPT 之类的也问了,最后找到个能解决问题的偏方,输入下面的命令:
Debian/Ubuntu系统用这个(我用的这个):
sudo apt-get install libexpat1-dev
CentOS/RHEL系统用这个:
sudo yum install expat-devel
● 结果,libexpat1-dev
安装不上????然后我又陷入了沉思…并开始借助互联网的力量!
● 终于,我知道怎么回事了,输入下面的命令,更新一下软件包列表:
sudo apt-get update
● 然后再次输入 sudo apt-get install libexpat1-dev
,终于安装好这玩意儿了:
● 好的,现在我可以 make
了吧?OK,终于解决了,搁这儿套娃了,一个 Bug 套另一 Bug…
● 咱们再接着 make
后面的语句一条条地执行,后面两条语句应该都没事了。
cd XML-Parser-2.44
perl Makefile.PL
make
make test # if %%%Result看到PASS为成功就继续,否则仔细看哪个case报错了
sudo make install # if %%%必须要sudo,否则可能没有读写文件的权限
● 进行 make test
之后的输出结果:
● 进行 sudo make install
之后的输出结果:
step3: 安装 XML::RegExp
● 过程和 step2 一样,我们先将 XML-RegExp-0.04.tar.gz
解压到当前文件夹(默认)或指定路径:
tar -zxvf XML-RegExp-0.04.tar.gz
● 需注意的是,别在刚刚的文件夹下解压,的回到上一层才行:
● 然后进入解压好的该文件,并进行编译和安装:
cd XML-RegExp-0.04
perl Makefile.PL
make
make test # if %%%Result看到PASS为成功就继续,否则仔细看哪个case报错了
sudo make install # if %%%必须要sudo,否则可能没有读写文件的权限
● OK,这个包应该全程安装 so easy~!直接来到第三个包!
step4: 安装 LWP::UserAgent
● LWP::UserAgent
是 libwww-perl
中的一部分,直接用 apt-get
安装就可以:
sudo apt-get install libwww-perl
step5: 安装 XML::Parser::PerlSAX
● 这个模块是 libxml-perl
中的一部分,也可以直接用 apt-get
安装
sudo apt-get install libxml-perl
step6: 安装 XML::DOM
● 继续参考 step2 的方法,进入 XML::DOM
的安装包路径,解压到当前文件夹(默认)或指定路径:
tar -zxvf XML-DOM-1.46.tar.gz
● 然后进入解压好的该文件,并进行编译和安装:
cd XML-DOM-1.46
perl Makefile.PL
make
make test # if %%%Result看到PASS为成功就继续,否则仔细看哪个case报错了
sudo make install # if %%%必须要sudo,否则可能没有读写文件的权限
● 这个包应该也是全程安装 so easy~!直接来到倒数第二个包包!
step7: 安装 DB_File
● 继续参考 step2 的方法,进入 DB_File
的安装包路径,解压到当前文件夹(默认)或指定路径:
tar -zxvf DB_File-1.835.tar.gz
● 然后进入解压好的该文件,并进行编译和安装:
cd DB_File-1.835
perl Makefile.PL
make
make test # if %%%Result看到PASS为成功就继续,否则仔细看哪个case报错了
sudo make install # if %%%必须要sudo,否则可能没有读写文件的权限
● 问题又来了,这个问题是我花了 long long long long long time 才解决的…呜呜呜呜呜呜
● 反正,安装了下面这个依赖才可以:
sudo apt-get install libdb5.3-dev
● 安装 libdb5.3-dev
后再 make
的结果如下:
● 然后当我们执行 make test
时,竟然!Fail!!啊啊啊…真的要崩溃了…
● 鬼知道我咋想的,我原先的 DB_File-1.835
文件夹改名为 oldDB_File-1.835
,还有原先的压缩包 DB_File-1.835.tar.gz
改名为 oldDB_File-1.835.tar.gz
。然后,从网上新下载一个 DB_File
,并重新执行一遍 step7:
sudo wget http://www.cpan.org/authors/id/P/PM/PMQS/DB_File-1.835.tar.gz
tar -zxvf DB_File-1.835.tar.gz
cd DB_File-1.835
perl Makefile.PL
make
make test # if %%%Result看到PASS为成功就继续,否则仔细看哪个case报错了
sudo make install # if %%%必须要sudo,否则可能没有读写文件的权限
● 当再一次执行到 make test
时,噢~天呐!终于 PASS 了呜呜呜呜…
● 最后的 sudo make install
也应该没问题,终于可以到最后一步了…
step8: 安装并测试 ROUGE-1.5.5
● 首先解压 ROUGE-1.5.5.tar
到当前文件夹(默认)或指定路径,然后进入该目录:
tar -zxvf ROUGE-1.5.5.tgz
cd RELEASE-1.5.5
● 解压后的文件夹内容如下:
● 最后执行一下该文件夹里面的一个测试文件 runROUGE-test.pl
:
perl runROUGE-test.pl
● 当出现下面的画面时,那超级恭喜你!!!!成功啦!!!👏👏👏[此处附加哗啦啦的掌声!!!]👏👏👏
三、所有完整安装命令
● 一条一条执行即可。
sudo apt upgrade perl
sudo apt-get update
sudo apt-get install libexpat1-dev
tar -zxvf XML-Parser-2.44.tar.gz
cd XML-Parser-2.44
perl Makefile.PL
make
make test # if %%%Result看到PASS为成功就继续,否则仔细看哪个case报错了
sudo make install # if %%%必须要sudo,否则可能没有读写文件的权限
cd ..
tar -zxvf XML-RegExp-0.04.tar.gz
cd XML-RegExp-0.04
perl Makefile.PL
make
make test # if %%%Result看到PASS为成功就继续,否则仔细看哪个case报错了
sudo make install # if %%%必须要sudo,否则可能没有读写文件的权限
cd ..
sudo apt-get install libwww-perl
sudo apt-get install libxml-perl
tar -zxvf XML-DOM-1.46.tar.gz
cd XML-DOM-1.46
perl Makefile.PL
make
make test # if %%%Result看到PASS为成功就继续,否则仔细看哪个case报错了
sudo make install # if %%%必须要sudo,否则可能没有读写文件的权限
cd ..
sudo wget http://www.cpan.org/authors/id/P/PM/PMQS/DB_File-1.835.tar.gz
sudo apt-get install libdb5.3-dev
tar -zxvf DB_File-1.835.tar.gz
cd DB_File-1.835
perl Makefile.PL
make
make test # if %%%Result看到PASS为成功就继续,否则仔细看哪个case报错了
sudo make install # if %%%必须要sudo,否则可能没有读写文件的权限
cd ..
tar -zxvf ROUGE-1.5.5.tgz
cd RELEASE-1.5.5
perl runROUGE-test.pl
四、参考文献
1.《NLP-文本摘要:Rouge评测方法【Rouge-1、Rouge-2、Rouge-L、Rouge-W、Rouge-S】》
2.《Ubuntu安装ROUGE教程》
3.《github pyrouge》
4.《github evaluation/ROUGE-RELEASE-1.5.5》
5.《rouge 及 pyrouge 安装、配置和使用》
五、补充说明
● 若有写得 不对/不妥 的地方,或有疑问,欢迎评论交流。
后记:这篇博客写于 2023-09-15 15:03:49,但是一直没有发出来…
现在 2024-06-10 15:20,端午节,想想哈,时过境迁好久啦,已经好长一段时间没有好好写博客了,得拾起来了…
⭐️ ⭐️ ⭐️