【讲座分享】| 复旦大学张奇教授——《自然语言发表论文如何打怪升级?NLP顶会论文发表》

news2024/9/23 13:28:14

文章目录

  • 1 基础关
    • 1.1 基础书籍
    • 1.2 提高书籍
    • 1.3 课程链接
    • 1.4 编程实战
  • 2 阅读关
    • 2.1 分层过滤
    • 2.2 集团作战,信息获取
    • 2.3 论文如何泛读
  • 3 动机 方向关
    • 3.1 快速发论文
    • 3.2 好的研究
  • 4 写作关
    • 4.1 论文写作流程
    • 4.2 从读者角度出发
    • 4.3 每一部分怎么写
      • 4.3.1 Abstract摘要
      • 4.3.2 Introduction 介绍
      • 其他
      • 4.3.3 实验设计

今天听了~复旦大学张奇教授的报告——《自然语言发表论文如何打怪升级?自然语言顶会论文发表》内容,我觉得收获很大,实际上我在听报告之前并不知道张奇教授竟然就是我前段时间阅读的一本自然语言书籍《大规模语言模型,从理论到实践》的作者,听报告的时候才发现,属实有点惊喜哈哈哈

张奇教授将论文最后的成功发表,分为了四关,一路打怪升级,最后达成目标!张奇教授讲述的时候可能是站到自然语言处理的角度,但是我觉得对计算机其他方向也都是适用的

张奇教授提到的四关分别是基础关,阅读关,动机关,写作关

1 基础关

基础需要我们阅读一些经典书籍,系统全面掌握相关知识

经典书籍推荐

1.1 基础书籍

1,2点 感觉做AI的都需要看,3的话做自然语言处理看即可

1 周志华老师的《机器学习》又叫做西瓜书

2 《神经网络与深度学习》

3 《统计自然语言处理》

1.2 提高书籍

1李航老师《统计学习方法》

2《深度学习》Ian Goodfellow、Yoshua Bengio 和Aaron Courville撰写的花书

1.3 课程链接

老师推荐了一些课程链接

1 神经网络与深度学习 邱锡鹏 https://www.bilibili.com/video/BV13b4y1177W

2 李宏毅2020机器学习深度学习(完整版)国语 https://www.bilibili.com/video/BV1JE411g7XF

3 斯坦福CS224N《深度学习自然语言处理》课程(2021) by Christopher Manning https://www.bilibili.com/video/BV1nP4y1j7rZ

4 神经网络与深度学习 邱锡鹏 https://www.bilibili.com/video/BV13b4y1177W

上面很多课程我都没看过,但我看了北京邮电大学鲁鹏老师的课程,我觉得对我帮助很大

计算机视觉与深度学习 北京邮电大学 鲁鹏 清晰版合集(完整版)_哔哩哔哩_bilibili

1.4 编程实战

我觉得李沐老师的动手深度学习非常棒,可以来提高代码实战能力

《动手学深度学习》 — 动手学深度学习 2.0.0 documentation (d2l.ai)

张奇老师提到两点

如果可以在一周之内

不看别人的代码手搓实现Transformer等基本架构,R-NET基本架构等就算基本入门了

2 阅读关

每年相关论文有上万篇,arxiv上每天也放出很多相关论文,怎么阅读?

老师给出的建议是分层过滤,集团作战,公众号热点,一些文章核心看motivation,一些文章重点看

2.1 分层过滤

从各大会议筛选出一万多篇

每个会议的Best Paper,oral(口头报告论文),Session,重点单位论文筛选出两千多篇

然后根据title,自己做的方向筛选出一千多篇

然后再阅读摘要Abstract和Introduction筛选出五百篇

2.2 集团作战,信息获取

筛选出五百篇还是很多,所以要和组内同学相互分享(集团作战)

每人精读一百多篇左右,主题分享阅读

从各大公众号上获取论文热门信息,核心要看论文的motivation是什么

在筛选过程中,如何泛读呢?

2.3 论文如何泛读

1 题目是什么

2 做的Motivation是什么,motivation可以理解为左这个研究的动机,即做这个研究的目的,出发点

3 大致用了什么方法,看重点的图

4 在什么数据集上面做了测试,结果怎么样

那么在阅读了大量论文之后,就要提出自己的研究动机和方向了

3 动机 方向关

研究方向怎么选?是否应该选择热门方向呢?还是选一些冷门方向

这得看自身情况?如果着急发论文,可以选一些热门的容易录取,但是如果打算长时间做研究,可以静下心来好好做自己真正感兴趣的

3.1 快速发论文

快速发论文可以用棋盘法

在这里插入图片描述

3.2 好的研究

好的研究的特点

  1. 做了的话,可以辅助很多的任务,有明显的益处
  2. 描述简单,如信息抽取,关系抽取,倾向性分析
  3. 研究问题尚且不具备明确的解法
  4. 解决方案具备可测试性,大问题可以拆解成多个子问题,能观察每个子问题的进程。怎么测试呢?
  5. 要确保研究中数据的可靠性以及足够数量

有一个经典的motivation 非常反面的例子——之前的方法精度低,本文提出的方法提升了精度,是不行的

精度低不是motivation,而是要讲明白为什么精度低,对于精度低,我们找到为什么会精度低,提出自己的方法,从而最后取得了哪些进步,解决的初衷才是motivation

比较好的motivation还有比如别人做的工作没注意到什么点,没有关注什么信息,我们充分利用了这些信息等等

4 写作关

4.1 论文写作流程

核心让读者读懂,降低读者的难度,尽量让读者提升他的愉悦感

这里,老师提到了清华大学刘洋老师的报告——论文发表流程

大致分为

1 确定方向

2 确定问题

3 确定思路

4 确定方法

5 实验验证

6 撰写论文

详细可看

刘洋:如何撰写高质量科技论文-清华大学智能产业研究院 (tsinghua.edu.cn)

4.2 从读者角度出发

1 信息的呈现符合读者的认知惯性,深入浅出,引人入胜,让读者快速找到想要的信息

2 尽量降低读者的理解难度 合理地综合使用信息元素:图>曲线>表>正文>公式

3 尽量提高读者阅读时的愉悦感 思想新颖、组织合理、逻辑严密 论证充分、文笔优美、排版美观

我们要核心理解审稿人的审稿一般也是赶DDL,所以我们要在五分钟之内打动审稿人

在这里插入图片描述

4.3 每一部分怎么写

4.3.1 Abstract摘要

两个都可以

在这里插入图片描述

在这里插入图片描述

4.3.2 Introduction 介绍

相当于是把Abstract的每一句话变成一段话详细阐述,中间加上现有的方法有哪些(最好分一下类)现有方法有什么问题

最后阐明自己的Contribution贡献,1,2,3分条列出来

一般在第一页右上部分加一个图说明自己的motivation

不要一上来就描述你的工作,可以先介绍背景知识(往往就是baseline)

• 有利于降低初学者或其他领域学者的理解难度

• 有利于对introduction中的论文做更详细的解释

• 有利于对比baseline和你的方法

其他

多用例子

4.3.3 实验设计

1 公认的标准数据和state-of-the-art系统

2 实验先主后辅

  • 主实验(测试集):证明显著超过baseline
  • 辅实验:参数的影响

不辞辛劳,做到极致

最后,老师寄语

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1421125.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

一体化设计:兼容多种OS系统Linux网关楼宇DDC

在工业物联网(IIoT)和智能建筑领域,钡铼网关具备高度灵活性与强大计算能力的边缘网关产品正逐渐成为推动行业智能化转型的关键要素。本文将详细介绍的基于Linux系统的4G工业智能网关,不仅拥有NXP i.MX8M Mini四核64位处理器的强大…

直播观看人次破30W | 极新「2024未来直播电商科技峰会」圆满落幕

“共话直播电商&消费科技行业破局之道” 文|德江&凯丰 编辑 | 云舒 出品|极新 1月27日,由极新携手北京电子商务协会联合举办的「2024未来直播电商科技峰会」圆满落幕!在峰会上,共进行了10 场演讲 &a…

【C++】笔试训练(八)

目录 一、选择题二、编程题1、两种排序方法2、求最小公倍数 一、选择题 1、关于重载函数,哪个说明是正确的() A 函数名相同,参数类型或个数不同 B 函数名相同,返回值类型不同 C 函数名相同,函数内部实现不…

018 用户交互Scanner

什么是Scanner对象 next()方法 // 声明输入对象 Scanner scanner new Scanner(System.in);System.out.println("next()方法接收:"); if (scanner.hasNext()) {// 输入 Hello worldString str1 scanner.next();// 输出 HelloSystem.out.println(str1); }…

能替代微软AD的国产化方案,搭建自主可控的身份管理体系

随着国产化替代步伐加速,以及企业出于信息安全建设的需要,越来越多的企业和组织开始考虑将现有的微软 Active Directory(AD)替换为国产化的LDAP身份目录服务(也称统一身份认证和管理)系统。本文将介绍一种国…

Excel中将16进制数转化成10进制(有/无符号)

Excel中将16进制数转化成10进制(有/无符号) Excel或者matlab中常用XXX2XXX进行不同进制的转换 16进制转10进制(无符号数):HEX2DEC 16进制转10进制(有符号数): FA46为例&#xff0c…

系统架构19 - 面向对象

面向对象设计 相关概念面向对象分析基本步骤基本原则分析模型 面向对象设计设计模型类的类型 面向对象编程基本特点需求建模设计原则面向对象软件测试 相关概念 接口:描述对操作规范的说明,其只说明操作应该做什么,并没有定义操作如何做。消…

基于链表实现贪吃蛇游戏

本文中,我们将使用链表和一些Win32 API的知识来实现贪吃蛇小游戏 一、功能 (1)游戏载入界面 (2)地图的绘制 (3)蛇身的移动和变长 (4)食物的生成 (5&…

Utreexo:优化Bitcoin UTXO集合的基于哈希的动态累加器

1. 引言 前序博客: Utreexo:比特币UTXO merkle tree proof以节约节点存储空间 MIT Digital Currency Initiative 的 Thaddeus Dryja 2019年论文 Utreexo: A dynamic hash-based accumulator optimized for the Bitcoin UTXO set。 开源代码实现见&…

如何在DBeaver中重命名数据库

前言 DBeaver是一款强大的开源通用数据库管理和开发工具,支持多种数据库类型。在某些数据库系统中,你可以直接通过DBeaver的图形界面来重命名数据库名称。本文将详细介绍如何在DBeaver中进行数据库重命名操作。 重要提示: 对于不同的数据库…

SSD寻址单元IU对寿命的影响有多大?

随着存储技术的不断进步,固态硬盘SSD的容量正以惊人的速度增长,尤其是采用高密度QLC NAND闪存技术的大容量SSD,如30TB及以上级别的产品。QLC NAND由于每个单元能够存储4比特数据,从而显著提高了存储密度,但同时也带来了…

Web服务器之Tomcat

文章目录 Web 服务器软件简介资源分类访问流程常见的Web服务器软件 Tomcat简介使用步骤使用Tomcat注意事项部署项目的方式方式一方式二方式三 问题中文乱码黑窗口一闪而过启动报错 Web 服务器软件 简介 服务器:安装了服务器软件的计算机服务器软件:接收…

ssm跨域方案?

1、过滤器 2、xml配置 <mvc:cors><mvc:mapping path"/**" /> </mvc:cors>3、注解 CrossOrigin(origins “*”) 说明&#xff1a;三种方案&#xff0c;本质都是一样的、只是方式不一样罢了。

实现SERVLET生命周期事件

实现SERVLET生命周期事件 问题陈述 David Wong是Smart Software Developers的管理员,他希望创建一个应用程序在日志中记录请求和上下文对象初始化及向上下文对象添加属性的时间。同时,该应用程序应该还能在日志中记录删除上下文对象的属性及销毁请求和上下文时的时间。 解决方…

二进制部署promethues

1、定义&#xff1a;promethues是一个开源的系统监控以及报警系统&#xff0c;整合zabbix的功能&#xff08;监控系统、网络、设备&#xff09;&#xff0c;promethues可以兼容网络、设备、容器监控、告警系统。因为其与k8s是一个项目基金开发出来的产品&#xff0c;天生匹配k8…

设计模式第2篇|策略模式

&#x1f680; 作者简介&#xff1a;程序员小豪&#xff0c;全栈工程师&#xff0c;热爱编程&#xff0c;曾就职于蔚来、腾讯&#xff0c;现就职于某互联网大厂&#xff0c;技术栈&#xff1a;Vue、React、Python、Java &#x1f388; 本文收录于小豪的前端系列专栏&#xff0c…

Web3技术革新:重新定义在线体验

互联网的不断演进塑造了我们的数字生活&#xff0c;而Web3技术的涌现正带来一场前所未有的变革。本文将深入探讨Web3技术的创新&#xff0c;以及它如何重新定义和提升我们的在线体验。 Web3技术的基本概念 Web3是互联网的第三个时代&#xff0c;它将去中心化、区块链、智能合约…

Mac苹果电脑玩幻兽帕鲁 Crossover玩Windows游戏

​​ 《幻兽帕鲁》&#xff08;英文&#xff1a;Palworld&#xff09;是一款近期在 Steam 爆红的动作冒险生存游戏&#xff0c;游戏设置在一个居住着「帕鲁」的开放世界中&#xff0c;玩家可以战斗并捕捉帕鲁&#xff0c;也能用它们来建造基地、骑乘和战斗。 不过目前《幻兽帕…

MATLAB绘制电磁场

MATLAB绘制电磁场举例: clc;close all;clear all;warning off;%清除变量 rand(seed, 100); randn(seed, 100); format long g; m12 for k1:m for j1:m if k1 V(j,k)1; elseif((j1)|(jm)|(km)) V(j,k)0; else …

强敌环伺:金融业信息安全威胁分析——整体态势

从早期的Zeus和其他以银行为目标的特洛伊木马程序&#xff0c;到现在的大规模分布式拒绝服务&#xff08;DDoS&#xff09;攻击&#xff0c;再到新颖的钓鱼攻击和勒索软件&#xff0c;金融服务业已成为遭遇网络犯罪威胁最严重的行业之一。金融服务业的重要性不言而喻&#xff0…