【2023】COMAP美赛数模中的大型语言模型LLM和生成式人工智能工具的使用

news2024/12/23 14:54:34

COMAP比赛中的大型语言模型和生成式人工智能工具的使用

  • 写在最前面
    • GitHub Copilot工具
  • 说明
    • 局限性
  • 团队指南
  • 引文和引用说明
    • 人工智能使用报告
  • 英文原版 Use of Large Language Models and Generative AI Tools in COMAP Contests
    • limitations
    • Guidance for teams
    • Citation and Referencing Directions
    • Report on Use of AI

写在最前面

COMAP竟然已经开始规范LLM的使用了,估计2024的美赛也会有这个说明
在这里插入图片描述
详情可见:https://www.contest.comap.com/undergraduate/contests/mcm/flyer/Contest_AI_Policy.pdf

GitHub Copilot工具

和昨天介绍的论文不谋而合,【网安AIGC专题11.1】论文12:理解和解释代码,GPT-3大型语言模型&学生创建的代码解释比较+错误代码的解释(是否可以发现并改正)
将重点从编写代码转移到理解代码的目的、评估生成的代码是否合适以及根据需要修改代码,从而使代码理解成为一项更加重要的技能。
值得注意的是,LLM 不仅可以帮助学生生成代码,还可以通过创建代码解释(可用作代码理解练习)来帮助学生理解代码。

说明

该政策旨在应对大型语言模型(LLM)和生成式人工智能辅助技术的兴起。该政策旨在为团队、顾问和评委提供更大的透明度和指导。该政策适用于学生工作的所有方面,从模型的研究和开发(包括代码创建)到书面报告。由于这些新兴技术发展迅速,COMAP将根据情况完善本政策。

团队必须公开、诚实地使用人工智能工具。团队及其提交材料越透明,他们的工作就越有可能被他人充分信任、欣赏和正确使用。这些披露有助于了解智力成果的开发情况,并适当承认贡献。如果没有公开、明确地引用和参考人工智能工具的作用,很可能会发现有问题的段落和工作被认定为抄袭并被取消资格。

解决这些问题不需要使用人工智能工具,尽管可以负责任地使用它们。COMAP认识到大型语言模型和生成式人工智能的价值,它们是生产力工具,可以帮助团队准备提交材料,例如生成结构的初步想法,或进行总结、改写、润色等。在模型开发中有许多任务需要人类的创造力和团队合作,依赖人工智能工具会带来风险。因此,我们建议在使用这些技术进行模型选择和构建、协助编写代码、解释数据和模型结果以及得出科学结论时要谨慎。

局限性

值得注意的是,LLM和生成式人工智能有其局限性,无法取代人类的创造力和批判性思维。COMAP建议团队在选择使用LLM时要了解这些风险:

  1. 客观性:以前发表的内容包含种族主义、性别歧视或其他偏见,这些内容可能在LLM生成的文本中出现,并且一些重要的观点可能没有得到体现。
  2. 准确性:LLM可以“幻觉”,即生成虚假内容,特别是当它们在其领域之外使用或处理复杂或模糊的主题时。它们可以生成在语言上但不在科学上合理的文本,它们可能出错,并且它们被证明可以生成不存在的引用。一些LLM仅在特定日期之前发布的内容上进行训练,因此呈现不完整的画面。
  3. 上下文理解:LLM不能将人类理解应用于文本的上下文,特别是当处理习惯用语、讽刺、幽默或隐喻语言时。这可能导致生成的内容出现错误或误解。
  4. 训练数据:LLM需要大量高质量的训练数据以实现最佳性能。然而,在一些领域或语言中,可能没有现成可用的这种数据,从而限制了任何输出的有用性。

团队指南

各团队必须:

  1. 在报告中明确指出LLM或其他AI工具的使用情况,包括使用哪个模型以及使用目的。请使用内联引文和参考部分。另外,请将“AI使用情况报告”(如下所述)附在您的25页解决方案之后。
  2. 验证语言模型生成的内容和引用的准确性、有效性和适当性,并纠正任何错误或不一致之处。
  3. 按照此处提供的指导提供引用和参考文献。仔细检查引用,确保其准确且适当引用。
  4. 要注意潜在的剽窃风险,因为LLMs可能会复制其他来源的大量文本。请检查原始来源,确保自己没有剽窃他人的作品。

当我们发现提交的作品可能是在未公开使用此类工具的情况下准备的,COMAP将采取适当行动。

引文和引用说明

仔细思考如何记录和引用团队可能选择使用的任何工具。各种风格指南开始纳入对AI工具引用的政策。使用内联引用,并在参考部分列出您25页解决方案中使用的所有AI工具。

无论团队是否选择使用人工智能工具,主要解决方案报告仍限制为25页。如果团队选择使用人工智能,在报告结束后,添加一个名为“AI使用情况报告”的新部分。这个新部分没有页数限制,也不计入25页解决方案的一部分。

例子(这些例子不全面——请根据您的情况修改这些例子):

人工智能使用报告

1.OpenAI ChatGPT (2023115日版,ChatGPT-4)
提问1: <请提供一份关于人工智能使用情况的报告>。
回答: <以下是一份关于人工智能使用情况的报告>2. OpenAI Ernie(2023115日版,Ernie 4.0)
提问1: <请提供一份关于人工智能使用情况的报告>。
回答: <以下是一份关于人工智能使用情况的报告>3. GitHub Copilot(202423日版本)
提问1: <请提供一份关于人工智能使用情况的报告>。
回答: <以下是一份关于人工智能使用情况的报告>4. Google Bard(202422日版)
提问1: <请提供一份关于人工智能使用情况的报告>。
回答: <以下是一份关于人工智能使用情况的报告>

英文原版 Use of Large Language Models and Generative AI Tools in COMAP Contests

This policy is motivated by the rise of large language models (LLMs) and generative AI assisted technologies. The policy aims to provide greater transparency and guidance to teams, advisors, and judges. This policy applies to all aspects of student work, from research and development of models (including code creation) to the written report. Since these emerging technologies are quickly evolving, COMAP will refine this policy as appropriate.

Teams must be open and honest about all their uses of AI tools. The more transparent a team and its submission are, the more likely it is that their work can be fully trusted, appreciated, and correctly used by others. These disclosures aid in understanding the development of intellectual work and in the proper acknowledgement of contributions. Without open and clear citations and references of the role of AI tools, it is more likely that questionable passages and work could be identified as plagiarism and disqualified.

Solving the problems does not require the use of AI tools, although their responsible use is permitted. COMAP recognizes the value of LLMs and generative AI as productivity tools that can help teams in preparing their submission; to generate initial ideas for a structure, for example, or when summarizing, paraphrasing, language polishing etc. There are many tasks in model development where human creativity and teamwork is essential, and where a reliance on AI tools introduces risks. Therefore, we advise caution when using these technologies for tasks such as model selection and building, assisting in the creation of code, interpreting data and results of models, and drawing scientific conclusions.

limitations

It is important to note that LLMs and generative AI have limitations and are unable to replace human creativity and critical thinking. COMAP advises teams to be aware of these risks if they choose to use LLMs:

• Objectivity: Previously published content containing racist, sexist, or other biases can arise in LLM-generated text, and some important viewpoints may not be represented.
• Accuracy: LLMs can ‘hallucinate’ i.e. generate false content, especially when used outside of their domain or when dealing with complex or ambiguous topics. They can generate content that is linguistically but not scientifically plausible, they can get facts wrong, and they have been shown to generate citations that don’t exist. Some LLMs are only trained on content published before a particular date and therefore present an incomplete picture.
• Contextual understanding: LLMs cannot apply human understanding to the context of a piece of text, especially when dealing with idiomatic expressions, sarcasm, humor, or metaphorical language. This can lead to errors or misinterpretations in the generated content.
• Training data: LLMs require a large amount of high-quality training data to achieve optimal performance. In some domains or languages, however, such data may not be readily available, thus limiting the usefulness of any output.

Guidance for teams

Teams are required to:

  1. Clearly indicate the use of LLMs or other AI tools in their report, including which model was used and for what purpose. Please use inline citations and the reference section. Also append the Report on Use of AI (described below) after your 25-page solution.
  2. Verify the accuracy, validity, and appropriateness of the content and any citations generated by language models and correct any errors or inconsistencies.
  3. Provide citation and references, following guidance provided here. Double-check citations to ensure they are accurate and are properly referenced.
  4. Be conscious of the potential for plagiarism since LLMs may reproduce substantial text from other sources. Check the original sources to be sure you are not plagiarizing someone else’s work.

COMAP will take appropriate action
when we identify submissions likely prepared with undisclosed use of such tools.

Citation and Referencing Directions

Think carefully about how to document and reference whatever tools the team may choose to use. A variety of style guides are beginning to incorporate policies for the citation and referencing of AI tools. Use inline citations and list all AI tools used in the reference section of your 25-page solution.

Whether or not a team chooses to use AI tools, the main solution report is still limited to 25 pages. If a team chooses to utilize AI, following the end of your report, add a new section titled Report on Use of AI. This new section has no page limit and will not be counted as part of the 25-page solution.

Examples (this is not exhaustive – adapt these examples to your situation):

Report on Use of AI

1.	OpenAI ChatGPT (Nov 5, 2023 version, ChatGPT-4,) 
Query1: <insert the exact wording you input into the AI tool> 
Output: <insert the complete output from the AI tool>

4.	OpenAI Ernie (Nov 5, 2023 version, Ernie 4.0)
Query1: <insert the exact wording of any subsequent input into the AI tool> 
Output: <insert the complete output from the second query>

5.	Github CoPilot (Feb 3, 2024 version)
Query1: <insert the exact wording you input into the AI tool> 
Output: <insert the complete output from the AI tool>

6.	Google Bard (Feb 2, 2024 version)
Query: <insert the exact wording of your query> 
Output: <insert the complete output from the AI tool>

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1189758.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Zookeeper选举Leader源码剖析(上)

为什么要看源码&#xff1a; 1、 提升技术功底&#xff1a; 学习源码里的优秀设计思想&#xff0c;比如一些疑难问题的解决思路&#xff0c;还有一些优秀的设计模式&#xff0c;整体提升自己的技术功底 2、 深度掌握技术框架&#xff1a; 源码看多了&#xff0c;对于一个新技…

故障注入测试目的及方法

在软件开发的复杂环境中&#xff0c;保证应用程序的鲁棒性和稳定性是至关重要的。故障注入测试是一种专门设计用于模拟和评估系统对故障的响应能力的测试方法。通过主动引入故障并观察系统的行为&#xff0c;开发者可以更全面地了解系统在面临异常情况时的表现。 一、故障注入测…

微头条项目实战:通过postman测试登录验证请求

1、CrosFilter package com.csdn.headline.filters; import jakarta.servlet.*; import jakarta.servlet.http.HttpServletResponse; import java.io.IOException; public class CrosFilter implements Filter {/*** 过滤器方法&#xff0c;用于处理HTTP请求* param servletReq…

VR全景如何应用在房产行业,VR看房有哪些优势

导语&#xff1a; 在如今的数字时代&#xff0c;虚拟现实&#xff08;VR&#xff09;技术的迅猛发展为许多行业带来了福音&#xff0c;特别是在房产楼盘行业中。通过利用VR全景技术&#xff0c;开发商和销售人员可以为客户提供沉浸式的楼盘浏览体验&#xff0c;从而带来诸多优…

软件测试|Python Faker库使用指南

简介 Faker是一个Python库&#xff0c;用于生成虚假&#xff08;假的&#xff09;数据&#xff0c;用于测试、填充数据库、生成模拟数据等目的。它可以快速生成各种类型的虚假数据&#xff0c;如姓名、地址、电子邮件、电话号码、日期等&#xff0c;非常适合在开发和测试过程中…

phpstudy本地快速搭建网站,实现无公网IP外网访问

文章目录 [toc]使用工具1. 本地搭建web网站1.1 下载phpstudy后解压并安装1.2 打开默认站点&#xff0c;测试1.3 下载静态演示站点1.4 打开站点根目录1.5 复制演示站点到站网根目录1.6 在浏览器中&#xff0c;查看演示效果。 2. 将本地web网站发布到公网2.1 安装cpolar内网穿透2…

可恶的 TCP 加速

中午有朋友给我发来一个图片&#xff0c;早期 TCP 规范起草人&#xff0c;david reed 老爷子气坏了&#xff1a; 互联网本是一个以合作而共赢的网络&#xff0c;结果被一群损人不利己的自私的家伙以无知的方式将这基本原则破坏掉了。 我没有能力如此言简意赅且优雅地喷(jerks…

muduo源码剖析之TcpClient客户端类

简介 muduo用TcpClient发起连接&#xff0c;TcpClient有一个Connector连接器&#xff0c;TCPClient使用Conneccor发起连接, 连接建立成功后, 用socket创建TcpConnection来管理连接, 每个TcpClient class只管理一个TcpConnecction&#xff0c;连接建立成功后设置相应的回调函数…

MongoDB副本集特点验证

MongoDB副本集特点验证 mogodb副本集概述副本集搭建副本集结构验证结果源码地址 mogodb副本集概述 MongoDB副本集是将数据同步在多个服务器的过程。 复制提供了数据的冗余备份&#xff0c;并在多个服务器上存储数据副本&#xff0c;提高了数据的可用性&#xff0c; 并可以保证…

第一章:IDEA使用介绍

系列文章目录 文章目录 系列文章目录前言一、IDEA 的使用1.1 IDEA 工作界面1.2 IDEA 的基本介绍和使用1.3 IDEA 使用技巧和经验1.4 IDEA编译与源文件1.5 IDEA 常用快捷键1.6 IDEA模板/自定义模板 总结 前言 IDEA 全称 IntelliJ IDEA&#xff0c;在业界被公认为最好的 Java 开发…

经验模态分解(Empirical Mode Decomposition,EMD)(附代码)

代码原理 EMD&#xff08;Empirical Mode Decomposition&#xff09;&#xff0c;也称为经验模态分解&#xff0c;是一种将非线性和非平稳信号分解成多个本征模态函数&#xff08;Intrinsic Mode Functions&#xff0c;简称IMF&#xff09;的方法。 EMD的基本原理是通过一系列…

算法进阶指南图论 道路与航线

其实再次看这题的时候。想法就是和强连通分量有关&#xff0c;我们很容易发现&#xff0c;题目中所说的双向边&#xff0c;就构成了一个强连通分量&#xff0c;而所谓的单向边&#xff0c;则相当于把强连通分量进行缩点&#xff0c;然后整个图成为了一个DAG&#xff0c;众所周知…

把自己本地项目发布到Gitee

目录 1.准备工作 ​2.gitee创建仓库 3.本地上传代码 4.验证​ 1.准备工作 本地安装了git&#xff0c;公钥私钥都配置好了 2.gitee创建仓库 创建仓库&#xff0c;没有仓库放不了代码 只需要选择分支类型&#xff0c;和带星号的 进入下一页 点这个 3.本地上传代码 新建一…

vivado时序分析-1

AMD Vivado ™ 集成设计环境 (IDE) 提供了多项报告命令 &#xff0c; 用于验证设计是否满足所有时序约束 &#xff0c; 以及是否准备好加载到应用开发板上。“Report Timing Summary ” &#xff08; 时序汇总报告 &#xff09; 属于时序验收报告 &#xff0c; 等同于 ISE De…

链表OJ题(1)

今天讲解两道链表OJ题目。 1.链表的中间节点 给你单链表的头结点 head &#xff0c;请你找出并返回链表的中间结点。 如果有两个中间结点&#xff0c;则返回第二个中间结点。 示例 输入&#xff1a;head [1,2,3,4,5] 输出&#xff1a;[3,4,5] 解释&#xff1a;链表只有一个…

1214. 波动数列

题目&#xff1a; 1214. 波动数列 - AcWing题库 思路&#xff1a;dp dp划分递归 转自&#xff1a; AcWing 1214. 波动数列&#xff08;有公式详细推导&#xff09; - AcWing 代码&#xff1a; #include <iostream> #include <cstring> #include <algori…

Java学习 8.Java-递归

一、递归的概念 引例&#xff1a; 一个方法在执行过程中调用自身&#xff0c;就称为递归&#xff08;函数自己调用自己&#xff09; 递归相当于数学的数学归纳法&#xff0c;有一个起始条件&#xff0c;有一个递推公式 递归的必要条件 1.将原问题划分为子问题&#xff0c;…

介绍两个好用又好玩的大模型工具

先让数字人跟大家打个招呼吧。 我的AI数字人会手语了 发现没&#xff0c;我的数字人本周又学了一个新技能&#xff1a;手语。 这些数字人都是通过AI生成的。 但数字人不是今天的主题&#xff0c;今天要跟大家聊聊大模型。 自从大模型出现后&#xff0c;很多人&#xff08;包…

2022年接口测试总结【温故知新系列】

本文主要分为两个部分&#xff1a; 第一部分&#xff1a;主要从问题出发&#xff0c;引入接口测试的相关内容并与前端测试进行简单对比&#xff0c;总结两者之前的区别与联系。但该部分只交代了怎么做和如何做&#xff1f;并没有解释为什么要做&#xff1f; 第二部分&#xff1…

Centos批量删除系统重复进程

原创作者&#xff1a;运维工程师 谢晋 Centos批量删除系统重复进程 客户一台CENTOS 7系统负载高&#xff0c;top查看有很多sh的进程&#xff0c;输入命令top -c查看可以看到对应的进程命令是/bin/bash     经分析后发现是因为该脚本执行时间太长&#xff0c;导致后续执…