LLMs之Dataset：中文互联网基础语料2.0的简介、下载和使用方法、案例应用之详细攻略

目录

中文互联网基础语料2.0的简介

1、特点

中文互联网基础语料2.0的下载和使用方法

中文互联网基础语料2.0的案例应用

---

中文互联网基础语料2.0的简介

2025年1月发布，中文互联网基础语料2.0是中文互联网基础语料系列的第二批语料，主要用于大型模型的预训练。该语料库由中国网络空间安全协会人工智能安全治理专委会联合国家权威机构共同打造，依托“共建－共享”机制，汇聚了120GB的高质量可信数据，包含约3800万条数据。

官网地址：中国网络空间安全协会

1、特点

>> 安全合规：在中央网信办相关业务部门指导下，对数据源进行严格筛选，确保语料数据的合法性、真实性、准确性和客观性。

>> 高质量内容：通过一系列数据处理步骤，包括信源筛选、格式清洗、语言过滤、数据去重、内容过滤、隐私过滤等，形成积极健康、向上向善的优质内容。

>> 清洗过滤处理：对违法不良信息进行过滤，符合《生成式人工智能服务管理暂行办法》等法律法规要求；同时，过滤低质内容，提高语料库的整体质量。

>> 数据去重：采用主流去重算法，确保语料库中的数据独特性。

>> 协同创新：发挥企业、高校和科研单位的优势，共同推动中文互联网基础语料库的建设，为国家人工智能技术创新和产业发展赋能。

中文互联网基础语料2.0的下载和使用方法

下载地址：https://corpus.cybersac.cn/#/dataSetDetail?dataSetId=397

中文互联网基础语料2.0的案例应用

持续更新中……