大语言模型在构建UNSPSC 分类数据中的应用

news2024/9/27 4:51:55

UNSPSC 是联合国标准产品和服务代码。UNSPSC由联合国开发计划署（UNDP）和Dun & Bradstreet公司（D & B）于1998年联合制定，自2003年以来一直由GS1 US管理。GS1 US 将在 2024 年底前将 UNSPSC 的管理权移交给 UNDP。

本文主要研究如何使用mongoDB数据库，nodeJS的javascript程序，大语言模型（chatGPT）生产UNSPSC 分类系统的数据。

下载unspsc 文档

首先下载 unspsc 分类EXCEL 文档，unspsc 官网（https://www.unspsc.org/）上无法下载，大概要成为unspsc 的subscriber 之后才可以，但是我不知道如何能够成为unspsc 的订阅者。

国内的道客巴巴上有个中文翻译文档，结果下载下来才发现编码与描述不对版，也许是早期的东西吧，白瞎了34元。我是在康奈尔大学的网站上下载了一个英文的unspsc 文档，在联合国全球市场网下载了一个中文的文档。

有读者告诉我正确的方法，请在评论区留言。

下载unspsc 分类

从康奈尔大学的网站上下载了一个unspsc 文档，包含的商品大约149851个.

https://finance.cornell.edu/procurement/buyers/unspsc

文档格式

Segment,Family,Class，Commodities 是分成三个表。

下载中文文档

我们希望下载一个中文的unspsc 文档，最终在联合国全球采购市场网站上下载了中文unspsc 文档，但是在中国联合国全球采购网站上却没有。这个·文档中只有13000多种商品，部分标题没有被翻译

https://www.ungm.org/Public/UNSPSC

文档格式

转储

下一步将unspsc 到mongoDB 数据库中。

第一种方法（以unspsc 为基础）

unspsc.xlsx 文档另存为cvs 文件，Segment.cvs，Family.cvs,Class.cvs,Commodity.cvs 几个文件，我们通过一个javascript 程序unspscStore.js 将cvs 文档存储到mongoDB 中。成为4 个collection。

第二种方法（以unspsc_chinese 为基础）

将unspsc中文文档（删除前11行，A，B 列）转储到mongodb 中。由此生成Segment，Family,Class,Commodity 四个Collection。

最后，我们决定先使用中文的数据构建项目的内容。

构建产品的特性模型

对所有Commodity 的商品，构建商品的Properties ，存储在Property Collection。

基本方法是采用chatGPT 自动生成商品的特征。

实验（KIMI）

商品定义

商品特征

KIMI提问：

请给出如下商品的特征参数： “动态随机存取储存器DRAM”，JSON格式输出，格式为 {Property：[{Name:"属性的名称",Value:"属性的值”}]

KIMI 回答：

{
  "Property": [
    {
      "Name": "类型",
      "Value": "动态随机存取存储器"
    },
    {
      "Name": "容量",
      "Value": "多种容量选项，如1GB, 2GB, 4GB等"
    },
    {
      "Name": "速度",
      "Value": "以兆赫兹(MHz)为单位的速度等级"
    },
    {
      "Name": "时钟周期",
      "Value": "存储器的时钟周期时间"
    },
    {
      "Name": "刷新周期",
      "Value": "必需的刷新间隔时间"
    },
    {
      "Name": "数据访问时间",
      "Value": "CAS延迟时间"
    },
    {
      "Name": "模块类型",
      "Value": "如DIMM, SODIMM, RDIMM等"
    },
    {
      "Name": "电压",
      "Value": "操作电压，如1.5V, 1.35V等"
    },
    {
      "Name": "接口类型",
      "Value": "如DDR, DDR2, DDR3, DDR4等"
    },
    {
      "Name": "散热解决方案",
      "Value": "如散热片安装或无散热片"
    },
    {
      "Name": "端到端可靠性",
      "Value": "如奇偶校验或ECC支持"
    }
  ]
}

文心一言

提问（商品定义）：

请用一句话给出如下商品的定义 “腹膜透析仪和腹膜循环仪”

回答

腹膜透析仪和腹膜循环仪是用于辅助腹膜透析过程，通过机械方式促进腹膜透析液在腹腔内循环与交换，以清除体内代谢废物和多余水分的医疗设备。

提问（商品特征）：

请给出如下商品的特征参数： “动态随机存取储存器DRAM”，JSON格式输出，格式为 {Property：[{Name:"属性的名称",Value:"属性的值”}]

回答

{  
  "Property": [  
    {  
      "Name": "类型",  
      "Value": "动态随机存取储存器（DRAM）"  
    },  
    {  
      "Name": "数据存储方式",  
      "Value": "动态存储，需要定期刷新数据以保持信息不丢失"  
    },  
    {  
      "Name": "访问速度",  
      "Value": "相对较快，适合作为计算机的主存储器"  
    },  
    {  
      "Name": "容量范围",  
      "Value": "从几兆字节到数百吉字节不等，具体取决于型号和技术"  
    },  
    {  
      "Name": "电压需求",  
      "Value": "低电压设计，通常在1.2V至1.5V之间"  
    },  
    {  
      "Name": "接口类型",  
      "Value": "包括DDR, DDR2, DDR3, DDR4, LPDDR等，每种类型具有不同的数据传输速率和功耗"  
    },  
    {  
      "Name": "封装类型",  
      "Value": "如BGA, TSOP, FBGA等，影响安装和散热性能"  
    },  
    {  
      "Name": "延迟时间",  
      "Value": "用CAS延迟（CL）等指标衡量，影响数据访问的响应时间"  
    },  
    {  
      "Name": "工作频率",  
      "Value": "通常以MHz或GHz为单位，影响数据传输速率"  
    },  
    {  
      "Name": "错误检测和纠正",  
      "Value": "部分DRAM支持ECC（错误纠正码）功能，提高数据完整性和可靠性"  
    }  
  ]  
}

大语言模型的输出的质量并不高。