使用 Transformer 完成 IMDB 情感分类任务

前言

本文使用简单的 Transformer Block 实现对影评文本数据 IMDB 的情感分类任务。

数据

这里定义了两个关键的超参数：
- vocab_size：表示词汇表的大小，即允许在文本数据中使用的不同的单词数量。
- maxlen：表示文本序列的最大长度，超过这个长度的序列将被截断，不足这个长度的序列将被填充。
使用内置函数从 IMDB 电影评论文本数据集加载训练集和测试集。这是一个情感分类任务，其中评论标签被标记为积极或消极。结果只保留在数据中出现频率最高的前vocab_size个单词，其他单词将被忽略。这有助于限制词汇表的大小以降低模型的复杂性。
使用tf.keras.utils.pad_sequences函数在训练集和测试集的文本序列末尾填充或截断到指定的maxlen长度，以确保它们具有相同的长度，以满足神经网络要求的输入大小。

vocab_size = 20000
maxlen = 200

(x_train, y_train), (x_test, y_test) = tf.keras.datasets.imdb.load_data(num_words=vocab_size)
x_train = tf.keras.utils.pad_sequences(x_train, maxlen=maxlen, padding='post', truncating='post')
x_test = tf.keras.utils.pad_sequences(x_test, maxlen=maxlen, padding='post', truncating='post')
print(len(x_train), "个训练样本")
print(len(x_test), "个测试样本")

结果打印：

25000 个训练样本
25000 个测试样本

嵌入

这段代码定义了一个名为 Embed 的自定义 Keras 层，用于实现 Transformer 模型中的嵌入层（Embedding Layer）。嵌入层将输入序列中的每个 token 和它们的位置嵌入到一个连续向量空间中，为 Transformer 模型提供适当的输入表示。这是 Transformer 模型中非常重要的一部分，用于捕捉序列数据中的语义信息和位置信息，主要参数如下。

maxlen：表示输入序列的最大长度，用于确定位置嵌入的维度。
vocab_size：表示词汇表的大小，即不同 token 的数量。
embed_dim：表示嵌入向量的维度，决定了最后得到的词向量维度。

class Embed(tf.keras.layers.Layer):
    def __init__(self, maxlen, vocab_size, embed_dim):
        super().__init__()
        self.token_emb = Embedding(input_dim=vocab_size, output_dim=embed_dim)
        self.pos_emb = Embedding(input_dim=maxlen, output_dim=embed_dim)

    def call(self, x):
        maxlen = tf.shape(x)[-1]
        positions = tf.range(start=0, limit=maxlen, delta=1)
        positions = self.pos_emb(positions)
        x = self.token_emb(x)
        return x + positions

Transformer Block

这段代码定义了一个名为 Block 的自定义 Keras 层，用来表示 Transformer 模型中的一个基本运算块（block）。每个基本块包含了两部分：多头自注意力层（Multi-Head Attention）和前馈神经网络层（Feed-Forward Neural Network），以及一些为了防止过拟合的层标准化（LayerNormalization）、 Dropout 和残差连接等操作。

该 Block 部分通过多头自注意力和前馈神经网络实现了序列数据的特征提取和表示学习，经过多个这样的基本块可以层层堆叠形成编码器和解码器，这里只是简单当作一个提取序列数据的层。主要参数如下：

embed_dim：表示向量的维度。
num_heads：表示多头自注意力中的注意力头数量。
rate：Dropout 丢弃比例，在训练期间应用以防止过拟合。

class BLock(tf.keras.layers.Layer):
    def __init__(self, embed_dim, num_heads, rate=0.1):
        super().__init__()
        self.att = MultiHeadAttention(num_heads=num_heads, key_dim=embed_dim)
        self.ffn = tf.keras.Sequential([tf.keras.layers.Dense(32, activation='relu'), tf.keras.layers.Dense(embed_dim)])
        self.norm1 = LayerNormalization(epsilon=1e-6)
        self.norm2 = LayerNormalization(epsilon=1e-6)
        self.dropout1 = Dropout(rate)
        self.dropout2 = Dropout(rate)

    def call(self, inputs, training):
        attn_output = self.att(inputs, inputs)
        attn_output = self.dropout1(attn_output, training=training)
        out1 = self.norm1(inputs + attn_output)
        ffn_output = self.ffn(out1)
        ffn_output = self.dropout2(ffn_output, training=training)
        return self.norm2(ffn_output + out1)

训练

这里主要是对模型进行编译和训练，选择 Adam 作为模型的优化器，损失函数选择稀疏分类交叉熵（sparse_categorical_crossentropy），评估指标选择准确率（accuracy）。这里为了防止过拟合我设置了回调函数 EarlyStopping ，这个回调函数在验证集上监视 val_accuracy ，并在连续两个 epoch 后指标没有提升时停止训练。

model = tf.keras.Sequential([
    Input(shape=(maxlen,)),
    Embed(maxlen, vocab_size, 32),
    BLock(32, 4),
    GlobalAveragePooling1D(),
    Dropout(0.1),
    Dense(20, activation='relu'),
    Dropout(0.1),
    Dense(2, activation='softmax')
])
callbacks = [tf.keras.callbacks.EarlyStopping(patience=2, monitor='val_accuracy')]
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
model.fit(x_train, y_train, batch_size=32, epochs=10, validation_data=(x_test, y_test), callbacks=callbacks)

结果打印，经过了 3 轮训练后提前停止了训练，最终的验证集准确率能达到 84% ：

Epoch 1/10
782/782 [==============================] - 9s 10ms/step - loss: 0.4148 - accuracy: 0.7963 - val_loss: 0.3230 - val_accuracy: 0.8642
Epoch 2/10
782/782 [==============================] - 11s 14ms/step - loss: 0.2207 - accuracy: 0.9165 - val_loss: 0.4794 - val_accuracy: 0.8006
Epoch 3/10
782/782 [==============================] - 12s 15ms/step - loss: 0.1476 - accuracy: 0.9477 - val_loss: 0.4001 - val_accuracy: 0.8434

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.2.1 什么是Prompt
- L2.2.2 Prompt框架应用现状
- L2.2.3 基于GPTAS的Prompt框架
- L2.2.4 Prompt框架与Thought
- L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
- L2.3.1 流水线工程的概念
- L2.3.2 流水线工程的优点
- L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
- L3.1.1 Agent模型框架的设计理念
- L3.1.2 Agent模型框架的核心组件
- L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
- L3.2.1 MetaGPT的基本概念
- L3.2.2 MetaGPT的工作原理
- L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
- L3.3.1 ChatGLM的特点
- L3.3.2 ChatGLM的开发环境
- L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
- L3.4.1 LLAMA的特点
- L3.4.2 LLAMA的开发环境
- L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍