Encoder和Decoder怎么交互的

decoder里面的K，V输入用的是encoder的输出，并不是共享了K, V参数，decoder每层的参数都是独立的。Decoder每层是有两块Attention的：一块是正常的Self-Attention，QKV的输入都来自Decoder上一层的输出；另一块就是题目里面提到的Encoder Attention，其中的K，V输入来自encoder的输出

Decoder 包含两部分，分别是 self-attention（和 Encoder一样）和 cross-attention

transformer的结构如下图，可以看到decoder block 中的Multi-Head Attention 的输入包含了从decoder来的两个输入，这两个输入作为attention模块的K,V输入。那为什么要encoder的输出作为K,V，主要是考虑将decoder 的masked embedding 信息作为Q，通过Q来与encoder的结果计算attention权重后，得到与此刻要decoder信息强相关的表达以有助于decoder正确输出结果。

18.简单描述一下wordpiece model 和 byte pair encoding，有实际应用过吗？

答“传统词表示方法无法很好的处理未知或罕见的词汇（OOV问题）
传统词tokenization方法不利于模型学习词缀之间的关系”

BPE（字节对编码）或二元编码是一种简单的数据压缩形式，其中最常见的一对连续字节数据被替换为该数据中不存在的字节。后期使用时需要一个替换表来重建原始数据。

优点：可以有效地平衡词汇表大小和步数（编码句子所需的token次数）。
缺点：基于贪婪和确定的符号替换，不能提供带概率的多个分片结果。

19.Transformer训练的时候学习率是如何设定的？Dropout是如何设定的，位置在哪里？Dropout 在测试的需要有什么需要注意的吗？

LN是为了解决梯度消失的问题，dropout是为了解决过拟合的问题。在embedding后面加LN有利于embedding matrix的收敛。

20.bert的mask为何不学习transformer在attention处进行屏蔽score的技巧？

答：BERT和transformer的目标不一致，bert是语言的预训练模型，需要充分考虑上下文的关系，而transformer主要考虑句子中第i个元素与前i-1个元素的关系。

21. decoder QKV维度为什么可以不一样，而encoder的一样

在注意力机制中，无论是编码器（Encoder）还是解码器（Decoder），Q、K、V 的维度必须保持一致以进行注意力权重的计算。然而，解码器和编码器之间在实现上的不同可能会导致其在 Q、K、V 维度上的灵活性不同。

一般情况下，编码器和解码器在处理的输入数据的维度是一致的。因此，它们在设计上可以共享相同的 Q、K、V 维度。这使得在训练模型时更加简单和方便。

然而，在某些特殊情况下，解码器可能需要处理不同维度的 Q、K、V。例如，在一些序列到序列（Sequence-to-Sequence）的任务中，编码器可能生成的上下文向量（Context Vector）维度与解码器中的输入不同。在这种情况下，解码器可能需要根据上下文向量的维度重新定义 Q、K、V 的维度以适应上下文的变化。

总之，虽然编码器和解码器在注意力机制中的 Q、K、V 维度必须保持一致，但是在某些情况下，解码器可能需要根据特定的任务或上下文的要求灵活地定义不同的维度。

22. 推荐系统中，是否可以采用欧几里得距离计算相似度

余弦定理和欧几里得公式两种计算方法各有好坏，欧氏距离能够体现个体数值特征的绝对差异，所以更多的用于需要从维度的数值大小中体现差异的分析，比如使用用户行为作为指标分析用户价值的相似情况（比较不同用户的消费能力），这属于价值度量；而余弦相似度对绝对数值不敏感，更多的用于使用用户对内容的评分来分析用户兴趣的相似程度（用户是否喜欢某商品），这属于定性度量。

23. 过拟合怎么解决？

2. 解决方法

方法一: 增加数据量

大部分过拟合产生的原因是因为数据量太少了. 如果我们有成千上万的数据, 红线也会慢慢被拉直, 变得没那么扭曲 .

1. 从数据源头获得更多数据：多拍点照片等。

2. 数据增强（data augmentation）：通过一定规则来扩充数据，比如旋转，平移，亮度，切割等手段一张图片得到多张。

方法二: 运用正规化.

L1, l2 regularization等等, 这些方法适用于大多数的机器学习, 包括神经网络. 他们的做法大同小异, 我们简化机器学习的关键公式为 y=Wx . W为机器需要学习到的各种参数. 在过拟合中, W 的值往往变化得特别大或特别小. 为了不让W变化太大, 我们在计算误差上做些手脚. 原始的 cost 误差是这样计算, cost = 预测值-真实值的平方. 如果 W 变得太大, 我们就让 cost 也跟着变大, 变成一种惩罚机制. 所以我们把 W 自己考虑进来. 这里 abs 是绝对值. 这一种形式的 正规化, 叫做 l1 正规化. L2 正规化和 l1 类似, 只是绝对值换成了平方. 其他的l3, l4 也都是换成了立方和4次方等等. 形式类似. 用这些方法,我们就能保证让学出来的线条不会过于扭曲.

Dropout：（正规化方法）

专门用在神经网络的正规化的方法, 叫作 dropout. 在训练的时候, 我们随机忽略掉一些神经元和神经联结 , 是这个神经网络变得”不完整”. 用一个不完整的神经网络训练一次.

到第二次再随机忽略另一些, 变成另一个不完整的神经网络. 有了这些随机 drop 掉的规则, 我们可以想象其实每次训练的时候, 我们都让每一次预测结果都不会依赖于其中某部分特定的神经元. 像l1, l2正规化一样, 过度依赖的 W , 也就是训练参数的数值会很大, l1, l2会惩罚这些大的 参数. Dropout 的做法是从根本上让神经网络没机会过度依赖.

方法三：简化模型

Dropout 会随机删除一些神经元，以在不同批量上训练不同的神经网络架构。

过拟合主要是有两个原因造成的：数据太少+模型太复杂。所以，我们可以通过使用合适复杂度的模型来防止过拟合问题，让其足够拟合真正的规则，同时又不至于拟合太多抽样误差。 （PS：如果能通过物理、数学建模，确定模型复杂度，这是最好的方法，这也就是为什么深度学习这么火的现在，我还坚持说初学者要学掌握传统的建模方法。）

对于神经网络而言，我们可以从以下四个方面来限制网络能力：

1. 网络结构（Architecture）：减少隐藏层，神经元个数。

2. 训练时间（Early stopping）：因为我们在初始化网络的时候一般都是初始为较小的权值。训练时间越长，部分网络权值可能越大。如果我们在合适时间停止训练，就可以将网络的能力限制在一定范围内。

3. 限制权值（weight-decay）= 正规化（regularization）：原理与训练时间一样，但是这类方法直接将权值的大小加入到 Cost 里，在训练的时候限制权值变大。以 L2 regularization为例：

训练过程需要降低整体的 Cost，这时候，一方面能降低实际输出与样本之间的误差 ，也能降低权值大小。

4. 增加噪声（noise）：在输入中加噪声（噪声会随着网络传播，按照权值的平方放大，并传播到输出层，对误差 Cost 产生影响。）; 在权值上加噪声。

方法四：多种模型组合

训练多个模型，以每个模型的平均输出作为结果。

从 N 个模型里随机选择一个作为输出的期望误差，会比所有模型的平均输出的误差大。

基于上述原理: 有以下三种方法：

1. Bagging

简单理解，就是分段函数的概念：用不同的模型拟合不同部分的训练集。以随机森林（Rand Forests）为例，就是训练了一堆互不关联的决策树。但由于训练神经网络本身就需要耗费较多自由，所以一般不单独使用神经网络做Bagging。

2. Boosting

既然训练复杂神经网络比较慢，那我们就可以只使用简单的神经网络（层数、神经元数限制等）。通过训练一系列简单的神经网络，加权平均其输出。

3.3 Dropout

这是一个很高效的方法。 在训练时，每次随机（如50%概率）忽略隐层的某些节点；这样，我们相当于随机从2^H个模型中采样选择模型；同时，由于每个网络只见过一个训练数据（每次都是随机的新网络），所以类似 bagging 的做法，这就是我为什么将它分类到「结合多种模型」中；

此外，而不同模型之间权值共享（共同使用这 H 个神经元的连接权值），相当于一种权值正则方法，实际效果比 L2 regularization 更好。

方法五：贝叶斯方法

贝叶斯是普适的。 假如样本是从上帝才知道的某个分布中抽样而来，那么data augmentation 就是希望样本集分布能接近先验。假如有上帝才知道的某个完美模型作为先验，那么我们对模型的修剪自己ensemble ，那就是让修剪后的假设空间和融合后的假设空间更加接近先验。从参数的角度来说，这是直接的贝叶斯了，L2认为参数符合高斯先验，L1符合拉普拉斯先验。

24. L1，L2正则化效果，区别，原理

l2求解

总结L1正则化和L2正则化：

L1范数: 为x向量各个元素绝对值之和。

L2范数: 为x向量各个元素平方和的1/2次方，L2范数又称Euclidean范数或Frobenius范数

Lp范数: 为x向量各个元素绝对值p次方和的1/p次方.

L1正则化和L2正则化的作用：

（1）L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择；

（2）L2正则化可以防止模型过拟合，在一定程度上，L1也可以防止过拟合，提升模型的泛化能力；

（3）L1（拉格朗日）正则假设参数的先验分布是Laplace分布，可以保证模型的稀疏性，也就是某些参数等于0；

（4）L2（岭回归）正则假设参数的先验分布是Gaussian分布，可以保证模型的稳定性，也就是参数的值不会太大或太小。

在实际使用中，如果特征是高维稀疏的，则使用L1正则；如果特征是低维稠密的，则使用L2正则

L1和L2正则先验分别服从什么分布 ？

L1和L2正则先验分别服从什么分布，L1是拉普拉斯分布，L2是高斯分布。

Droupout原理，训练测试中的区别

Dropout 是在训练过程中以一定的概率的使神经元失活，即输出为0，以提高模型的泛化能力，减少过拟合。 Dropout 在训练和测试时都需要嘛？ Dropout 在训练时采用，是为了减少神经元对部分上层神经元的依赖，类似将多个不同网络结构的模型集成起来，减少过拟合的风险。 而在测试时，应该用整个训练好的模型，因此不需要dropout。

介绍SGD，Adam,动量优化SGD

SGD（Stochastic Gradient Descent）、Adam 和动量优化 SGD（Momentum Optimized SGD）都是常用的优化算法，用于训练神经网络模型。它们的主要区别在于更新参数的方式和对学习率的调整方式。

SGD：

SGD 是最基本的优化算法之一，它在每个训练样本上计算梯度并更新参数。具体地，对于参数 (\theta)，梯度下降的更新规则为： $({\theta }_{t+1}={\theta }_t-\alpha {\nabla }_{\theta }J(\theta ))$，其中 (\alpha) 是学习率， $({\nabla }_{\theta }J(\theta ))$是损失函数 (J(\theta)) 关于参数 (\theta) 的梯度。
Adam：

Adam 是一种自适应学习率的优化算法，结合了动量优化的概念。它在计算梯度的一阶矩估计和二阶矩估计的基础上动态调整每个参数的学习率。
具体地，Adam 维护了两个状态变量，第一个是梯度的指数移动平均（一阶矩估计），第二个是梯度平方的指数移动平均（二阶矩估计）。然后，使用这两个状态变量来计算每个参数的学习率。
动量优化 SGD：

动量优化 SGD 通过引入动量（momentum）来加速收敛过程，特别是在处理高曲率、小但一致梯度或带有噪声的情况下更为有效。
具体地，动量优化 SGD 维护了一个动量变量 (v)，并使用该变量来更新参数。更新规则为： $(v_{t+1}=\beta v_t-\alpha {\nabla }_{\theta }J(\theta ))，({\theta }_{t+1}={\theta }_t+v_{t+1})$，其中 (\beta) 是动量参数，通常取值为 0.9。
综上所述，SGD 是一种简单的优化算法，Adam 是一种自适应学习率的优化算法，动量优化 SGD 则是在 SGD 的基础上加入了动量来加速收敛。在实际应用中，选择哪种优化算法取决于具体的任务需求和实验效果。
https://www.jianshu.com/p/1a1339c4acd7

推荐系统如何负采样

在推荐系统中，负采样（Negative Sampling）是一种常用的训练技巧，用于训练基于embedding的模型，如Word2Vec、Item2Vec或者其他的Embedding-based的推荐系统。负采样的目的是减少训练中的计算量，并改善模型的训练效果。

以下是负采样在推荐系统中的基本步骤：

数据准备：

准备训练数据集，其中包括用户行为数据，如用户点击、购买、评分等行为以及对应的物品（或者其他实体）信息。
构建训练样本：

对于每个正样本（已观察到的用户-物品对），需要构建一组负样本（未观察到的用户-物品对）。
通常的做法是，从未被用户交互过的物品中随机采样得到负样本。采样时，可以根据物品的流行度进行加权，以便更多地采样那些不太流行的物品，从而增加样本的多样性。
训练模型：

使用正样本和负样本对来训练模型。模型的目标通常是使得正样本的得分高于负样本的得分，以此来学习用户和物品的embedding。
例如，在基于embedding的推荐系统中，可以使用负采样来训练模型，使得给定用户对于已有正样本的物品评分高于负样本的物品。
模型评估：

训练完成后，可以使用评估指标（如精确度、召回率、AUC等）来评估模型的性能。
负采样的核心思想是通过减少负样本的数量，使得训练过程更加高效，并且可以使得模型更加关注重要的训练样本。然而，在实际应用中，负采样的具体策略可能会根据不同的场景和任务而有所不同，需要根据具体情况进行调整和优化。

解释精确度、召回率、AUC

这些是常用于评估分类模型性能的指标：

精确度（Precision）：精确度衡量的是分类器预测为正类别的样本中有多少是真正的正类别样本。它的计算公式为：

$[Precision=\frac{TP}{TP+FP}]$

其中，(TP) 是真正例（True Positives）的数量，表示模型正确预测为正类别的样本数；(FP) 是假正例（False Positives）的数量，表示模型错误地将负类别样本预测为正类别的数量。精确度的取值范围在 0 到 1 之间，越高越好。

召回率（Recall）：召回率衡量的是真实的正类别样本中有多少被分类器正确地识别为正类别。它的计算公式为：

$[Recall=\frac{TP}{TP+FN}]$

其中，(FN) 是假负例（False Negatives）的数量，表示模型错误地将正类别样本预测为负类别的数量。召回率的取值范围也在 0 到 1 之间，越高越好。

AUC（Area Under the ROC Curve）：AUC 是一种评估二分类模型性能的综合指标，它表示的是 ROC 曲线下的面积。ROC 曲线是以真正例率（True Positive Rate，即召回率）为纵轴，假正例率（False Positive Rate）为横轴绘制的曲线。AUC 的取值范围在 0.5 到 1 之间，0.5 表示模型的预测效果等同于随机猜测，1 表示完美预测。

AUC 越接近于 1，表示模型在不同阈值下的性能越好，即能更好地区分正负样本；而当 AUC 接近于 0.5 时，表示模型的预测效果较差。

这些指标在实际应用中经常一起使用，以全面评估分类模型的性能。精确度关注的是模型预测为正类别的准确性，召回率关注的是模型对于正类别的识别能力，而 AUC 则综合考虑了模型在不同阈值下的表现

transformer怎么调优

调优 Transformer 模型通常涉及以下几个方面：

学习率调整：

使用合适的学习率是训练 Transformer 模型的关键。可以尝试使用学习率衰减策略，如指数衰减、余弦衰减等，或者使用自适应学习率算法，如 Adam、AdamW 等。在实践中，通常需要通过实验来确定最佳的学习率和衰减策略。
正则化：

考虑使用 L2 正则化来避免过拟合。此外，还可以尝试使用 dropout 来随机丢弃一部分神经元，以减少模型的复杂度，提高泛化能力。
模型架构调整：

调整 Transformer 模型的层数、隐藏层大小、注意力头数等超参数，以提高模型的性能。通常可以通过网格搜索、随机搜索或者基于经验的调整来确定最佳的超参数组合。
批量大小和训练步数：

调整批量大小和训练步数可能会对模型性能产生影响。较大的批量大小通常可以加速训练过程，但可能会增加内存消耗；较小的批量大小可能能够提高模型的泛化能力。同时，适当调整训练步数以避免过拟合也是重要的。
数据增强：

考虑对训练数据进行增强，如添加噪声、随机抽样、数据扩增等方法，以提高模型的鲁棒性和泛化能力。
预训练模型：

如果有足够的计算资源和数据，可以尝试使用预训练的 Transformer 模型，如 BERT、GPT 等，并在此基础上进行微调，以获得更好的性能。
监控和调试：

定期监控模型的性能指标，并根据训练和验证集的表现进行调整。同时，进行详细的实验记录和分析，以了解模型在不同条件下的表现，并找出可能的改进方向。
综上所述，调优 Transformer 模型需要综合考虑各种因素，并进行系统性的实验和分析，以获得最佳的性能。

讲一下CRF，公式是什么

CRF（Conditional Random Field，条件随机场）是一种概率图模型，常用于序列标注任务，如命名实体识别、词性标注等。CRF考虑了序列数据中各个标签之间的依赖关系，通过最大化给定观测序列的条件概率来对标签序列进行建模和预测。

在标准的线性链条件随机场（Linear Chain Conditional Random Field）中，假设给定输入序列 (x = (x_1, x_2, …, x_n))，输出序列 (y = (y_1, y_2, …, y_n))，其中 (x_i) 表示输入序列的第 (i) 个元素，(y_i) 表示对应的输出序列的标签。

CRF 的条件概率分布定义如下：

$[p(y|x)=\frac{1}{Z(x)}{\prod }_{i=1}^n\exp \left({\sum }_{k=1}^K{\lambda }_k{f}_k(y_{i-1},y_i,x,i)\right)]$

其中：

(Z(x)) 是归一化因子，也称为配分函数，用于确保概率的和为1。
(f_k(y_{i-1}, y_i, x, i)) 是特征函数，用于捕捉输入序列 (x) 和标签序列 (y) 的特征信息，(k) 表示特征函数的索引。
(\lambda_k) 是对应特征函数的权重，用于调整特征函数的重要性。
通常，特征函数可以包括各种特征，如观测特征（如输入序列的词性）、转移特征（当前标签和前一个标签的关系）等。

CRF 的训练目标是最大化对数似然函数，即最大化给定训练数据的对数似然概率：

$[L(\lambda )={\sum }_{j=1}^N\log p(y^{(j)}|x^{(j)})-\frac{1}{2}{\sum }_{k=1}^K{\lambda }_k^2]$

其中 (N) 是训练样本数量，$(y^{(j)})和(x^{(j)})$ 分别是第 (j) 个训练样本的标签序列和输入序列。

在实际应用中，通常使用梯度下降等优化算法来最大化对数似然函数，得到最优的权重参数 (\lambda)，然后通过正向传播算法预测新的序列标签。

总的来说，CRF 通过建模输入序列和输出序列之间的关系，利用特征函数来捕捉序列的特征信息，从而提高序列标注任务的性能。

gpt3和gpt2的区别

GPT-3（Generative Pre-trained Transformer 3）和 GPT-2 是由 OpenAI 开发的两个自然语言处理模型，都基于 Transformer 架构，但在规模、性能和应用方面存在一些区别：

规模和参数量：

GPT-3 比 GPT-2 更大更强大。GPT-3 是目前为止参数规模最大的预训练语言模型之一，它拥有数万亿个参数。相比之下，GPT-2 拥有数亿到数十亿个参数不等，规模较小。
层数和隐藏层大小：

由于规模的巨大差异，GPT-3 拥有更多的层数和更大的隐藏层大小。这使得 GPT-3 在处理更复杂的语言任务时具有更好的性能和泛化能力。
预训练数据和多样性：

GPT-3 在预训练阶段使用了更大规模、更多样化的数据集。这包括从互联网上抓取的多种语言、领域和主题的数据，以及大量的书籍、文章等。相比之下，GPT-2 使用的数据规模较小。
应用场景和能力：

由于规模和性能的提升，GPT-3 在多个自然语言处理任务中展现出更出色的表现。它可以用于生成更准确、更连贯的文本，执行更复杂的问答、摘要、翻译等任务，并且可以生成更加富有创造性的文本内容。
使用限制和商业应用：

由于资源消耗较大，GPT-3 的使用受到了一定的限制，需要合理的资源管理和优化。另外，GPT-3 在商业应用中可能需要支付高昂的费用来使用。相比之下，GPT-2 的使用限制和商业应用成本相对较低。
总的来说，GPT-3 是相对于 GPT-2 更大、更强大的模型，具有更好的性能和更广泛的应用能力，但也需要更多的计算资源和成本来支持。

为什么bert后面要接crf

BERT（Bidirectional Encoder Representations from Transformers）是一种强大的预训练语言模型，主要用于获取文本中的上下文信息。BERT本身并不涉及到序列标注任务，而CRF（Conditional Random Field，条件随机场）通常用于序列标注任务，如命名实体识别或词性标注。

在一些任务中，结合BERT和CRF可以带来一些优势：

全局标注一致性：BERT是基于上下文的模型，它能够捕捉句子中各个位置的语境信息。但是，对于一些序列标注任务，不仅需要考虑当前位置的上下文，还需要考虑整个序列的一致性。CRF通过建模标签之间的依赖关系，可以在全局范围内提高标注的一致性。

解决标签依赖问题：在某些任务中，标签的预测可能受到相邻标签的影响，例如实体识别中的实体边界。BERT虽然能够捕获上下文信息，但它不直接建模标签之间的依赖。CRF可以帮助处理这种标签依赖性，确保生成的标签序列是合理的。

稳定性和泛化性：CRF通过全局损失函数对整个序列进行建模，有助于提高模型的稳定性和泛化性。这对于处理长序列或者存在较多噪声的任务是有益的。

连接BERT和CRF的典型方式是使用BERT提取的特征作为输入，然后通过一个额外的层来进行CRF层的预测。这种组合的模型在一些序列标注任务中表现得比单独使用BERT或者其他模型更好。然而，并非所有的任务都需要BERT和CRF的结合，具体的效果需要根据任务的性质和数据集的特点来评估。

讲一下LDA算法

LDA（Latent Dirichlet Allocation）是一种用于主题建模的概率图模型，由Blei、Ng和Jordan在2003年提出。它是一种生成式模型，用于发现文档集合中隐藏的主题结构，并且被广泛应用于文本挖掘、信息检索等领域。

LDA 的基本思想是假设每个文档包含多个主题，并且每个主题又由一组词组成。在 LDA 模型中，假定文档集合中的每个文档都是通过以下过程生成的：

对于每个文档，从主题分布中随机抽取一个主题分布。
对于文档中的每个词，从上述抽取的主题分布中随机抽取一个主题。
从选定的主题中，根据主题-词分布随机抽取一个词。
LDA 通过以下两个参数来建模文档集合：

文档-主题分布：表示每个文档包含不同主题的概率分布。对于第 (d) 个文档，表示为 ( \theta_d )，其中 ( \theta_{d,k} ) 表示文档 (d) 中包含主题 (k) 的概率。
主题-词分布：表示每个主题中词的分布。对于第 (k) 个主题，表示为 ( \phi_k )，其中 ( \phi_{k,w} ) 表示主题 (k) 中包含词 (w) 的概率。
LDA 的目标是通过观察文档集合中的词频来推断出这些分布的参数，即找到最优的文档-主题分布和主题-词分布。通常采用基于变分推断或者Gibbs抽样等方法进行推断。

LDA 算法的优点包括：

可解释性强：LDA 模型生成的主题-词分布和文档-主题分布具有很强的可解释性，有助于理解文本数据的潜在结构。
能够处理大规模文本数据：LDA 可以高效地处理大规模文本数据，因为它可以并行计算文档-主题分布和主题-词分布。
然而，LDA 也有一些缺点，如：

需要手动选择主题数：LDA 需要预先指定主题数，这是一个需要人工干预的超参数。
无法处理词的顺序信息：LDA 是基于词袋模型的，不考虑词的顺序信息，因此对于一些需要考虑上下文顺序的任务可能不够适用。
综上所述，LDA 是一种经典的主题建模方法，通过发现文档集合中的主题结构来帮助理解和分析文本数据。

了解NER吗，讲讲prompt learning

NER（Named Entity Recognition，命名实体识别）是自然语言处理中的一项重要任务，旨在识别文本中具有特定意义的命名实体，如人名、地名、组织机构名等，并将它们分类到预定义的类别中。

Prompt learning 是一种用于 NER 任务的新兴方法，它与传统的基于模型的方法有所不同。传统的基于模型的方法通常需要大量标记数据进行训练，而 prompt learning 则尝试在有限的标记数据情况下利用预定义的模板或者提示（prompt）来进行模型训练，从而达到更好的性能。

Prompt learning 的基本思想是定义一些通用的模板或者提示，来引导模型学习命名实体的特征。这些提示通常包括一些带有特定结构的文本片段，用于指导模型注意到命名实体的上下文信息。同时，这些提示也可以帮助模型学习到一些通用的语言规律，从而提高模型的泛化能力。

具体来说，prompt learning 在 NER 任务中通常涉及以下几个方面：

Prompt 设计：设计合适的提示是 prompt learning 的关键。这些提示应该能够捕捉到命名实体的上下文信息，并且能够适应不同类型的命名实体。例如，对于人名，提示可以是“这个人的名字是…”；对于地名，提示可以是“这个地方的名字是…”等。

模型结构：在 prompt learning 中，常常采用预训练的语言模型作为基础模型，然后在其上添加一些额外的层来适应特定任务。这些额外的层通常用于对提示进行编码，并且可以根据任务的需要进行调整和优化。

训练策略：在训练过程中，需要采用一些特定的训练策略来最大化利用提示信息。这可能包括利用监督学习的方法来对提示进行建模，并且采用合适的损失函数来优化模型。

泛化能力：一个好的 prompt learning 系统应该具有良好的泛化能力，能够适应不同领域和语境中的命名实体识别任务。因此，在设计和选择提示时需要考虑到语言的通用性和灵活性。

总的来说，prompt learning 是一种有潜力的 NER 方法，它利用预定义的提示来引导模型学习命名实体的特征，从而在有限的标记数据情况下实现高效的模型训练和性能提升。

self-attention的时间复杂度

Self-attention 是一种用于处理序列数据的机制，最初被引入于 Transformer 模型中。在 self-attention 中，每个输入位置都可以与序列中的其他位置建立关联，从而使模型能够捕捉全局上下文信息。时间复杂度取决于序列长度，而空间复杂度则通常是与序列长度的平方成正比。

在一个序列长度为 N 的 self-attention 模型中，对于每个位置，需要计算与所有其他位置的注意力权重。这导致了时间复杂度为 O(N^2)，因为对于每个位置都需要与序列中的所有其他位置进行比较。这是因为 self-attention 是全连接的，每个位置都与其他位置有关系。

然而，在实际的应用中，为了降低计算成本，通常会采用一些优化措施，如限制注意力范围、使用稀疏注意力等。这样可以在一定程度上降低计算复杂度。例如，可以通过引入一些局部性的结构，使得每个位置只与相对较近的位置建立关联，从而减少计算的开销。这些优化方法可以在保持相对较好性能的同时，降低 self-attention 的计算复杂度。

逻辑回归为什么用交叉熵不用mse

逻辑回归是一种用于二分类问题的机器学习算法，它通过对输入进行线性加权和，然后通过一个激活函数（通常是 sigmoid 函数）将结果映射到[0, 1]的范围，表示概率。在训练过程中，通常使用交叉熵（cross-entropy）作为损失函数，而不是均方误差（MSE，Mean Squared Error）。

主要原因有以下几点：

输出的概率解释： 逻辑回归的输出被解释为样本属于正类别的概率。由于输出范围在[0, 1]之间，使用概率的交叉熵更为合适。交叉熵损失更符合“对数似然”的概念，它对于预测概率分布的不确定性建模更为准确。

梯度更新效果： 交叉熵损失函数在梯度更新时对错误的惩罚更为显著。在逻辑回归中，误分类的情况下，交叉熵的梯度会迅速趋向于零，促使模型更快地进行调整。相比之下，MSE 对误差较大的情况下的梯度下降效果较差。

凸优化性质： 交叉熵损失函数通常具有更好的凸优化性质，这意味着更容易找到全局最小值。相比之下，MSE 损失可能有多个局部最小值，因此在优化过程中可能更容易陷入局部最小值。

总的来说，对于逻辑回归这种用于二分类问题的模型，使用交叉熵损失函数更为合适，因为它在概率空间中提供了更好的建模效果，更符合分类任务的特性。

怎么处理冷启动问题

冷启动问题是指在推荐系统或者机器学习模型中，当遇到新用户、新物品或者新环境时，由于缺乏历史数据或者信息，无法准确预测或者推荐的情况。解决冷启动问题是推荐系统和机器学习模型中的一个重要挑战，以下是一些常见的处理方法：

基于内容的推荐（Content-based recommendation）： 对于推荐系统，基于内容的推荐是一种常见的方法。它利用物品或用户的属性信息（如物品的特征、用户的偏好）来进行推荐。对于新物品，可以通过其内容特征来进行推荐，而不依赖于历史交互数据。

协同过滤算法的扩展： 协同过滤是一种常用的推荐算法，它基于用户行为数据（如用户的评分、购买记录）来进行推荐。对于新用户或者新物品，可以利用基于项目的协同过滤或者基于用户的协同过滤算法，利用物品的相似性或者用户的相似性来进行推荐。

混合推荐方法（Hybrid recommendation）： 将多种推荐算法进行组合，利用它们的优势来解决冷启动问题。例如，结合基于内容的推荐和协同过滤算法，利用物品的内容特征和用户行为数据进行推荐。

利用辅助信息： 对于新用户，可以利用其注册时提供的一些辅助信息，如年龄、性别、兴趣爱好等来进行推荐。对于新物品，可以利用其描述、标签、类别等信息进行推荐。

激励探索策略： 在冷启动阶段，可以采用一些激励探索策略，如推荐热门物品、随机推荐、个性化试探等方式，以收集更多的用户反馈数据，从而逐步缓解冷启动问题。

主动学习（Active learning）： 在冷启动阶段，可以采用主动学习的方法，根据当前的模型状态选择最有价值的样本进行标注，从而优化模型的性能。

综合来看，解决冷启动问题需要综合考虑数据、算法和用户体验等多个方面，通过合理设计推荐系统的算法和策略，可以有效缓解冷启动问题带来的挑战。

怎么处理数据分布不均的问题，当训练数据都是短序列的时候，模型对长序列学习能力偏弱，怎么解决

处理数据分布不均的问题和增强模型对长序列的学习能力可以采取以下方法：

数据增强（Data Augmentation）： 对于短序列的数据，可以采取数据增强的方式来生成更多的训练样本，以增加数据的多样性和数量。例如，可以通过在短序列中随机插入或删除元素、进行随机替换或重复元素等方式来生成新的序列数据。

序列填充（Sequence Padding）： 在训练阶段，可以将短序列填充到相同的长度，以确保每个批次的输入数据具有相同的形状。这样可以使模型更好地学习到长序列的特征。常用的填充方法包括在序列末尾添加特定的填充符号（如0），或者通过截断的方式将长序列裁剪为相同的长度。

样本加权（Sample Weighting）： 对于数据分布不均的问题，可以给不同样本设置不同的权重，使得模型更多地关注那些在训练集中较少出现的样本。例如，可以根据样本的频率或者重要性来设置样本的权重，以平衡不同类别之间的样本分布。

模型设计与调整： 可以通过调整模型的结构和超参数来增强模型对长序列的学习能力。例如，增加模型的层数或者单元数，使用更复杂的神经网络结构（如LSTM、GRU、Transformer等），或者采用更长的训练序列长度来训练模型。

集成学习（Ensemble Learning）： 将多个模型的预测结果进行集成，可以提高模型的泛化能力和对长序列的学习能力。可以通过投票、加权平均等方式对多个模型的预测结果进行组合，以提高整体性能。

迁移学习（Transfer Learning）： 可以利用预训练的模型在大规模数据上学到的特征来辅助训练。通过在预训练模型的基础上进行微调或者特征提取，可以加速模型的收敛和提高性能。

综合考虑以上方法，可以有效处理数据分布不均和增强模型对长序列的学习能力的问题，提高模型的性能和泛化能力。

https://zhuanlan.zhihu.com/p/466994436