0 一些基础术语

1. 大模型：一般指1亿以上参数的模型，但是这个标准一直在升级，目前万亿参数以上的模型也有了。大语言模型（Large Language Model，LLM）是针对语言的大模型。
2. 175B、60B、540B等：这些一般指参数的个数，B是Billion/十亿的意思，175B是1750亿参数，这是ChatGPT大约的参数规模。
3. 强化学习：（Reinforcement Learning）一种机器学习的方法，通过从外部获得激励来校正学习方向从而获得一种自适应的学习能力。
4. 基于人工反馈的强化学习（RLHF）：（Reinforcement Learning from Human Feedback）构建人类反馈数据集，训练一个激励模型，模仿人类偏好对结果打分，这是GPT-3后时代大语言模型越来越像人类对话核心技术。
5. 涌现：（Emergence）或称创发、突现、呈展、演生，是一种现象。许多小实体相互作用后产生了大实体，而这个大实体展现了组成它的小实体所不具有的特性。研究发现，模型规模达到一定阈值以上后，会在多步算术、大学考试、单词释义等场景的准确性显著提升，称为涌现。
6. 泛化：（Generalization）模型泛化是指一些模型可以应用（泛化）到其他场景，通常为采用迁移学习、微调等手段实现泛化。
7. 微调：（FineTuning）针对大量数据训练出来的预训练模型，后期采用业务相关数据进一步训练原先模型的相关部分，得到准确度更高的模型，或者更好的泛化。
8. 指令微调：（Instruction FineTuning），针对已经存在的预训练模型，给出额外的指令或者标注数据集来提升模型的性能。
9. 思维链：（Chain-of-Thought，CoT）。通过让大语言模型（LLM）将一个问题拆解为多个步骤，一步一步分析，逐步得出正确答案。需指出，针对复杂问题，LLM直接给出错误答案的概率比较高。思维链可以看成是一种指令微调。

1 大模型（LLMs）基础

1.1 目前 主流的开源模型体系 有哪些？

LLM,从模型架构上主要分为三种：Only-encoder, Only-Decoder, Encoder-Decoder三种模型架构
Only-encoder：例如bert

BERT（Bidirectional Encoder Representations from Transformers）：由Google发布的一种基于Transformer架构的双向预训练语言模型。BERT模型通过在大规模无标签文本上进行预训练，然后在下游任务上进行微调，具有强大的语言理解能力和表征能力。
RoBERTa：由Facebook发布的一种基于Transformer架构的预训练语言模型。RoBERTa模型在BERT的基础上进行了改进，通过更大规模的数据和更长的训练时间，取得了更好的性能。

Only-Decoder:例如GPT

GPT（Generative Pre-trained Transformer）系列：由OpenAI发布的一系列基于Transformer架构的语言模型，包括GPT、GPT-2、GPT-3等。GPT模型通过在大规模无标签文本上进行预训练，然后在特定任务上进行微调，具有很强的生成能力和语言理解能力。

Encoder-Decoder：例如T5

T5（Text-to-Text Transfer Transformer）：由Google发布的一种基于Transformer架构的多任务预训练语言模型。T5模型通过在大规模数据集上进行预训练，可以用于多种自然语言处理任务，如文本分类、机器翻译、问答等。

Casual LM:

XLNet：由CMU和Google Brain发布的一种基于Transformer架构的自回归预训练语言模型。XLNet模型通过自回归方式预训练，可以建模全局依赖关系，具有更好的语言建模能力和生成能力。

prefix LM:ChatGLM-6B
causal LM:LLaMA-7B

1.2 prefix Decoder 和 causal Decoder 和 Encoder-Decoder 区别是什么？

Prefix LM（前缀语言模型）和Causal LM（因果语言模型）是两种不同类型的语言模型，它们的区别在于生成文本的方式和训练目标。
Prefix LM：前缀语言模型是一种生成模型，它在生成每个词时都可以考虑之前的上下文信息。在生成时，前缀语言模型会根据给定的前缀（即部分文本序列）预测下一个可能的词。这种模型可以用于文本生成、机器翻译等任务。
Causal LM：因果语言模型是一种自回归模型，它只能根据之前的文本生成后续的文本，而不能根据后续的文本生成之前的文本。在训练时，因果语言模型的目标是预测下一个词的概率，给定之前的所有词作为上下文。这种模型可以用于文本生成、语言建模等任务。
总结来说，前缀语言模型可以根据给定的前缀生成后续的文本，而因果语言模型只能根据之前的文本生成后续的文本。它们的训练目标和生成方式略有不同，适用于不同的任务和应用场景。

前缀解码器(prefix decoder)：前缀解码器结构修正了因果编码器的掩码机制，以使其能可对前缀标记执行双向注意力，并仅对生成的标记执行单向注意力。这样，与encoder-decoder类似，可以双向编码前缀序列并自回归低逐个预测输出标记，其中在编码和解码阶段共享相同的参数。现在前缀编码器的大模型包括U-PaLM、GLM-130B等。

因果解码器（causal decoder，当前主流）：因果解码器架构采用单向注意力掩码，以确保每个输入标记只能关注过去的标记和它本身。输入和输出标记通过解码器以相同的方式进行处理。
chatGPT等
因果编码器：GPT,BLOOM，Gopher等。

编码器-解码器（encoder-decoder）：传统 Transformer 模型是建立在编码器-解码器架构上的 ，由两个 Transformer 块分别作为编码器和解码器。编码器采用堆叠的多头自注意层对输入序列进行编码以生成其潜在表示，而解码器对这些表示进行交叉注意并自回归地生成目标序列。目前，只有少数大语言模型是基于编码器-解码器架构构建的例如 Flan-T5。

相同：都是大模型注意力的decoder关注encoder的方式
不同点：关注的方式不同。attention mask不同，prefix和encoder的prefix部分和encoder的token互相能看到，后者严格遵守只有后面的token才能看到前面的token的规则。

1.3 大模型LLM的 训练目标 是什么？

大型语言模型（Large Language Model）是指通过训练大规模的数据集（通常是海量的文本数据）来生成具有语言理解和生成能力的人工智能模型。这些模型的目标是理解人类语言的含义、语法和语境，并能够生成与之相符合的连贯文本。
大型语言模型通常使用深度学习模型（如 Transformer 模型）来对输入文本进行建模和预测。这些模型通过预训练和微调的方式来提高其语言理解和生成的能力。预训练阶段通过大规模的无监督学习来学习语言的统计规律和潜在的语义，微调阶段则通过特定的监督学习任务（如问答、翻译等）来进一步提高模型的性能和适应性。
大型语言模型已广泛应用于自然语言处理领域，如机器翻译、文本摘要、对话系统等。它们可以帮助生成自然、连贯的文本，回答问题，提供建议等。然而，由于这些模型需要大量的计算资源和数据来训练和推断，因此在实际应用中，需要权衡性能和成本之间的平衡。

1.4 涌现能力是啥原因？

涌现：（Emergence）或称创发、突现、呈展、演生，是一种现象。许多小实体相互作用后产生了大实体，而这个大实体展现了组成它的小实体所不具有的特性。研究发现，模型规模达到一定阈值以上后，会在多步算术、大学考试、单词释义等场景的准确性显著提升，称为涌现。

大语言模型（LLM）的原始训练目标是为了生成自然、连贯的文本，因为其本身接受了大量的文本进行预训练，所以根据提示补全和创造文本这其实只是模型的原生能力。在原生能力范畴下，LLM模型具备文本创造能力，如写小说、新闻、诗歌。然而，仅仅能进行文本创造，并不足以让大语言模型掀起新的一轮技术革命，引爆这一轮技术革命的真正原因是：大语言模型的涌现能力。

针对这些在小模型上没有出现，但是在大模型上出现的不可预测的能力，就被称为涌现能力。大型语言模型具有从原始训练数据中自动学习并发现新的、更高层次的特征和模式的能力。这些特征和模式可能与文本分析无关，或者超出了模型的设计目标。涌现能力可以让LLM在没有额外训练或微调的情况下，完成一些之前无法完成或者很难完成的任务。

大模型的涌现能力主要是由以下几个原因造成的：
数据量的增加：随着互联网的发展和数字化信息的爆炸增长，可用于训练模型的数据量大大增加。更多的数据可以提供更丰富、更广泛的语言知识和语境，使得模型能够更好地理解和生成文本。
计算能力的提升：随着计算硬件的发展，特别是图形处理器（GPU）和专用的AI芯片（如TPU）的出现，计算能力大幅提升。这使得训练更大、更复杂的模型成为可能，从而提高了模型的性能和涌现能力。
模型架构的改进：近年来，一些新的模型架构被引入，如Transformer，它在处理序列数据上表现出色。这些新的架构通过引入自注意力机制等技术，使得模型能够更好地捕捉长距离的依赖关系和语言结构，提高了模型的表达能力和生成能力。
预训练和微调的方法：预训练和微调是一种有效的训练策略，可以在大规模无标签数据上进行预训练，然后在特定任务上进行微调。这种方法可以使模型从大规模数据中学习到更丰富的语言知识和语义理解，从而提高模型的涌现能力。
综上所述，大模型的涌现能力是由数据量的增加、计算能力的提升、模型架构的改进以及预训练和微调等因素共同作用的结果。这些因素的进步使得大模型能够更好地理解和生成文本，为自然语言处理领域带来了显著的进展。

LLM的涌现能力主要包含以下几个方面：

1. In Context Learning（“Few-Shot Prompt”），即用户给出几个例子，LLM不需要调整模型参数，就能够处理好任务。例如，用户给出几个情感计算的例子，LLM就能够根据文本判断情感倾向。
2. Augmented Prompting Strategies，即用户使用一些特殊的手段来引导或激发LLM的涌现能力。例如，用户使用多步推理（chain-of-thought prompting）来让LLM进行复杂的逻辑推理；用户使用指令（instructions）来描述任务，而不使用少量示例（few-shot exemplars）来让LLM进行指令跟随（instruction following）；用户使用程序语言（programming language）来让LLM进行程序执行（program execution）。
3. Zero-Shot or Few-Shot Learning，即LLM能够在没有任何或极少量的训练数据的情况下，解决一些从未见过或者很少见过的问题。例如，LLM能够根据表情符号解码电影名；LLM能够模拟Linux计算机终端并执行一些简单的数学计算程序。

LLM的涌现能力的激活方法主要有以下几种（提示工程和微调）：

1. 增加模型的规模，即增加模型中参数的数量和复杂度。这可以让模型更好地建立单词之间的联系，更接近人类语言的水平。一般来说，模型规模越大，涌现能力越强。
2. 增加数据的规模，即增加模型训练所用的文本数据的数量和质量。这可以让模型学习到更多的知识和信息，更全面地覆盖各种领域和场景。一般来说，数据规模越大，涌现能力越广。
3. 改进模型的架构和训练方法，即使用更先进和有效的神经网络结构和优化算法来构建和训练模型。这可以让模型更灵活和高效地处理各种任务和问题。一般来说，模型架构和训练方法越优秀，涌现能力越稳定。
4. 使用合适的提示（prompt）和反馈（feedback），即根据任务和问题的特点，设计合理和有效的输入输出格式和内容，以及及时和准确的评估指标和反馈机制。这可以让模型更容易和准确地理解用户的意图和需求，并给出满意的回答。一般来说，提示和反馈越合适，涌现能力越明显。

1.5 为何现在的大模型大部分是Decoder only结构？

LLM之所以主要都用Decoder-only架构，除了训练效率和工程实现上的优势外，在理论上是因为Encoder的双向注意力会存在低秩问题，这可能会削弱模型表达能力，就生成任务而言，引入双向注意力并无实质好处。而Encoder-Decoder架构之所以能够在某些场景下表现更好，大概只是因为它多了一倍参数。所以，在同等参数量、同等推理成本下，Decoder-only架构就是最优选择了。

众所周知，Attention矩阵一般是由一个低秩分解的矩阵加softmax而来，具体来说是一个 n × d 的矩阵与 d × n 的矩阵相乘后再加softmax（n ≫ d ），这种形式的Attention的矩阵因为低秩问题而带来表达能力的下降，具体分析可以参考《Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth》。而Decoder-only架构的Attention矩阵是一个下三角阵，注意三角阵的行列式等于它对角线元素之积，由于softmax的存在，对角线必然都是正数，所以它的行列式必然是正数，即Decoder-only架构的Attention矩阵一定是满秩的！满秩意味着理论上有更强的表达能力，也就是说，Decoder-only架构的Attention矩阵在理论上具有更强的表达能力，改为双向注意力反而会变得不足。
详细参考链接：

1.6 简单 介绍一下 大模型【LLMs】？

LLM（Large Language Model，大型语言模型）是指基于大规模数据和参数量的语言模型。具体的架构可以有多种选择，以下是一种常见的大模型LLM的架构介绍：

Transformer架构：大模型LLM常使用Transformer架构，它是一种基于自注意力机制的序列模型。Transformer架构由多个编码器层和解码器层组成，每个层都包含多头自注意力机制和前馈神经网络。这种架构可以捕捉长距离的依赖关系和语言结构，适用于处理大规模语言数据。

自注意力机制（Self-Attention）：自注意力机制是Transformer架构的核心组件之一。它允许模型在生成每个词时，根据输入序列中的其他词来计算该词的表示。自注意力机制能够动态地为每个词分配不同的权重，从而更好地捕捉上下文信息。

多头注意力（Multi-Head Attention）：多头注意力是自注意力机制的一种扩展形式。它将自注意力机制应用多次，每次使用不同的权重矩阵进行计算，得到多个注意力头。多头注意力可以提供更丰富的上下文表示，增强模型的表达能力。

前馈神经网络（Feed-Forward Network）：在Transformer架构中，每个注意力层后面都有一个前馈神经网络。前馈神经网络由两个全连接层组成，通过非线性激活函数（如ReLU）进行变换。它可以对注意力层输出的表示进行进一步的映射和调整。

预训练和微调：大模型LLM通常采用预训练和微调的方法进行训练。预训练阶段使用大规模无标签数据，通过自监督学习等方法进行训练，使模型学习到丰富的语言知识。微调阶段使用有标签的特定任务数据，如文本生成、机器翻译等，通过有监督学习进行模型的微调和优化。

需要注意的是，大模型LLM的具体架构可能会因不同的研究和应用而有所不同。上述介绍的是一种常见的架构，但实际应用中可能会有一些变体或改进。

1.7大模型【LLMs】后面跟的 175B、60B、540B等 指什么？

175B、60B、540B等：这些一般指参数的个数，B是Billion/十亿的意思，175B是1750亿参数，这是ChatGPT大约的参数规模。

1.8 大模型【LLMs】具有什么优点？

1.9 大模型【LLMs】具有什么缺点？

DeepMind众多学者综合了计算机科学、语言学和社会科学的专业知识和文献，确定了大规模语言模型应用的21种风险，这些风险分为六个大类：歧视、负面言论；信息危害；错误信息危害；信息的恶意使用；人机交互危害，以及环境和社会经济的危害。在讨论每一种风险时，又区分了“现已观察到的”风险和“预期的”风险。对于已经在LLMs中观察到的风险，讨论了导致危害的因果机制、相关证据和风险的缓解方法。对于尚未产生但基于对自然语言处理技术的评估认为其可能存在的风险，在前瞻性、风险评估和缓解方面，进行阐释，以期让LLMs的提供者做出负责任的决策。
详细请参考：大规模语言模型 (LLMs) 的六大风险分析

2 大模型（LLMs）进阶

2.1 LLMs 复读机问题

2.1.1 什么是 LLMs 复读机问题？

LLMs复读机问题指的是大型语言模型（LLMs）在生成文本时出现的一种现象，即模型倾向于无限地复制输入的文本或者以过度频繁的方式重复相同的句子或短语。这种现象使得模型的输出缺乏多样性和创造性，给用户带来了不好的体验。

2.1.2 为什么会出现 LLMs 复读机问题？

1. 数据偏差：大型语言模型通常是通过预训练阶段使用大规模无标签数据进行训练的。如果训练数据中存在大量的重复文本或者某些特定的句子或短语出现频率较高，模型在生成文本时可能会倾向于复制这些常见的模式。
2. 训练目标的限制：大型语言模型的训练通常是基于自监督学习的方法，通过预测下一个词或掩盖词来学习语言模型。这样的训练目标可能使得模型更倾向于生成与输入相似的文本，导致复读机问题的出现。
3. 缺乏多样性的训练数据：虽然大型语言模型可以处理大规模的数据，但如果训练数据中缺乏多样性的语言表达和语境，模型可能无法学习到足够的多样性和创造性，导致复读机问题的出现。

2.1.3 如何缓解 LLMs 复读机问题？

1. 多样性训练数据：在训练阶段，尽量使用多样性的语料库来训练模型，避免数据偏差和重复文本的问题。
2. 引入噪声：在生成文本时，可以引入一些随机性或噪声，例如通过采样不同的词或短语，或者引入随机的变换操作，以增加生成文本的多样性。
3. 温度参数调整：温度参数是用来控制生成文本的多样性的一个参数。通过调整温度参数的值，可以控制生成文本的独创性和多样性，从而减少复读机问题的出现。
4. 后处理和过滤：对生成的文本进行后处理和过滤，去除重复的句子或短语，以提高生成文本的质量和多样性。
5. Beam搜索调整：在生成文本时，可以调整Beam搜索算法的参数。Beam搜索是一种常用的生成策略，它在生成过程中维护了一个候选序列的集合。通过调整Beam大小和搜索宽度，可以控制生成文本的多样性和创造性。
6. 后处理和过滤：对生成的文本进行后处理和过滤，去除重复的句子或短语，以提高生成文本的质量和多样性。可以使用文本相似度计算方法或规则来检测和去除重复的文本。
7. 人工干预和控制：对于关键任务或敏感场景，可以引入人工干预和控制机制，对生成的文本进行审查和筛选，确保生成结果的准确性和多样性。

需要注意的是，缓解LLMs复读机问题是一个复杂的任务，没有一种通用的解决方案。不同的方法可能适用于不同的场景和任务，需要根据具体情况进行选择和调整。此外，解决复读机问题还需要综合考虑数据、训练目标、模型架构和生成策略等多个因素，需要进一步的研究和实践来提高大型语言模型的生成文本多样性和创造性。

2.2 llama 系列问题

2.2.1 llama 输入句子长度理论上可以无限长吗？

这里引用苏神（RoPE作者）在群里的回复。

限制在训练数据。理论上rope的llama可以处理无限长度，但问题是太长了效果不好啊，没训练过的长度效果通常不好。而想办法让没训练过的长度效果好，这个问题就叫做“长度外推性”问题。
所以接受2k的长度限制吧。

理论上来说，LLMs（大型语言模型）可以处理任意长度的输入句子，但实际上存在一些限制和挑战。下面是一些相关的考虑因素：

1.计算资源：生成长句子需要更多的计算资源，包括内存和计算时间。由于LLMs通常是基于神经网络的模型，计算长句子可能会导致内存不足或计算时间过长的问题。
2. 模型训练和推理：训练和推理长句子可能会面临一些挑战。在训练阶段，处理长句子可能会导致梯度消失或梯度爆炸的问题，影响模型的收敛性和训练效果。在推理阶段，生成长句子可能会增加模型的错误率和生成时间。
3. 上下文建模：LLMs是基于上下文建模的模型，长句子的上下文可能会更加复杂和深层。模型需要能够捕捉长句子中的语义和语法结构，以生成准确和连贯的文本。

尽管存在这些挑战，研究人员和工程师们已经在不断努力改进和优化LLMs，以处理更长的句子。例如，可以采用分块的方式处理长句子，将其分成多个较短的片段进行处理。此外，还可以通过增加计算资源、优化模型结构和参数设置，以及使用更高效的推理算法来提高LLMs处理长句子的能力。
值得注意的是，实际应用中，长句子的处理可能还受到应用场景、任务需求和资源限制等因素的影响。因此，在使用LLMs处理长句子时，需要综合考虑这些因素，并根据具体情况进行选择和调整。

2.2.1 什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？

选择使用哪种大模型，如Bert、LLaMA或ChatGLM，取决于具体的应用场景和需求。下面是一些指导原则：

1. Bert模型：Bert是一种预训练的语言模型，适用于各种自然语言处理任务，如文本分类、命名实体识别、语义相似度计算等。如果你的任务是通用的文本处理任务，而不依赖于特定领域的知识或语言风格，Bert模型通常是一个不错的选择。
2. LLaMA模型：LLaMA（Language Model for the Medical Domain）是专门针对医学领域的预训练语言模型。如果你的应用场景涉及医学领域，例如医学文本的理解、医学问答系统等，LLaMA模型可能更适合，因为它在医学领域的知识和术语上进行了专门的训练。
3. ChatGLM模型：ChatGLM是一个面向对话生成的语言模型，适用于构建聊天机器人、智能客服等对话系统。如果你的应用场景需要模型能够生成连贯、流畅的对话回复，并且需要处理对话上下文、生成多轮对话等，ChatGLM模型可能是一个较好的选择。

在选择模型时，还需要考虑以下因素：

• 数据可用性：不同模型可能需要不同类型和规模的数据进行训练。确保你有足够的数据来训练和微调所选择的模型。
• 计算资源：大模型通常需要更多的计算资源和存储空间。确保你有足够的硬件资源来支持所选择的模型的训练和推理。
• 预训练和微调：大模型通常需要进行预训练和微调才能适应特定任务和领域。了解所选择模型的预训练和微调过程，并确保你有相应的数据和时间来完成这些步骤。

最佳选择取决于具体的应用需求和限制条件。在做出决策之前，建议先进行一些实验和评估，以确定哪种模型最适合你的应用场景。

2.2.2 各个专业领域是否需要各自的大模型来服务？

各个专业领域通常需要各自的大模型来服务，原因如下：

1. 领域特定知识：不同领域拥有各自特定的知识和术语，需要针对该领域进行训练的大模型才能更好地理解和处理相关文本。例如，在医学领域，需要训练具有医学知识的大模型，以更准确地理解和生成医学文本。
2. 语言风格和惯用语：各个领域通常有自己独特的语言风格和惯用语，这些特点对于模型的训练和生成都很重要。专门针对某个领域进行训练的大模型可以更好地掌握该领域的语言特点，生成更符合该领域要求的文本。
3. 领域需求的差异：不同领域对于文本处理的需求也有所差异。例如，金融领域可能更关注数字和统计数据的处理，而法律领域可能更关注法律条款和案例的解析。因此，为了更好地满足不同领域的需求，需要专门针对各个领域进行训练的大模型。
4. 数据稀缺性：某些领域的数据可能相对较少，无法充分训练通用的大模型。针对特定领域进行训练的大模型可以更好地利用该领域的数据，提高模型的性能和效果。

尽管需要各自的大模型来服务不同领域，但也可以共享一些通用的模型和技术。例如，通用的大模型可以用于处理通用的文本任务，而领域特定的模型可以在通用模型的基础上进行微调和定制，以适应特定领域的需求。这样可以在满足领域需求的同时，减少模型的重复训练和资源消耗

2.2.3 如何让大模型处理更长的文本？

1. 分块处理：将长文本分割成较短的片段，然后逐个片段输入模型进行处理。这样可以避免长文本对模型内存和计算资源的压力。在处理分块文本时，可以使用重叠的方式，即将相邻片段的一部分重叠，以保持上下文的连贯性。
2. 层次建模：通过引入层次结构，将长文本划分为更小的单元。例如，可以将文本分为段落、句子或子句等层次，然后逐层输入模型进行处理。这样可以减少每个单元的长度，提高模型处理长文本的能力。
3. 部分生成：如果只需要模型生成文本的一部分，而不是整个文本，可以只输入部分文本作为上下文，然后让模型生成所需的部分。例如，输入前一部分文本，让模型生成后续的内容。
4. 注意力机制：注意力机制可以帮助模型关注输入中的重要部分，可以用于处理长文本时的上下文建模。通过引入注意力机制，模型可以更好地捕捉长文本中的关键信息。
5. 模型结构优化：通过优化模型结构和参数设置，可以提高模型处理长文本的能力。例如，可以增加模型的层数或参数量，以增加模型的表达能力。还可以使用更高效的模型架构，如Transformer等，以提高长文本的处理效率。

需要注意的是，处理长文本时还需考虑计算资源和时间的限制。较长的文本可能需要更多的内存和计算时间，因此在实际应用中需要根据具体情况进行权衡和调整。

大模型LLM相关面试题整理-训练集-训练经验-微调

大模型LLM相关面试题整理-PEFT

大模型LLM相关面试题整理-怎么让英文大语言模型支持中文？–构建中文tokenization–继续预训练–指令微调

6 大模型（LLMs）推理

6.1 大模型（LLMs）推理面

6.1.1 为什么大模型推理时显存涨的那么多还一直占着？

大语言模型进行推理时，显存涨得很多且一直占着显存不释放的原因主要有以下几点：

• 模型参数占用显存：大语言模型通常具有巨大的参数量，这些参数需要存储在显存中以供推理使用。因此，在推理过程中，模型参数会占用相当大的显存空间。
• 输入数据占用显存：进行推理时，需要将输入数据加载到显存中。对于大语言模型而言，输入数据通常也会占用较大的显存空间，尤其是对于较长的文本输入。
• 中间计算结果占用显存：在推理过程中，模型会进行一系列的计算操作，生成中间结果。这些中间结果也需要存储在显存中，以便后续计算使用。对于大语言模型而言，中间计算结果可能会占用较多的显存空间。
• 内存管理策略：某些深度学习框架在推理时采用了一种延迟释放显存的策略，即显存不会立即释放，而是保留一段时间以备后续使用。这种策略可以减少显存的分配和释放频率，提高推理效率，但也会导致显存一直占用的现象。

需要注意的是，显存的占用情况可能会受到硬件设备、深度学习框架和模型实现的影响。不同的环境和设置可能会导致显存占用的差异。如果显存占用过多导致资源不足或性能下降，可以考虑调整模型的批量大小、优化显存分配策略或使用更高性能的硬件设备来解决问题

6.1.2 大模型在gpu和cpu上推理速度如何？

大语言模型在GPU和CPU上进行推理的速度存在显著差异。一般情况下，GPU在进行深度学习推理任务时具有更高的计算性能，因此大语言模型在GPU上的推理速度通常会比在CPU上更快。

以下是GPU和CPU在大语言模型推理速度方面的一些特点：
GPU推理速度快：GPU具有大量的并行计算单元，可以同时处理多个计算任务。对于大语言模型而言，GPU可以更高效地执行矩阵运算和神经网络计算，从而加速推理过程。
CPU推理速度相对较慢：相较于GPU，CPU的计算能力较弱，主要用于通用计算任务。虽然CPU也可以执行大语言模型的推理任务，但由于计算能力有限，推理速度通常会较慢。
使用GPU加速推理：为了充分利用GPU的计算能力，通常会使用深度学习框架提供的GPU加速功能，如CUDA或OpenCL。这些加速库可以将计算任务分配给GPU并利用其并行计算能力，从而加快大语言模型的推理速度。

需要注意的是，推理速度还受到模型大小、输入数据大小、计算操作的复杂度以及硬件设备的性能等因素的影响。因此，具体的推理速度会因具体情况而异。一般来说，使用GPU进行大语言模型的推理可以获得更快的速度。

6.1.3 推理速度上，int8和fp16比起来怎么样？

在大语言模型的推理速度上，使用INT8（8位整数量化）和FP16（半精度浮点数）相对于FP32（单精度浮点数）可以带来一定的加速效果。这是因为INT8和FP16的数据类型在表示数据时所需的内存和计算资源较少，从而可以加快推理速度。

具体来说，INT8在相同的内存空间下可以存储更多的数据，从而可以在相同的计算资源下进行更多的并行计算。这可以提高每秒推理操作数（Operations Per Second，OPS）的数量，加速推理速度。

FP16在相对较小的数据范围内进行计算，因此在相同的计算资源下可以执行更多的计算操作。虽然FP16的精度相对较低，但对于某些应用场景，如图像处理和语音识别等，FP16的精度已经足够满足需求。

需要注意的是，INT8和FP16的加速效果可能会受到硬件设备的支持程度和具体实现的影响。某些硬件设备可能对INT8和FP16有更好的优化支持，从而进一步提高推理速度。

综上所述，使用INT8和FP16数据类型可以在大语言模型的推理过程中提高推理速度，但需要根据具体场景和硬件设备的支持情况进行评估和选择。

6.1.4 大模型有推理能力吗？

是的，大语言模型具备推理能力。推理是指在训练阶段之后，使用已经训练好的模型对新的输入数据进行预测、生成或分类等任务。大语言模型可以通过输入一段文本或问题，然后生成相应的回答或补全文本。

大语言模型通常基于循环神经网络（RNN）或变种（如长短时记忆网络LSTM或门控循环单元GRU）等结构构建，通过学习大量的文本数据，模型可以捕捉到语言的规律和模式。这使得大语言模型能够对输入的文本进行理解和推理，生成合理的回答或补全。

例如，GPT（Generative Pre-trained Transformer）模型是一种大型的预训练语言模型，它通过预训练的方式学习大规模的文本数据，然后可以在推理阶段生成连贯、合理的文本。这种模型可以用于自然语言处理任务，如文本生成、机器翻译、对话系统等。

需要注意的是，大语言模型的推理能力是基于其训练数据的统计规律和模式，因此在面对新颖、复杂或特殊的输入时，可能会出现推理错误或生成不准确的结果。此外，大语言模型的推理能力也受到模型的大小、训练数据的质量和数量、推理算法等因素的影响。

6.1.5 大模型生成时的参数怎么设置？

在大语言模型进行推理时，参数设置通常包括以下几个方面：

• 模型选择：选择适合推理任务的模型，如循环神经网络（RNN）、长短时记忆网络（LSTM）、门控循环单元（GRU）或变种的Transformer等。不同的模型在推理任务上可能有不同的效果。
• 模型加载：加载预训练好的模型参数，这些参数可以是在大规模文本数据上进行预训练得到的。预训练模型的选择应根据任务和数据集的特点来确定。
• 推理算法：选择合适的推理算法，如贪婪搜索、束搜索（beam search）或采样方法等。贪婪搜索只考虑当前最有可能的输出，束搜索会考虑多个候选输出，采样方法会根据概率分布进行随机采样。
• 温度参数：在生成文本时，可以通过调整温度参数来控制生成的文本的多样性。较高的温度会增加生成文本的随机性和多样性，而较低的温度会使生成文本更加确定和一致。
• 推理长度：确定生成文本的长度限制，可以设置生成的最大长度或生成的最小长度等。
  其他参数：根据具体任务和需求，可能还需要设置其他参数，如生成的起始文本、生成的批次大小等。

以上参数设置需要根据具体任务和数据集的特点进行调整和优化。通常情况下，可以通过实验和调参来找到最佳的参数组合，以获得较好的推理效果。同时，还可以通过人工评估和自动评估指标来评估生成文本的质量和准确性，进一步优化参数设置。

6.2 省内存的大语言模型训练/微调/推理方法

6.2.1 有哪些省内存的大语言模型训练/微调/推理方法？

有一些方法可以帮助省内存的大语言模型训练、微调和推理，以下是一些常见的方法：

• 参数共享（Parameter Sharing）：通过共享模型中的参数，可以减少内存占用。例如，可以在不同的位置共享相同的嵌入层或注意力机制。
• 梯度累积（Gradient Accumulation）：在训练过程中，将多个小批次的梯度累积起来，然后进行一次参数更新。这样可以减少每个小批次的内存需求，特别适用于GPU内存较小的情况。
• 梯度裁剪（Gradient Clipping）：通过限制梯度的大小，可以避免梯度爆炸的问题，从而减少内存使用。
• 分布式训练（Distributed Training）：将训练过程分布到多台机器或多个设备上，可以减少单个设备的内存占用。分布式训练还可以加速训练过程。
• 量化（Quantization）：将模型参数从高精度表示（如FP32）转换为低精度表示（如INT8或FP16），可以减少内存占用。量化方法可以通过减少参数位数或使用整数表示来实现。
• 剪枝（Pruning）：通过去除冗余或不重要的模型参数，可以减少模型的内存占用。剪枝方法可以根据参数的重要性进行选择，从而保持模型性能的同时减少内存需求。
• 蒸馏（Knowledge Distillation）：使用较小的模型（教师模型）来指导训练较大的模型（学生模型），可以从教师模型中提取知识，减少内存占用。
• 分块处理（Chunking）：将输入数据或模型分成较小的块进行处理，可以减少内存需求。例如，在推理过程中，可以将较长的输入序列分成多个较短的子序列进行处理。

这些方法可以结合使用，根据具体场景和需求进行选择和调整。同时，不同的方法可能对不同的模型和任务有不同的效果，因此需要进行实验和评估。

6.2.2 如何 估算模型所需的RAM？

6.2.3 Fp16-mixed precision

6.2.4 Int8-bitsandbytes

6.2.5 LoRA

6.2.6 Gradient Checkpointing

6.2.7 Torch FSDP+CPU offload

6.3.1 如何让大模型输出合规化

要让大模型输出合规化，可以采取以下方法：

• 数据清理和预处理：在进行模型训练之前，对输入数据进行清理和预处理，以确保数据符合合规要求。这可能包括去除敏感信息、匿名化处理、数据脱敏等操作。
• 引入合规性约束：在模型训练过程中，可以引入合规性约束，以确保模型输出符合法律和道德要求。例如，可以在训练过程中使用合规性指标或损失函数来约束模型的输出。
• 限制模型访问权限：对于一些特定的应用场景，可以通过限制模型的访问权限来确保输出的合规性。只允许授权用户或特定角色访问模型，以保护敏感信息和确保合规性。
• 解释模型决策过程：为了满足合规性要求，可以对模型的决策过程进行解释和解释。通过提供透明的解释，可以使用户或相关方了解模型是如何做出决策的，并评估决策的合规性。
• 审查和验证模型：在模型训练和部署之前，进行审查和验证以确保模型的输出符合合规要求。这可能涉及到法律专业人士、伦理专家或相关领域的专业人士的参与。
• 监控和更新模型：持续监控模型的输出，并根据合规要求进行必要的更新和调整。及时发现和解决合规性问题，确保模型的输出一直保持合规。
• 合规培训和教育：为使用模型的人员提供合规培训和教育，使其了解合规要求，并正确使用模型以确保合规性。

需要注意的是，合规性要求因特定领域、应用和地区而异，因此在实施上述方法时，需要根据具体情况进行调整和定制。同时，合规性是一个动态的过程，需要与法律、伦理和社会要求的变化保持同步。

6.3.2 应用模式变更

大语言模型的应用模式变更可以包括以下几个方面：

• 任务定制化：将大语言模型应用于特定的任务或领域，通过对模型进行微调或迁移学习，使其适应特定的应用场景。例如，将大语言模型用于自动文本摘要、机器翻译、对话系统等任务。
• 个性化交互：将大语言模型应用于个性化交互，通过对用户输入进行理解和生成相应的回复，实现更自然、智能的对话体验。这可以应用于智能助手、在线客服、社交媒体等场景。
• 内容生成与创作：利用大语言模型的生成能力，将其应用于内容生成和创作领域。例如，自动生成新闻报道、创意文案、诗歌等内容，提供创作灵感和辅助创作过程。
• 情感分析与情绪识别：通过大语言模型对文本进行情感分析和情绪识别，帮助企业或个人了解用户的情感需求和反馈，以改善产品、服务和用户体验。
• 知识图谱构建：利用大语言模型的文本理解能力，将其应用于知识图谱的构建和更新。通过对海量文本进行分析和提取，生成结构化的知识表示，为知识图谱的建设提供支持。
• 法律和合规应用：大语言模型可以用于法律和合规领域，例如自动生成法律文件、合同条款、隐私政策等内容，辅助法律专业人士的工作。
• 教育和培训应用：将大语言模型应用于教育和培训领域，例如智能辅导系统、在线学习平台等，为学生提供个性化的学习辅助和教学资源。
• 创新应用场景：探索和创造全新的应用场景，结合大语言模型的能力和创新思维，开拓新的商业模式和服务方式。例如，结合增强现实技术，实现智能导览和语音交互；结合虚拟现实技术，创建沉浸式的交互体验等。

应用模式变更需要充分考虑数据安全、用户隐私、道德和法律等因素，确保在合规和可持续发展的前提下进行应用创新。同时，与领域专家和用户进行密切合作，不断优化和改进应用模式，以满足用户需求和市场竞争。

7 大模型（LLMs）预训练面

大模型（LLMs）增量预训练篇
为什么要增量预训练？
进行 增量预训练 需要做哪些准备工作？
增量预训练 所用 训练框架？
增量预训练 训练流程 是怎么样？
点击查看答案

8 大模型（LLMs）评测面

8.1 大模型怎么评测？

大语言模型的评测通常涉及以下几个方面：

• 语法和流畅度：评估模型生成的文本是否符合语法规则，并且是否流畅自然。这可以通过人工评估或自动评估指标如困惑度（perplexity）来衡量。
• 语义准确性：评估模型生成的文本是否准确传达了所需的含义，并且是否避免了歧义或模棱两可的表达。这需要通过人工评估来判断，通常需要领域专家的参与。
• 上下文一致性：评估模型在生成长篇文本时是否能够保持一致的上下文逻辑和连贯性。这需要通过人工评估来检查模型生成的文本是否与前文和后文相衔接。
• 信息准确性：评估模型生成的文本中所包含的信息是否准确和可靠。这可以通过人工评估或与已知信息进行对比来判断。
• 创造性和多样性：评估模型生成的文本是否具有创造性和多样性，是否能够提供不同的观点和表达方式。这需要通过人工评估来判断。

评测大语言模型是一个复杂的过程，需要结合人工评估和自动评估指标来进行综合评价。由于大语言模型的规模和复杂性，评测结果往往需要多个评估者的共识，并且需要考虑到评估者的主观因素和评估标准的一致性。

8.2 大模型的honest原则是如何实现的？

大语言模型的"honest"原则是指模型在生成文本时应该保持诚实和真实，不应该编造虚假信息或误导用户。实现"honest"原则可以通过以下几种方式：

• 数据训练：使用真实和可靠的数据进行模型的训练，确保模型学习到的知识和信息与真实世界相符。数据的来源和质量对于模型的"honest"性非常重要。
• 过滤和审查：在训练数据中，可以通过过滤和审查来排除不真实或不可靠的内容。这可以通过人工审核或自动筛选算法来实现，以确保训练数据的可信度。
• 监督和调整：对模型的生成结果进行监督和调整，及时发现和纠正可能的误导或虚假信息。这可以通过人工审核、用户反馈或者自动监测来实现。
• 透明度和解释性：提供模型生成文本的解释和可追溯性，使用户能够了解模型生成文本的依据和过程。这可以通过展示模型的输入数据、模型的结构和参数等方式来实现。
• 遵循道德和法律准则：确保模型的设计和使用符合道德和法律的准则，不违背伦理和法律规定。这需要在模型的开发和应用过程中考虑到社会和伦理的因素。

需要注意的是，尽管大语言模型可以尽力遵循"honest"原则，但由于其是基于训练数据进行生成，仍然存在可能生成不准确或误导性的文本。因此，用户在使用大语言模型生成的文本时，仍需保持批判性思维，并结合其他信息和验证渠道进行判断。

8.3 模型如何判断回答的知识是训练过的已知的知识，怎么训练这种能力？

大语言模型判断回答的知识是否为训练过的已知知识，通常可以通过以下几种方式来实现：

• 训练数据：在训练大语言模型时，可以使用包含已知知识的真实数据。这些数据可以来自于可靠的来源，如百科全书、学术文献等。通过训练模型时接触到这些知识，模型可以学习到一定的知识表示和模式。
• 监督学习：可以使用人工标注的数据来进行监督学习，将已知知识标注为正确答案。在训练模型时，通过最大化与标注答案的匹配程度，模型可以学习到回答问题的知识表示和模式。
• 开放域知识库：可以利用开放域知识库，如维基百科，作为额外的训练数据。通过将知识库中的信息与模型进行交互，模型可以学习到知识的表示和检索能力。
• 过滤和筛选：在训练数据中，可以通过过滤和筛选来排除不准确或不可靠的信息。这可以通过人工审核或自动筛选算法来实现，以提高模型对已知知识的准确性。

训练这种能力需要充分的训练数据和有效的训练方法。同时，还需要进行模型的评估和调优，以确保模型能够正确理解和回答已知的知识问题。此外，定期更新训练数据和模型，以跟进新的知识和信息，也是保持模型知识更新和准确性的重要步骤。

8.4 如何衡量大模型水平？

8.5 大模型评估方法 有哪些？

8.6 大模型评估工具 有哪些？

9 大模型（LLMs）agent 面

9.1 如何给LLM注入领域知识？

给LLM（低层次模型，如BERT、GPT等）注入领域知识的方法有很多。以下是一些建议：

• 数据增强：在训练过程中，可以通过添加领域相关的数据来增强模型的训练数据。这可以包括从领域相关的文本中提取示例、对现有数据进行扩充或生成新的数据。
• 迁移学习：使用预训练的LLM模型作为基础，然后在特定领域的数据上进行微调。这样可以利用预训练模型学到的通用知识，同时使其适应新领域。
• 领域专家标注：与领域专家合作，对模型的输出进行监督式标注。这可以帮助模型学习到更准确的领域知识。
• 知识图谱：将领域知识表示为知识图谱，然后让LLM模型通过学习知识图谱中的实体和关系来理解领域知识。
• 规则和启发式方法：编写领域特定的规则和启发式方法，以指导模型的学习过程。这些方法可以是基于规则的、基于案例的或基于实例的。
• 模型融合：将多个LLM模型的预测结果结合起来，以提高模型在特定领域的性能。这可以通过投票、加权平均或其他集成方法来实现。
• 元学习：训练一个元模型，使其能够在少量领域特定数据上快速适应新领域。这可以通过在线学习、模型蒸馏或其他元学习方法来实现。
• 模型解释性：使用模型解释工具（如LIME、SHAP等）来理解模型在特定领域的预测原因，从而发现潜在的知识缺失并加以补充。
• 持续学习：在模型部署后，持续收集领域特定数据并更新模型，以保持其在新数据上的性能。
  多任务学习：通过同时训练模型在多个相关任务上的表现，可以提高模型在特定领域的泛化能力。

9.2 如果想要快速体验各种模型，该怎么办？

如果想要快速体验各种大语言模型，可以考虑以下几种方法：

• 使用预训练模型：许多大语言模型已经在大规模数据上进行了预训练，并提供了预训练好的模型参数。可以直接使用这些预训练模型进行推理，以快速体验模型的性能。常见的预训练模型包括GPT、BERT、XLNet等。
• 使用开源实现：许多大语言模型的开源实现已经在GitHub等平台上公开发布。可以根据自己的需求选择合适的开源实现，并使用提供的示例代码进行快速体验。这些开源实现通常包含了模型的训练和推理代码，可以直接使用。
• 使用云平台：许多云平台（如Google Cloud、Microsoft Azure、Amazon Web Services等）提供了大语言模型的服务。可以使用这些云平台提供的API或SDK来快速体验各种大语言模型。这些云平台通常提供了简单易用的接口，可以直接调用模型进行推理。
• 使用在线演示：一些大语言模型的研究团队或公司提供了在线演示平台，可以在网页上直接体验模型的效果。通过输入文本或选择预定义的任务，可以快速查看模型的输出结果。这种方式可以快速了解模型的性能和功能。

无论使用哪种方法，都可以快速体验各种大语言模型的效果。可以根据自己的需求和时间限制选择合适的方法，并根据体验结果进一步选择和优化模型。

大模型（LLMs）langchain 面
大模型（LLMs）langchain 面
什么是 LangChain?
LangChain 包含哪些 核心概念？
2.1 LangChain 中 Components and Chains 是什么？
2.2 LangChain 中 Prompt Templates and Values 是什么？
2.3 LangChain 中 Example Selectors 是什么？
2.4 LangChain 中 Output Parsers 是什么？
2.5 LangChain 中 Indexes and Retrievers 是什么？
2.6 LangChain 中 Chat Message History 是什么？
2.7 LangChain 中 Agents and Toolkits 是什么？
什么是 LangChain Agent?
如何使用 LangChain ?
LangChain 支持哪些功能?
什么是 LangChain model?
LangChain 包含哪些特点?
LangChain 如何使用?
8.1 LangChain 如何调用 LLMs 生成回复？
8.2 LangChain 如何修改 提示模板？
8.3 LangChain 如何链接多个组件处理一个特定的下游任务？
8.4 LangChain 如何Embedding & vector store？
LangChain 存在哪些问题及方法方案？

LangChain 低效的令牌使用问题
LangChain 文档的问题
LangChain 太多概念容易混淆，过多的“辅助”函数问题
LangChain 行为不一致并且隐藏细节问题
LangChain 缺乏标准的可互操作数据类型问题
LangChain 替代方案？

基于LLM+向量库的文档对话 经验面
一、基于LLM+向量库的文档对话 基础面

1.1 为什么 大模型 需要 外挂(向量)知识库？
1.2. 基于LLM+向量库的文档对话 思路是怎么样？
1.3. 基于LLM+向量库的文档对话 核心技术是什么？
1.4. 基于LLM+向量库的文档对话 prompt 模板 如何构建？
二、基于LLM+向量库的文档对话 存在哪些痛点？

三、基于LLM+向量库的文档对话 工程示例面

点击查看答案

LLM文档对话 —— pdf解析关键问题
一、为什么需要进行pdf解析？

二、为什么需要 对 pdf 进行解析？

三、pdf解析 有哪些方法，对应的区别是什么？

四、pdf解析 存在哪些问题？

五、如何 长文档（书籍）中关键信息？

六、为什么要提取标题甚至是多级标题？

七、如何提取 文章标题？

八、如何区分单栏还是双栏pdf？如何重新排序？

九、如何提取表格和图片中的数据？

十、基于AI的文档解析有什么优缺点？

点击查看答案

基于LLM+向量库的文档对话 经验面
一、基于LLM+向量库的文档对话 基础面

1.1 为什么 大模型 需要 外挂(向量)知识库？
1.2. 基于LLM+向量库的文档对话 思路是怎么样？
1.3. 基于LLM+向量库的文档对话 核心技术是什么？
1.4. 基于LLM+向量库的文档对话 prompt 模板 如何构建？
二、基于LLM+向量库的文档对话 存在哪些痛点？

三、基于LLM+向量库的文档对话 工程示例面

点击查看答案

大模型（LLMs）强化学习面
简单介绍强化学习？
简单介绍一下 RLHF？
奖励模型需要和基础模型一致吗？
RLHF 在实践过程中存在哪些不足？
如何解决 人工产生的偏好数据集成本较高，很难量产问题？
如何解决三个阶段的训练（SFT->RM->PPO）过程较长，更新迭代较慢问题？
如何解决 PPO 的训练过程同时存在4个模型（2训练，2推理），对计算资源的要求较高 问题？
点击查看答案

大模型（LLMs）软硬件配置面
建议的软件环境是什么？
点击查看答案

点击查看答案
大模型（LLMs）显存问题面
大模型大概有多大，模型文件有多大?
能否用4 * v100 32G训练vicuna 65b？
如果就是想要试试65b模型，但是显存不多怎么办？
nB模型推理需要多少显存？
nB模型训练需要多少显存？
如何 估算模型所需的RAM？
如何评估你的显卡利用率?
测试你的显卡利用率 实现细节篇
如何查看多机训练时的网速？
如何查看服务器上的多卡之间的NVLINK topo？
如何查看服务器上显卡的具体型号?
如何查看训练时的flops？（也就是每秒的计算量）
如何查看对deepspeed的环境配置是否正确？
tf32格式有多长？
哪里看各类显卡算力比较？
（torch profiler）如何查看自己的训练中通信开销？
点击查看答案
大模型（LLMs）分布式训练面
大模型（LLMs）分布式训练面
理论篇
1.1 训练 大语言模型 存在问题？
1.2 什么是 点对点通信？
1.3 什么是 集体通信？
1.4 什么是 数据并行？
1.5 数据并行 如何 提升效率？
1.6 什么是 流水线并行？
1.7 什么是 张量并行 (intra-layer)？
1.8 数据并行 vs 张量并行 vs 流水线并行?
1.9 什么是 3D并行？
1.10 想要训练1个LLM，如果只想用1张显卡，那么对显卡的要求是什么？
1.11 如果有N张显存足够大的显卡，怎么加速训练？
1.12 如果显卡的显存不够装下一个完整的模型呢？
1.13 PP推理时，是一个串行的过程，1个GPU计算，其他空闲，有没有其他方式？
1.14 3种并行方式可以叠加吗？
1.15 Colossal-AI 有1D/2D/2.5D/3D，是什么情况？
1.16 除了3D并行有没有其他方式大规模训练？
1.17 有了ZeRO系列，为什么还需要3D并行？
1.18 平民适不适合玩3D并行？
1.19 平民适不适合直接上多机多卡的ZeRO3（万兆网）？
1.20 分布式并行及显存优化技术并行技术有哪一些，都有什么特点？
1.21 显存优化技术有哪一些，都有什么特点？
1.22 常见的分布式训练框架哪一些，都有什么特点？
实践篇
2.1 假如有超多的8卡A100节点（DGX A100），如何应用3D并行策略？
2.2 如果想构这样一个大规模并行训练系统，训练框架如何选？
2.3 训练框架如何选？
并行化策略选择篇
3.1 如何选择一款分布式训练框架？
3.2 如何选择一款分布式训练框架？
3.3 单GPU
3.4 单节点多卡
3.5 多节点多卡
问题篇
4.1 推理速度验证
4.2 并行化训练加速
4.3 deepspeed 训练过程，报找不主机
4.4 为什么 多机训练效率不如单机？
4.5 多机训练不通，DeepSPeed配置问题
点击查看答案

图解分布式训练（一） —— 流水线并行（Pipeline Parallelism）面
为什么需要流水线并行（Pipeline Parallelism）？

一、流水线并行（Pipeline Parallelism） 优化目标是什么？

二、图解 流水线并行（Pipeline Parallelism）模型并行 必要性？

三、流水线并行（Pipeline Parallelism） 图解？

四、流水线并行（Pipeline Parallelism）优缺点？

点击查看答案

图解分布式训练（二） —— nn.DataParallel面
为什么需要nn.DataParallel？

一、pytorch中的GPU操作默认是什么样？

二、介绍一下 nn.DataParallel 函数？

三、nn.DataParallel 函数 处理逻辑 介绍一下？

四、nn.DataParallel 函数 常见问题及解答 有哪些？

4.1 多GPU计算减少了程序运行的时间？
4.2 如何保存和加载多GPU训练模型呢？
4.3 为什么第一块卡的显存会占用的更多一些？
4.4 直接使用nn.DataParallel的时候，训练采用多卡训练，会出现一个warning？
4.5 device_ids 0 被占用问题
五、nn.DataParallel 函数 参数更新方式 ？

六、nn.DataParallel 函数 优点 介绍一下？

七、nn.DataParallel 函数 缺点 介绍一下？

八、nn.DataParallel 函数 实战？

点击查看答案

图解分布式训练（三） —— nn.parallel.DistributedDataParallel
为什么需要 nn.parallel.DistributedDataParallel ？

一、什么是 DistributedDataParallel 核心 —— Ring-AllReduce？

二、nn.parallel.DistributedDataParallel 函数 介绍一下？

三、nn.parallel.DistributedDataParallel 函数 如何多卡加速训练？

四、nn.parallel.DistributedDataParallel 实现流程介绍一下？

五、nn.parallel.DistributedDataParallel 参数更新介绍一下？

六、nn.DataParallel(以下简称DP) vs DistributedDataParallel(以下简称DDP)介绍一下？

七、DistributedDataParallel(以下简称DDP) 优点有哪些？

八、DistributedDataParallel(以下简称DDP) 缺点有哪些？

点击查看答案

图解分布式训练（四） —— torch.multiprocessing 详细解析
一、torch.multiprocessing 函数介绍一下？

二、torch.multiprocessing 函数如何使用？

三、介绍一下 共享CUDA张量？

四、介绍一下 共享策略？

五、torch.multiprocessing 函数使用

点击查看答案

图解分布式训练（五） —— AMP混合精度训练 详细解析
为什么需要 AMP混合精度训练？

一、什么是自动混合精度训练(AMP)

二、为什么需要自动混合精度？

三、混合精度训练的优点是什么？

四、混合精度训练的缺点是什么？

五、混合精度训练的关键技术是什么？

六、介绍一下 混合精度训练 动态损失缩放？

七、如何在PyTorch中使用自动混合精度？

八、如何使用 AMP混合精度训练 ？

点击查看答案

图解分布式训练（六） —— Pytorch的 DeepSpeed 详细解析
一、为什么需要 Deepspeed？

二、DeepSpeed 基本概念 介绍一下？

三、DeepSpeed 通信策略 介绍一下？

四、DeepSpeed 如何使用？

五、DeepSpeed 代码实现？

七、训练精度 介绍一下？

八、获取模型参数 介绍一下？

点击查看答案

图解分布式训练（七）—— accelerate 分布式训练 详细解析
一、为什么需要 accelerate 分布式训练？

二、什么是 accelerate 分布式训练?

三、accelerate 分布式训练 原理讲解？

四、accelerate 分布式训练 如何实践？

点击查看答案

图解分布式训练（八）—— ZeRO 学习
一、什么是 3D 并行？

二、3D 并行 策略有哪些？

三、为什么需要 ZeRO？

四、ZeRO 的 核心思想是什么？

五、ZeRO 显存如何分配？

六、ZeRO 优化策略是怎么样？

七、ZeRO Offload后的计算流程是怎么样？

点击查看答案

怎么让英文大语言模型支持中文？（二） —— 继续预训练篇
一、为什么需要进行继续预训练？

二、如何对 继续预训练 数据预处理？

三、如何 构建模型？

四、如何 使用模型？

点击查看答案

怎么让英文大语言模型支持中文？（三） —— 对预训练模型进行指令微调
一、为什么需要对预训练模型进行指令微调？

二、对预训练模型进行指令微调 数据 如何处理？

三、对预训练模型进行指令微调 tokenization 如何构建？

四、对预训练模型进行指令微调 模型 如何构建？

五、是否可以结合 其他库 使用？

点击查看答案

大模型（LLMs）加速篇
大模型（LLMs）加速篇
当前优化模型最主要技术手段有哪些？
推理加速框架有哪一些？都有什么特点？
3 vLLM 篇

3.1 vLLM 的 功能有哪些？
3.2 vLLM 的 优点有哪些？
3.3 vLLM 的 缺点有哪些？
3.4 vLLM 离线批量推理？
3.5 vLLM API Server？
4 Text generation inference 篇

4.1 介绍一下 Text generation inference？
4.2 Text generation inference 的 功能有哪些？
4.3 Text generation inference 的 优点有哪些？
4.4 Text generation inference 的 缺点有哪些？
4.5 Text generation inference 的 使用docker运行web server？
点击查看答案

LLM（大语言模型）部署加速方法——PagedAttention篇
一、vLLM 用于大模型并行推理加速 存在什么问题？

二、vLLM 如何 优化 大模型并行推理加速？

三、什么是 PagedAttention？

四、 PagedAttention 如何存储 连续的key和value？

五、 PagedAttention 技术细节？

六、 PagedAttention 如何 实现安全共享？

七、 PagedAttention 源码介绍？

点击查看答案

大模型推理加速工具 —— vLLM
一、引言

1.1 前言
1.2 为什么 需要 vLLM ?
1.3 vLLM 具有哪些特点 ?
1.4 vLLM 支持哪些 Huggingface 模型 ?
二、vLLM 性能如何？

三、vLLM 依赖包

四、vLLM 如何安装？

五、vLLM 如何使用？

六、vLLM 分布式推理与服务

点击查看答案

LLM（大语言模型）部署加速方法——Faster Transformer篇
一、为什么需要 FasterTransformer？

二、FasterTransformer 介绍一下？

三、FasterTransformer 核心是什么？

四、FasterTransformer 优化？

点击查看答案

纯Python超轻量高性能LLM推理框架 —— LightLLM
一、引言

1.1 前言
1.2 为什么 需要 LightLLM ?
1.3 目前 LLM推理框架 有 哪些?
二、LightLLM 介绍一下？

2.1 什么是 LightLLM ？
2.2 Token Attention 介绍？
2.3 Efficient Router 介绍？
三、LightLLM 性能表现 介绍？

四、LightLLM 依赖包 有哪些？

五、LightLLM 如何安装？

5.1 下载 LightLLM
5.2 安装 LightLLM 依赖
5.3 安装 LightLLM
六、LightLLM 如何使用？

6.1 启动 LightLLM 服务
填坑笔记

LightLLM 支持模型 LLMs 模型？
点击查看答案

Attention 升级面
1 传统 Attention 存在哪些问题？

2 Attention 优化方向

3 Attention 变体有哪些？

4 Multi-Query Attention 篇

4.1 Multi-head Attention 存在什么问题？
4.2 介绍一下 Multi-Query Attention？
4.3 对比一下 Multi-head Attention 和 Multi-Query Attention？
4.4 Multi-Query Attention 这样做的好处是什么？
4.5 有 哪些模型 是 使用 Multi-Query Attention？
5 Grouped-query Attention

5.1 什么是 Grouped-query Attention？
5.2 有哪些大模型使用 Grouped-query Attention？
6 FlashAttention 介绍一下

7 并行 transformer block 介绍一下？

点击查看答案

大模型幻觉（LLM Hallucination）面
大模型幻觉（LLM Hallucination）面
一、什么是大模型幻觉？

二、为什么LLM会产生幻觉？

三、为什么需要解决LLM的幻觉问题？

四、幻觉一定是有害的吗？

五、幻觉有哪些不同类型？

六、如何度量幻觉？

七、如何缓解LLM幻觉？

7.1 通过使用外部知识验证主动检测和减轻幻觉
7.2 事实核心采样
7.3 SelfCheckGPT
八、LLMs什么时候最容易产生幻觉？

点击查看答案

大模型的幻觉问题篇
一、什么是 大模型幻觉问题？

二、为什么 会 出现 大模型幻觉问题？

三、如何 评估 大模型幻觉问题？

四、如何 缓解 大模型幻觉问题？

点击查看答案

大模型的幻觉问题篇
一、为什么 会 出现 大模型幻觉？

二、如何 缓解 大模型幻觉？

点击查看答案

LLMs 对比篇
LLMs 对比篇
LLMs 训练数据 和 数据量 对比如何？

点击查看答案

百川智能baichuan7B、13B、53B、baichuan2 总结篇
一、baichuan-7B篇

你了解baichuan-7B解构么？介绍一下？
baichuan-7B 如何 收集原始数据并 构建 训练数据？
baichuan-7B 如何 提高 训练稳定性和吞吐？
二、baichuan-13B篇

相比于 baichuan-7B，baichuan-13B 的 特点体现在哪里？
如何 对 baichuan-13B 进行推理和部署？
如何 对 baichuan-13B 进行微调？
三、baichuan-53B篇

3.1 baichuan-53B 相比于 baichuan-7B 和 baichuan-13B 有哪些优势？
3.2 baichuan-53B 如何对 预训练数据 做处理？
3.3 baichuan-53B 如何进行 搜索增强？
四、baichuan2篇

4.1 baichuan2 与 其他大模型 对比
五、baichuan 数据构建篇

5.1 baichuan 进行微调时，领域数据：通用数据配比？
点击查看答案

思维链 Chain-of-Thought（COT）篇
思维链 Chain-of-Thought（COT）篇
一、什么是思维链提示？

二、思维链提示本质是什么？

三、思维链提示 与 标准的提示学习方法有什么不同?

四、思维链提示 为什么可以提高语言模型的复杂推理能力?它的优势在哪里?

五、思维链提示 适用场景 有 哪些？

六、思维链提示 目前还存在哪些不足点？

七、思维链提示 对推动语言模型复杂推理能力研究有哪些启发和影响?

八、思维链提示 对实现真正的通用人工智能仍面临哪些挑战?

九、如何通过增加模型规模来获得语言模型强大的思路链推理能力的?这与模型获得的哪些能力有关?

十、你认为可以在哪些其他方面应用“思路链提示”这一思路来提升语言模型的能力?

十一、如果需要你对 思维链提示 进行改进，你觉得你会改进哪些地方？

十二、思维链提示 未来研究方向？

点击查看答案

思维链 Chain-of-Thought（COT）变体篇
思维链 Chain-of-Thought（COT）：思维链的启蒙

什么是 思维链 Chain-of-Thought（COT）？
思维链 Chain-of-Thought（COT）是思路是什么？
思维链 Chain-of-Thought（COT）存在问题？
思维树 Tree of Thoughts（TOT）：一种用树结构解决复杂问题的方法

为什么需要 思维树 Tree of Thoughts（TOT）？
什么是 思维树 Tree of Thoughts（TOT）？
思维树 Tree of Thoughts（TOT）涉及问题有哪些？
思维图 Graph of Thoughts（GOT）：一种把思维链过程建模层图结构的方法

为什么 需要 思维图 Graph of Thoughts（GOT）？
什么是 思维图 Graph of Thoughts（GOT） ？
思维图 Graph of Thoughts（GOT）核心思想是什么 ？
思维算法 Algorithm of Thoughts（AOT）：一种用DFS/BFS示例解决问题的方法

为什么 需要 思维算法 Algorithm of Thoughts（AOT）？
思维算法 Algorithm of Thoughts（AOT）思路是什么？
思维算法 Algorithm of Thoughts（AOT） vs 其他 COT 的 区别？
思维链 Chain-of-Thought（COT） 有哪些 应用场景？

思维链 Chain-of-Thought（COT） 有哪些 局限性？

点击查看答案

思维链 Chain-of-Thought（COT）变体篇
一、为什么需要 Graph RAG？

二、什么是 Graph RAG？

三、Graph RAG 思路介绍？

四、用代码 介绍 Graph RAG ？

五、用 示例 介绍 Graph RAG ？

六、Graph RAG 排序优化方式？

点击查看答案