LangChain Ollama实战文献检索助手（二）少样本提示FewShotPromptTemplate示例选择器

本期是用样例来提示大模型生成我们想要的答案。即在输入中给定提示的样例，以及提示模板，然后匹配较相关的样例进行文献综述。

创建示例样本FewShotPromptTemplate

这里我用GTP-o1生成了几个回答，作为样本

samples = [
  {"theme": "联邦学习",
   "year": "2022",
   "content": "自2022年以来，联邦学习（Federated Learning）领域取得了显著的进展，推动了其在实际应用中的可行性和有效性。\n1. 隐私保护技术的加强 近期研究在增强联邦学习的隐私保护方面取得了突破。例如，差分隐私和安全多方计算等技术的改进，使模型聚合过程更加安全，降低了敏感数据泄露的风险。这些技术的优化提高了计算效率，减少了引入的噪声，从而在保护隐私的同时保持了模型的性能。\n2. 通信效率的提升 为了解决联邦学习中的通信瓶颈，研究者开发了新的模型压缩和量化方法，如梯度剪枝、稀疏更新和压缩编码。这些方法有效减少了客户端和服务器之间的数据传输量，提高了系统的效率和可扩展性。\n3. 非独立同分布（Non-IID）数据处理 处理客户端数据的异质性仍然是联邦学习的主要挑战之一。近期的研究提出了个性化联邦学习算法和元学习方法，旨在提高模型在非IID数据环境下的性能。这些方法允许模型根据各客户端的特定数据分布进行调整，提升了整体效果。\n4. 联邦学习与深度学习的融合 随着深度学习模型的复杂性增加，将联邦学习应用于更深层次的神经网络成为研究热点。出现了如联邦迁移学习和联邦强化学习的新方向，拓展了联邦学习的应用范围，促进了在图像识别、自然语言处理等领域的应用。\n5. 应用领域的扩展 联邦学习的应用从移动设备扩展到了物联网、医疗保健、金融和智能交通等领域。例如，在医疗领域，联邦学习被用于跨机构的数据协作，保护患者隐私的同时提升诊断模型的准确性。\n6. 公平性和偏差问题 研究者开始关注联邦学习中的公平性，致力于减少模型对某些群体的偏见。提出了新的算法，如公平聚合方法，确保模型在不同客户端之间的性能均衡，避免数据不平衡导致的偏差。\n7. 联邦学习与区块链的结合 为了增强系统的安全性和透明度，一些研究探索了将联邦学习与区块链技术相结合。区块链的去中心化和不可篡改特性有助于建立可信的模型更新机制，防止恶意节点的攻击。\n8. 标准化和框架开发 为了促进联邦学习的研究和应用，开源框架如Federated AI Technology Enabler（FATE）、TensorFlow Federated和PySyft得到了进一步的发展。这些工具为研究者和开发者提供了方便的平台，加速了算法的实现和测试。\n9. 法律和伦理考量 随着数据隐私法规的日益严格，联邦学习在遵守法律法规的前提下，提供了新的数据合作方式。研究者也开始探讨联邦学习在伦理方面的影响，确保技术的使用符合社会道德标准，并积极应对潜在的法律风险。\n结论 总的来说，2022年以来的研究在解决联邦学习的核心挑战方面取得了重要进展，包括隐私保护、通信效率、数据异质性和模型公平性等。这些进展为联邦学习在各个行业的广泛应用奠定了基础，预示着该领域未来将有更为深远的影响。",
   "salary": "25,000-50,000元/月",
  },
  {"theme": "大模型代理",
   "year": "2023",
   "content": "作为一名专业学者，我很高兴为您提供2023年以来大模型代理研究领域的富有洞见的综述。\n\n1. 大型语言模型的跃进\n2023年，随着GPT-4等新一代大型语言模型的发布，模型的参数规模和性能都有了显著提升。这些模型在自然语言理解和生成方面表现出了更高的准确性和流畅性，为大模型代理的构建奠定了坚实的基础。\n\n2. 自主代理的兴起\n基于大型语言模型的自主代理（Autonomous Agents）如AutoGPT、BabyAGI等，在2023年引起了广泛关注。这些代理能够在最小的人类干预下自主完成复杂任务，包括计划、执行和结果评估，展示了人工智能在自我驱动任务执行方面的潜力。\n\n3. 工具使用与环境交互\n研究者们探索了如何使大模型代理更有效地使用外部工具和API，例如浏览器、数据库、计算器等。这使得代理能够访问实时信息、执行复杂计算，以及与外部环境进行更深入的交互，从而扩展了其应用范围。\n\n4. 多模态融合\n2023年，多模态大模型的研究取得了突破性进展。代理不仅能够处理文本数据，还能理解和生成图像、音频等多种数据类型。这种多模态能力使得代理在视觉问答、图像生成、语音交互等领域有了新的应用。\n\n5. 推理与规划能力的提升\n通过引入链式思维（Chain-of-Thought）等技术，大模型代理的推理和规划能力得到了显著增强。模型能够逐步推导出解决方案，处理复杂的逻辑关系，提高了在复杂任务和问题解决中的表现。\n\n6. 安全性与伦理考量\n随着大模型代理功能的增强，其潜在的安全风险和伦理问题也日益凸显。研究者们致力于开发更好的对齐（Alignment）技术，确保代理的行为符合人类的价值观和社会规范。这包括防止模型生成有害内容、保护用户隐私，以及避免偏见和歧视。\n\n7. 开放合作与社区驱动\n许多大模型代理项目以开源的形式发布，促进了全球研究社区的合作。这种开放的生态系统加速了技术的迭代和创新，使得更多的研究者和开发者能够参与其中，共同推动领域的发展。\n\n8. 应用场景的拓展\n大模型代理在2023年被广泛应用于各个行业，包括医疗、金融、教育和娱乐等领域。例如，在医疗领域，代理可以协助诊断和提供个性化的治疗建议；在金融领域，代理可以进行风险评估和投资策略制定。\n\n结论\n2023年以来，大模型代理的研究取得了令人瞩目的进展。随着模型能力的提升和新技术的引入，代理在自主性、推理能力、多模态处理等方面都有了显著的突破。然而，随着技术的进步，安全和伦理挑战也需要得到重视。未来的研究应继续平衡技术创新和伦理考量，确保大模型代理的发展能够造福人类社会。",
   "salary": "40,000-70,000元/月",
   }
]

然后创建提示模版。这个提示模板可以更加精准丰富一些，这里只是作个示范

## 创建原始模板
prompt_template = """您是一位专业的学者。对于 {theme} 研究领域的{year}以来的进展 ，您能提供富有洞见的综述吗？
主题：{theme}
时间：{year}
内容：{content}
薪资：{salary}
"""
prompt_sample = PromptTemplate(input_variables=["theme", "year", "content", "salary"],
                               template=prompt_template)

# print(prompt_sample.format(**samples[0]))
# print(prompt_sample.format(**samples[1]))

Embeddings选择

embedding将文本映射到稠密的向量空间中。在本文中，可以将示例样本映射到稠密空间中，而我们的提问也被映射到这个空间，比较我们的提问和示例的相似度，找到相似度最高的k条来作为参照样例。
huggingface的embedding榜单
选择1b以下的embedding模型，综合考量下选择arkohut/jina-embeddings-v3（在实现中，也写了all-mpnet-base-v2版本的）

用SSH命令下载不容易断网。如果断了，就手动下载那几个大文件
在这里插入图片描述
代码实现：

## embedding模型
model_name = "E:\jina-embeddings-v3"
model_kwargs = {'device': 'cpu','trust_remote_code':True}
encode_kwargs = {'normalize_embeddings': False}
hf = HuggingFaceEmbeddings(
    model_name=model_name,
    model_kwargs=model_kwargs,
    encode_kwargs=encode_kwargs
)
# model_name = "E:/all-mpnet-base-v2"
# model_kwargs = {'device': 'cpu'}
# encode_kwargs = {'normalize_embeddings': False}
# hf = HuggingFaceEmbeddings(
#     model_name=model_name,
#     model_kwargs=model_kwargs,
#     encode_kwargs=encode_kwargs
# )

向量数据库选择

这是几个常见的开源向量数据库
这里我们选用常用的便于开发的Chroma作为向量数据库，来保存embedding模型转化的向量
然后构建样本选取器如下：

example_selector = SemanticSimilarityExampleSelector.from_examples(
    samples,
    hf,
    Chroma,
    k=1
)

总体代码实现

这个方法较之
结构化输入输出
对手工设计的提示词要求更少，对输出的规范性提升更高，也更能利用上已有的行业知识。但是它侧重于模仿，例如在月薪这块，它可能就只是照抄样例中的月薪。

# 测试本地大模型
from langchain.prompts import PromptTemplate
from langchain_ollama.llms import OllamaLLM
from langchain.output_parsers import StructuredOutputParser, ResponseSchema
import pandas as pd
from langchain_huggingface import HuggingFaceEmbeddings
from langchain_community.vectorstores import Chroma
from langchain.prompts.example_selector import SemanticSimilarityExampleSelector
from langchain.prompts import FewShotPromptTemplate


samples = [
  {"theme": "联邦学习",
   "year": "2022",
   "content": "自2022年以来，联邦学习（Federated Learning）领域取得了显著的进展，推动了其在实际应用中的可行性和有效性。\n1. 隐私保护技术的加强 近期研究在增强联邦学习的隐私保护方面取得了突破。例如，差分隐私和安全多方计算等技术的改进，使模型聚合过程更加安全，降低了敏感数据泄露的风险。这些技术的优化提高了计算效率，减少了引入的噪声，从而在保护隐私的同时保持了模型的性能。\n2. 通信效率的提升 为了解决联邦学习中的通信瓶颈，研究者开发了新的模型压缩和量化方法，如梯度剪枝、稀疏更新和压缩编码。这些方法有效减少了客户端和服务器之间的数据传输量，提高了系统的效率和可扩展性。\n3. 非独立同分布（Non-IID）数据处理 处理客户端数据的异质性仍然是联邦学习的主要挑战之一。近期的研究提出了个性化联邦学习算法和元学习方法，旨在提高模型在非IID数据环境下的性能。这些方法允许模型根据各客户端的特定数据分布进行调整，提升了整体效果。\n4. 联邦学习与深度学习的融合 随着深度学习模型的复杂性增加，将联邦学习应用于更深层次的神经网络成为研究热点。出现了如联邦迁移学习和联邦强化学习的新方向，拓展了联邦学习的应用范围，促进了在图像识别、自然语言处理等领域的应用。\n5. 应用领域的扩展 联邦学习的应用从移动设备扩展到了物联网、医疗保健、金融和智能交通等领域。例如，在医疗领域，联邦学习被用于跨机构的数据协作，保护患者隐私的同时提升诊断模型的准确性。\n6. 公平性和偏差问题 研究者开始关注联邦学习中的公平性，致力于减少模型对某些群体的偏见。提出了新的算法，如公平聚合方法，确保模型在不同客户端之间的性能均衡，避免数据不平衡导致的偏差。\n7. 联邦学习与区块链的结合 为了增强系统的安全性和透明度，一些研究探索了将联邦学习与区块链技术相结合。区块链的去中心化和不可篡改特性有助于建立可信的模型更新机制，防止恶意节点的攻击。\n8. 标准化和框架开发 为了促进联邦学习的研究和应用，开源框架如Federated AI Technology Enabler（FATE）、TensorFlow Federated和PySyft得到了进一步的发展。这些工具为研究者和开发者提供了方便的平台，加速了算法的实现和测试。\n9. 法律和伦理考量 随着数据隐私法规的日益严格，联邦学习在遵守法律法规的前提下，提供了新的数据合作方式。研究者也开始探讨联邦学习在伦理方面的影响，确保技术的使用符合社会道德标准，并积极应对潜在的法律风险。\n结论 总的来说，2022年以来的研究在解决联邦学习的核心挑战方面取得了重要进展，包括隐私保护、通信效率、数据异质性和模型公平性等。这些进展为联邦学习在各个行业的广泛应用奠定了基础，预示着该领域未来将有更为深远的影响。",
   "salary": "25,000-50,000元/月",
  },
  {"theme": "大模型代理",
   "year": "2023",
   "content": "作为一名专业学者，我很高兴为您提供2023年以来大模型代理研究领域的富有洞见的综述。\n\n1. 大型语言模型的跃进\n2023年，随着GPT-4等新一代大型语言模型的发布，模型的参数规模和性能都有了显著提升。这些模型在自然语言理解和生成方面表现出了更高的准确性和流畅性，为大模型代理的构建奠定了坚实的基础。\n\n2. 自主代理的兴起\n基于大型语言模型的自主代理（Autonomous Agents）如AutoGPT、BabyAGI等，在2023年引起了广泛关注。这些代理能够在最小的人类干预下自主完成复杂任务，包括计划、执行和结果评估，展示了人工智能在自我驱动任务执行方面的潜力。\n\n3. 工具使用与环境交互\n研究者们探索了如何使大模型代理更有效地使用外部工具和API，例如浏览器、数据库、计算器等。这使得代理能够访问实时信息、执行复杂计算，以及与外部环境进行更深入的交互，从而扩展了其应用范围。\n\n4. 多模态融合\n2023年，多模态大模型的研究取得了突破性进展。代理不仅能够处理文本数据，还能理解和生成图像、音频等多种数据类型。这种多模态能力使得代理在视觉问答、图像生成、语音交互等领域有了新的应用。\n\n5. 推理与规划能力的提升\n通过引入链式思维（Chain-of-Thought）等技术，大模型代理的推理和规划能力得到了显著增强。模型能够逐步推导出解决方案，处理复杂的逻辑关系，提高了在复杂任务和问题解决中的表现。\n\n6. 安全性与伦理考量\n随着大模型代理功能的增强，其潜在的安全风险和伦理问题也日益凸显。研究者们致力于开发更好的对齐（Alignment）技术，确保代理的行为符合人类的价值观和社会规范。这包括防止模型生成有害内容、保护用户隐私，以及避免偏见和歧视。\n\n7. 开放合作与社区驱动\n许多大模型代理项目以开源的形式发布，促进了全球研究社区的合作。这种开放的生态系统加速了技术的迭代和创新，使得更多的研究者和开发者能够参与其中，共同推动领域的发展。\n\n8. 应用场景的拓展\n大模型代理在2023年被广泛应用于各个行业，包括医疗、金融、教育和娱乐等领域。例如，在医疗领域，代理可以协助诊断和提供个性化的治疗建议；在金融领域，代理可以进行风险评估和投资策略制定。\n\n结论\n2023年以来，大模型代理的研究取得了令人瞩目的进展。随着模型能力的提升和新技术的引入，代理在自主性、推理能力、多模态处理等方面都有了显著的突破。然而，随着技术的进步，安全和伦理挑战也需要得到重视。未来的研究应继续平衡技术创新和伦理考量，确保大模型代理的发展能够造福人类社会。",
   "salary": "40,000-70,000元/月",
   }
]


## 创建原始模板
prompt_template = """您是一位专业的学者。对于 {theme} 研究领域的{year}以来的进展 ，您能提供富有洞见的综述吗？
主题：{theme}
时间：{year}
内容：{content}
薪资：{salary}
"""
prompt_sample = PromptTemplate(input_variables=["theme", "year", "content", "salary"],
                               template=prompt_template)

# print(prompt_sample.format(**samples[0]))
# print(prompt_sample.format(**samples[1]))


## embedding模型
model_name = "E:\jina-embeddings-v3"
model_kwargs = {'device': 'cpu','trust_remote_code':True}
encode_kwargs = {'normalize_embeddings': False}
hf = HuggingFaceEmbeddings(
    model_name=model_name,
    model_kwargs=model_kwargs,
    encode_kwargs=encode_kwargs
)
# model_name = "E:/all-mpnet-base-v2"
# model_kwargs = {'device': 'cpu'}
# encode_kwargs = {'normalize_embeddings': False}
# hf = HuggingFaceEmbeddings(
#     model_name=model_name,
#     model_kwargs=model_kwargs,
#     encode_kwargs=encode_kwargs
# )


example_selector = SemanticSimilarityExampleSelector.from_examples(
    samples,
    hf,
    Chroma,
    k=1
)

prompt = FewShotPromptTemplate(
    example_selector=example_selector,
    example_prompt=prompt_sample,
    suffix="您是一位专业的学者。对于 {theme} 研究领域的{year}以来的进展 ，您能提供富有洞见的综述吗？\n主题: {theme}\n年份: {year}\n",
    input_variables=["theme", "year"]
)


## 模型
model = OllamaLLM(model='qwen2.5:3b')


# 文献检索列表
Theme = ["张量分解","大模型压缩","大模型推理加速"]
Year = ["2020","2021","2021"]

for theme, year in zip(Theme, Year):
    # 使用提示模板生成输入
    input_prompt = prompt.format(theme=theme, year=year)
    res = model.invoke([input_prompt])
    print(res)