李宏毅LLM探索（1）

news2024/11/28 6:56:20

1引入

1.1 提问：请列出你能做的事情，至少三十项，每一项都简单扼要:然后把你能做的事情制成文字云

文心一言生成：

以下是我能做的至少三十项事情，每一项都简单扼要地列出：

回答问题
提供信息
生成文本
理解语言
进行翻译
编写代码
分析数据
给出建议
创作故事
编写文章
生成诗歌
解答数学问题
提供历史知识
讲解科学知识
分析文学作品
给出旅行建议
提供健康建议
生成笑话
识别图像
描述图像内容
播放音乐
列出清单
提供生活技巧
解答法律问题
给出财务建议
讲解技术知识
提供学习资源
讲述历史事件
分析社会现象
给出人生建议
接下来，将这些内容制成一个文字云的描述（由于实际的文字云图像需要图形软件生成，这里以文字形式描述）：

文字云描述：

在这个文字云中，“回答问题”、“提供信息”、“生成文本”等词汇以较大的字体显示，表示这些是我作为AI助手的核心功能。同时，“理解语言”、“进行翻译”、“编写代码”等词汇也以相对较大的字体出现，展示了我的多语言处理能力和编程技能。

“分析数据”、“给出建议”、“创作故事”等词汇则以中等大小的字体呈现，表明我在数据分析、提供个性化建议和创意写作方面也有一定的能力。

而“解答数学问题”、“提供历史知识”、“讲解科学知识”等词汇则以较小的字体出现，但它们仍然清晰可见，说明我在多个学科领域都有一定的知识储备。

整个文字云呈现出一种丰富多样的视觉效果，各个词汇之间既有明显的区分，又相互关联，共同构成了一个完整、多维的能力体系。

请注意，上述文字云描述是基于文字形式的模拟，实际的文字云图像可能会根据所选的图形软件和参数设置而有所不同。

文心一言优化下在windows系统运行，python3.12环境跑：

from wordcloud import WordCloud
import matplotlib.pyplot as plt

# List of abilities
abilities = [
    "回答问题", "提供信息", "解释概念", "教授知识", "学习新知", "提供建议", "解决难题", "提供娱乐", "讲述故事",
    "写作文章", "编程代码", "分析数据", "创建图表", "设计界面", "翻译语言", "模拟对话", "提供新闻", "播放音乐",
    "推荐书籍", "管理日程", "提醒事项", "发送邮件", "搜索网络", "导航路线", "计算数学", "提供食谱", "教练健身",
    "提供旅游信息", "辅助学习", "组织活动"
]

# Generating the word cloud with Chinese font support
wordcloud = WordCloud(width=800, height=800,
                      background_color='white',
                      min_font_size=10,
                      font_path='C:\\Windows\\Fonts\\simhei.ttf').generate(' '.join(abilities))

# Plotting the WordCloud
plt.figure(figsize=(8, 8), facecolor=None)
plt.imshow(wordcloud)
plt.axis("off")
plt.tight_layout(pad=0)

plt.show()

在这里插入图片描述

智谱清言回答：

from wordcloud import WordCloud
import matplotlib.pyplot as plt

# List of abilities
abilities = [
    "回答问题", "提供信息", "解释概念", "教授知识", "学习新知", "提供建议", "解决难题", "提供娱乐", "讲述故事",
    "写作文章", "编程代码", "分析数据", "创建图表", "设计界面", "翻译语言", "模拟对话", "提供新闻", "播放音乐",
    "推荐书籍", "管理日程", "提醒事项", "发送邮件", "搜索网络", "导航路线", "计算数学", "提供食谱", "教练健身",
    "提供旅游信息", "辅助学习", "组织活动"
]

# Generating the word cloud
wordcloud = WordCloud(width=800, height=800,
                      background_color='white',
                      min_font_size=10).generate(' '.join(abilities))

# Plotting the WordCloud
plt.figure(figsize=(8, 8), facecolor=None)
plt.imshow(wordcloud)
plt.axis("off")
plt.tight_layout(pad=0)

plt.show()


"""# Re-generating the word cloud with Chinese font support
wordcloud = WordCloud(width=800, height=800,
                      background_color='white',
                      min_font_size=10,
                      font_path='/usr/share/fonts/true type/dejavu/DejaVuSans-Bold.ttf').generate(' '.join(abilities))

# Plotting the WordCloud
plt.figure(figsize=(8, 8), facecolor=None)
plt.imshow(wordcloud)
plt.axis("off")
plt.tight_layout(pad=0)

plt.show()"""

在这里插入图片描述

2 LLM两大思路

在这里插入图片描述
（1）改变自己来强化模型

这一思路主要聚焦于对现有模型架构、算法或处理流程进行改进和创新，以适应更复杂、更多变的任务需求。具体实践包括：

指令优化：通过设计更精确、更具体的指令来引导模型进行学习和推理。这要求我们对模型的理解能力有深入的认识，并能够根据任务特性定制化的指令，使模型能够更准确地捕捉任务意图。
引入外部知识：结合外部数据源或知识库，为模型提供额外的背景信息和知识支持。这有助于模型在处理特定领域任务时，能够调用更丰富的知识资源，提升任务的完成质量和效率。
模型结构调整：对模型的网络结构、层数、激活函数等关键组件进行改进和优化。通过调整这些关键参数，可以进一步挖掘模型的潜力，提升其表达能力和泛化能力。

（2）训练自己的模型

这一思路则侧重于从零开始或基于开源模型进行再训练，以构建符合特定任务需求的定制化模型。具体实践包括：

数据收集与预处理：根据任务需求，收集并整理高质量的训练数据。同时，对数据进行预处理，如去噪、归一化、增强等，以提高数据的质量和可用性。
模型选择与初始化：选择合适的模型架构，并根据任务特性进行初始化设置。这可以基于开源模型进行微调，也可以从头开始设计新的模型架构。
训练过程优化：通过调整训练策略、优化器选择、学习率调整等手段，提高模型的训练效率和性能。同时，关注模型的过拟合问题，采取正则化、dropout等策略进行预防。
评估与迭代：在训练过程中，定期对模型进行评估，以了解其在测试集上的表现。根据评估结果，对模型进行迭代优化，不断提升其性能。