本次研究以Factiva-20240826-1908.pdf文件中78篇文档为例，通过提取PDF文档信息存储为Excel，方便后续分析。数据结果如图3.1所示。

在文本预处理阶段，通过使用drop_duplicates函数对原始数据进行去重操作。在代码中，根据内容这一列进行去重，并将去重后的结果重新赋值给新的DataFrame。这样可以确保每条内容的唯一性，避免出现重复的数据。

接下来，进行正则清洗的步骤。正则清洗主要是针对内容，去除除了中英文字符和数字以外的其他字符。具体实现通过使用正则表达式的方式，调用re.sub函数进行替换。在代码中，使用正则表达式[^\u4e00-\u9fa5^a-z^A-Z^0-9^,.，。！：]|，将博文全文中除了中英文字符、数字和部分标点符号（逗号、句号、感叹号、冒号）以外的字符都替换为空格，从而实现清洗效果，最后得到如图3.2的清洗结果。

图3.5  文本分词和停用词处理主要流程

使用 jieba 库对文本内容进行分词处理。将不为空的内容列取出，并转换为列表。对每一行文本进行分词操作，使用 jieba.lcut() 方法将文本分词为单词列表。将分词后的结果添加到 content_S 列表中。从文本文件 "停用词.txt" 中加载停用词列表。用于去除文本内容中的停用词。遍历文本内容列表，逐个词判断是否在停用词列表中，如果不在则保留，否则跳过。将去除停用词后的文本内容存储到 contents_clean 列表中，并将所有词存储到 all_words 列表中。将去除停用词后的文本内容存储到 DataFrame df_content 中，并保存为 Excel 文件 去除停用词后内容.xlsx。

使用jieba库对每条内容进行分词处理，得到分词后的结果。遍历分词结果列表，对每个词语进行词频统计，将词语及其出现次数添加到词频统计结果中。对词频统计结果进行排序，按照词频降序排列。筛选出与该主题相关的词语。将词频统计结果进行可视化展示，可以使用柱状图、词云图等方式进行展示。分析词频统计结果，根据高频词语来了解内容的关键关注点和问题。

通过词频分析，可以了解内容的关注度和热度，找出内容被用最多的关键词，从而揭示出内容的主要关注点和议题。运行结果如下图3.7所示。

图3.7  经济类词频结果

根据词频分析结果，研究表明在经济领域的讨论中，交通运输，尤其是铁路和班列，以及相关的发展和增长成为了高频词汇。这反映了在当前经济政策中，基础设施建设、尤其是中欧班列和铁路网的扩展，成为了政策的主要关注点。此外，国际合作和物流也频繁出现，说明中国在推动“一带一路”倡议以及加强国际贸易联运方面的努力。其他高频词如企业、市场、产业等，进一步强调了政策对经济发展的重视，特别是在全球化和现代化物流体系建设中的作用。总体来看，研究结果表明当前经济政策聚焦于交通运输基础设施、国际贸易与物流发展，并在这些领域采取积极的推进和合作措施，以促进经济的持续增长与创新。

图3.8  政治类词频结果

政治类词频分析显示，当前政策重点主要围绕发展、供应链、和企业展开。这表明政策制定者高度关注经济发展，特别是在供应链和产业链的建设与优化上投入大量资源。此外，创新、金融、和合作等词频较高，突出了政策对科技创新和金融支持的重视，以及推动国际合作的努力。农村和农业的频繁出现，说明政策在推动乡村振兴和农业现代化方面也有明确的目标。总体来看，政策强调通过合作、创新、和金融服务来加快经济增长和产业升级，并致力于绿色发展和高质量建设，以实现持续和稳定的社会经济进步。

第一步：训练LDA主题模型，通过Gensim库中的LdaModel进行训练，设置主题数等参数。

第二步：计算困惑度和一致性评分，根据主题数的范围迭代训练LDA模型，计算困惑度和一致性评分，选择最佳主题数。

第三步：计算单词的先验分布，获取每个单词在不同主题下的分布概率。。

第一步：使用PyLDAvis进行LDA主题模型的可视化，生成交互式HTML文件，展示主题之间的关联性和单词分布。

第二步：绘制困惑度和一致性曲线，通过曲线观察不同主题数下的模型性能表现，选择最优的主题数。

第三步：输出每个主题下的关键词，帮助理解每个主题所代表的内容和主题之间的区别。

图3.9 经济类一致性和困惑度曲线

图3.10 经济类LDA模型关键词

图3.11 经济类LDA模型可视化

LDA主题分析结果显示，经济领域的讨论主要集中在铁路运输、中欧班列、和一带一路相关的联运和多式联运。国内涉及的主要地区包括深圳、广东、和重庆，而国外则涉及哈萨克斯坦等“一带一路”沿线国家。制造业和物流行业是讨论的核心，尤其是与铁路和班列相关的物流运输。关注的重点词汇包括发展、国际合作、产业、市场、和增长，反映出政策对基础设施建设、国际联运和企业发展的重视，尤其是在推动经济增长和国际贸易便利化方面的努力。

图3.12 政治类一致性和困惑度曲线

图3.13 政治类LDA模型关键词

图3.14 政治类LDA模型可视化

LDA主题分析结果显示，政治领域的讨论集中在中日韩三国合作、供应链管理、和中欧班列等议题上。国内涉及的主要地区包括沈阳、成都、和成渝地区，而国外则聚焦在中日韩合作以及一带一路沿线国家。涉及的行业主要包括制造业、物流、和农业，特别是与供应链、中欧班列及农村振兴相关的内容。关注的重点词汇包括合作、发展、创新、金融、和建设，表明政策重视国际合作、经济增长、以及乡村振兴，并通过供应链管理和金融支持来推动这些领域的进展。

3.4情感分析

3.3.1 情感分析思路

使用snownlp库对文本内容进行情感分类，最后用matplotlib生成情感分析饼图显示情感分析占比。

3.3.2 情感分析实现

情感分析是一种通过自然语言处理技术来识别文本中的情感倾向的方法。在给定的代码中，首先使用 SnowNLP 库对微博内容进行情感分析，将情感分数划分为积极、中性和消极三种情感类别。然后，通过对各类别的文本数量进行统计，生成了情感分析占比的可视化图表。通过遍历文本内容并使用 SnowNLP 库进行情感分析，将分数划分为不同的情感类别，并将结果存储在新的列表中。随后，利用 Pandas 的 groupby 方法对情感分析结果进行分组统计，得到各情感类别下文本数量的统计结果。最后，利用 Matplotlib 库绘制了饼图，展示了不同情感类别在某个类别新闻内容中的占比情况。

通过这一系列操作，实现了对政治、经济等类型的内容进行情感分析并可视化呈现不同情感类别的占比情况，为进一步分析不同类型的情感倾向提供了重要参考。这样的分析和可视化有助于了解对政治或者经济类型报道的情感态度。情感分析结果如下图所示：

图3.15 经济类情感分析可视化

图3.16政治类情感分析可视化

经济类情感分析结果，经济文本的分析显示出明显的积极情感倾向。49个文本内容被分类为积极情感，而只有13个文本内容被归类为消极情感。这样的结果表明，在所研究的经济报道中，积极的情感占据了主导地位，反映了研究对象对当前经济形势或政策的信心。这种积极情绪的占优有助于形成更为乐观的市场预期和更高的经济活力，有助于相关决策的制定。

政治类情感分析结果显示，研究文本中以积极情感为主导。在所分析的文本中，共有15个内容被归类为积极情感。这一结果表明，在涉及政治的讨论和研究中，积极的情绪占据了显著地位，反映出对当前政治环境或政策的认可与支持。这种积极情绪的表现有助于增强社会稳定性和公众信心，同时也为政策的推广和落实提供有利的舆论环境。