分享我“Excel 表格”关键字的博客笔记（python脚本全程自动）

Python脚本全程自动，全部Python内建工具脚本纯净。

(笔记模板由python脚本于2024年10月05日 19:51:06创建，本篇笔记适合喜欢Excel和Python的coder翻阅)

【学习的细节是欢悦的历程】

Python 官网：https://www.python.org/
Free：大咖免费“圣经”教程《 python 完全自学教程》，不仅仅是基础那么简单……
地址：https://lqpybook.readthedocs.io/

自学并不是什么神秘的东西，一个人一辈子自学的时间总是比在学校学习的时间长，没有老师的时候总是比有老师的时候多。
—— 华罗庚

My CSDN主页、My HOT博、My Python 学习个人备忘录
好文力荐、老齐教室

python脚本全程自动 分享特定博客笔记 (全部python内建工具脚本纯净)

本文质量分：

【 $96$ 】
本文地址： https://blog.csdn.net/m0_57158496/article/details/142718181

CSDN质量分查询入口：http://www.csdn.net/qc

目录

◆ 分享“Excel 表格”关键字博客
- 1、目录、文件
- 2、程序说明
- 3、代码导读
- 4、完整源码(Python)

效果链接： 我关于Excel使用点滴的笔记 https://blog.csdn.net/m0_57158496/article/details/140040251

◆ 分享“Excel 表格”关键字博客

1、目录、文件

发文数据样式

发文数据文件
head、tail
脚本和模板
模板文本
我的热博

回页目录

2、程序说明

程序名称： “Excel 表格”关键字的博客笔记自动分享工具

关键字处理说明：

关键字筛选： 程序中的关键字是预定义的，并非从博客内容中提取。关键字是"Excel 表格"，程序会根据这个关键字筛选出包含该关键字的博客笔记发布数据。
收集博文ID： 程序会遍历指定年份的博客笔记发布数据文件（例如csdn_2021_publishFootprint.txt），查找每行数据中是否包含预定义的关键字。如果包含，则收集该行的博文ID。
数据提取： 对于每篇包含关键字的博文，程序会进一步提取其ID，以及其他相关的信息，如标题、摘要、发布日期等。
统计与排序： 程序会根据收集到的博文ID，通过网络请求获取每篇博文的阅读量等数据，并对这些数据进行统计和排序，以便生成按阅读量降序排列的列表。

以下是关键字处理部分的代码示例：


def get_key_ids():
    ''' 获取博文id总列表 '''
    #from time import localtime # 确保方法已载入
    keys = 'Excel 表格'
    text_id = []

    for year in range(2021, localtime().tm_year+1): # 循环读取博文笔记id。
        with open(f"{my_datapath}csdn_{year}_publishFootprint.txt") as f:
            text_id.extend(f.read().split('\n')[2:]) # 去除前两行数据。

    ids = [] # 要查找的博文笔记id列表初值
    for key in keys.split():
        ids.extend([(i.split('\\')[2], i.split('\\')[-2]) for i in text_id if key in i]) # 追加通过关键字找到的id

    ids = set(ids) # 集合去重   
    print(f"\n{f' 已收集到{len(ids)}条博文笔记id ':.^33}\n")
    return ids

在这段代码中，keys.split()将预定义的关键字拆分成单词列表，然后程序会检查每行数据是否包含这些关键字中的任何一个。如果包含，就将该行的博文ID和相关数据添加到列表中。这样，最终得到的ids列表就包含了所有包含关键字的博文ID及其相关信息。

回页目录

3、代码导读

本指南旨在帮助读者理解一个自动化Python脚本的工作原理，该脚本专注于处理CSDN博客中的特定内容，并将其以有序的方式展示出来。

脚本目的：

提取CSDN博客中包含“Excel 表格”关键字的博文。
根据博文的阅读量进行降序排序。
生成一个HTML文件，其中包含了按阅读量排序的博文链接。

脚本概述：

模块导入：
- time模块：用于生成时间戳和格式化日期时间。
- urllib.request：用于发送网络请求获取数据。
- re：用于通过正则表达式解析数据。
- traceback：用于异常追踪和错误报告。

主要功能模块：

a、时间处理：
- time_stamp()：生成唯一的时间戳，用于输出文件的命名。
- my_strftime()：自定义日期时间格式化，提升输出文件的可读性。_{（可选功能，增加用户体验）}
b、程序执行提示：
- tip_runing()：显示程序正在运行的提示信息。
c、数据提取与处理：
- 从CSDN博客获取数据，并使用正则表达式提取所需信息。
- get_ids()：读取并筛选出包含关键字的博文ID列表。
d、排序与输出：
- read_sort()：根据阅读量对博文进行排序。
- str_url()：构建博文的URL超链接，并通过颜色标识不同阅读量区间。
- write_choice_key()：将排序后的博文信息写入HTML文件。
e、主逻辑：
- main()：串联整个程序的执行流程，包括时间戳生成、数据读取、排序和HTML文件写入。
- 异常处理：捕获并记录程序运行中可能出现的错误。
f、异常处理：
- 使用try-except结构来管理异常，确保程序的健壮性。
g、程序入口：
- 确保脚本直接运行时，main()函数会被调用。
使用说明：
- 确认数据文件路径my_datapath和URL前缀my_urlroot的正确性。
- 确保网络连接稳定，以便脚本能够正常执行。
- 根据CSDN页面结构的变化，适时更新正则表达式。

回页目录

4、完整源码(Python)

(源码较长，点此跳过源码)

#!/sur/bin/nve python
# coding: utf-8
from time import time
from time import strftime
from time import localtime 
import urllib.request
from re import findall
import traceback 


my_datapath = '/sdcard/Documents/csdn/' # 数据路径。
my_urlroot = 'https://blog.csdn.net/m0_57158496/article/details/' # 笔记id前缀。

time_stamp = lambda: ''.join([f"{i:0>2}" for i in localtime()[2:6]]) # 时间戳(日时分秒)。
my_strftime = lambda: strftime('%Y年%m月%d日 %H:%M:%S', localtime())


def tip_runing():
    ''' “程序正在运算……”提示函数 '''
    #from time import time # 请在调用脚本开始前加载time.time
    k = int(str(time())[-2:])%26
    print(' '*40, end='\r')
    print(f"{' '*k}{'程序正在运算……'}", end='\r')


def get_key_ids():
    ''' 获取博文id总列表 '''
    #from time import localtime # 确保方法已载入
    keys = 'Excel 表格'
    text_id = []

    for year in range(2021, localtime().tm_year+1): # 循环读取博文笔记id。
        with open(f"{my_datapath}csdn_{year}_publishFootprint.txt") as f:
            text_id.extend(f.read().split('\n')[2:]) # 去除前两行数据。

    ids = [] # 要查找的博文笔记id列表初值
    for key in keys.split():
        ids.extend([(i.split('\\')[2], i.split('\\')[-2]) for i in text_id if key in i]) # 追加通过关键字找到的id

    ids = set(ids) # 集合去重   
    print(f"\n{f' 已收集到{len(ids)}条博文笔记id ':.^33}\n")
    return ids
    

def get_readed(blog_id: str) -> zip:
    ''' 获取博文阅读量等数据 '''
    with urllib.request.urlopen(f"{my_urlroot}{blog_id}") as reponse:
        html_doc = reponse.read().decode('utf-8').split('<li class="tool-item tool-item-bar">')[0] # urlparse模块方法拉取页面超文本，并截取数据文本，加快数据提取速度。

    fields = '浏览阅读', '标题', 'ID', '作者', '点赞', '收藏', '评论', '摘要', '首次发布', '最后编辑'
    author = findall(r'<span class="profile-name">\s*(.+)\s*</span>', html_doc) # 摘取作者。
    author = ''.join(author)
    article_title = findall(r'var articleTitle = "(.+)";', html_doc) # 摘取文章标题。
    article_title = ''.join(article_title)
    abstract = findall(r'var articleDesc = "(.*)";', html_doc) # 提取摘要。
    abstract = ''.join(abstract)

    for i in ['！', '……', '  '*2]:
        abstract = abstract.replace(i, i+'。') # 句末符号不为“。”+“。”，方便以“。”分割数据。

    abstract = abstract.split('。')[:2] # 以“。”分割并截取前两个字符串。
    abstract = abstract[-1] if abstract[-1] else ''.join(abstract) # 摘取有效摘要字符串。
    readed = findall(r'<span class="read-count">阅读量([\d.kw]*)</span>', html_doc) # 提取阅读量。
    readed = ''.join(readed)
    thumbs_up = findall(r'<span class="read-count" id="blog-digg-num">点赞数\s*([\d.kw]*)\s*</span>', html_doc) # 提取点赞数。
    thumbs_up = ''.join(thumbs_up)
    collect = findall(r'<span class="count get-collection " data-num="[\d\.wk]*" id="get-collection">\s*([\d\.wk]*)\s*</span>\s*</a>\s*<div class="tool-hover-tip collect">\s*<div class="collect-operate-box">\s*<span class="collect-text" id="is-collection">\s*收藏\s*</span>', html_doc) # 提取收藏数。
    collect = ''.join(collect)
    readed = readed if readed else '0'
    readed = round(float(readed[:-1])*1000, 0) if readed[-1] == 'k' else round(float(readed[:-1])*10000, 0) if readed[-1] == 'w' else round(readed, 0) # 三元操作语句嵌套还原阅读量为整型。
    comment = findall(r'<span class="count">\n\s*([\d\.kw]*)\n\s*</span>\n\s*</a>\n\s*<div class="tool-hover-tip"><span class="text space">评论</span></div>', html_doc) # 提取评论。
    comment = ''.join(comment)
    first_edit_time = ''.join(findall(r'<div class="up-time"><span>于&nbsp;([\d\s\-:]+)&nbsp;首次发布</span></div>', html_doc))
    reedit_time = ''.join(findall(r'<span class="time">已于&nbsp;([\s\d\-:]+)&nbsp;修改</span>', html_doc))
    datas = readed, article_title, blog_id, author, thumbs_up, collect, comment, abstract, first_edit_time, reedit_time
    return zip(fields, datas)


def read_sort():
    ''' 阅读量排序列表 '''
    start = time()
    ids = get_key_ids()
    readeds = []
    print('\n') # 打印空行。
    
    for i in ids:
        tip_runing()
        article_info = get_readed(i[0])
        article_info = {k: v for k,v in article_info if v and v!= '0'} # 剔除零值数据项，生成博文笔记浏览阅读等信息字典。

        if not article_info: # 浏览阅读数据为空，跳过本次遍历。
            continue
            
        for i in ('\u2003', '&quot', '??????', '我的HOT博', '&msp' '&ensp;', 'python 3.6.6', 'coding:'): # 遍历删除无意义文章摘要。
            
            if i in article_info.get('摘要', ''):
                del article_info['摘要']
                break
            elif len(article_info.get('摘要', '')) >= len(article_info.get('标题', '')):
                if article_info.get('摘要'):
                    del article_info['摘要'] # 摘要不比标题标题长，删除摘要。
                break 

        if article_info.get('作者'):
            del article_info['作者'] # 作者都是我自己，删除。
        readeds += [article_info]

    readeds.sort(reverse=True, key=lambda x: x.get('浏览阅读', 0)) # 按浏览阅读排降序。
    #print('\n\n'.join(map(str, readeds))) # 终端屏幕打印。
    S = time() - start
    S = f"{S//60:.0f}分{S%60:.1f}秒" if S > 60 else f"{S%60:.1f}秒"
    return readeds, f"本次共计收集{len(readeds)}篇博文笔记信息，总阅读量{sum([i.get('浏览阅读', 0) for i in readeds])/10000:.2f}w。数据采集于{my_strftime()}，用时{S}。"


def str_url(article_info):
    ''' 格式化文章阅读量信息 '''
    d = article_info
    readed = d.get('浏览阅读', 0)
    if not readed:
        url = f"{myUrlRoot}{d.get('ID', '')}"
        print(f"\n{url}")
    if readed >= 10000:
        color = 'gold'
        size = 5
    elif 8000 <= readed < 10000:
        color = 'purple'
        size = 4
    elif 6000 <= readed < 8000:
        color = 'scarlet'
        size = 4
    elif 5000 <= readed < 6000:
        color = 'red'
        size = 3
    elif 4000 <= readed < 5000:
        color = 'orange'
        size = 3
    elif 2000 <= readed < 4000:
        color = 'green'
        size = 3
    elif 1000 <= readed < 2000:
        color = 'cyan'
        size = 3
    elif 500 <= readed < 1000:
        color = 'blue'
        size = 3
    elif 100 <= readed < 500:
        color = 'black'
        size = 2
    else:
        color = 'gray'
        size = 2

    readed = f"{readed/10000}w" if readed >= 10000 else f"{readed/1000}k" if 1000 <= readed < 10000 else readed # 格式化千万浏览阅读量数值。
    url = f"{my_urlroot}{d.get('ID')}"
    thumbs_up = f"点赞：{d.get('点赞')}&emsp;" if d.get('点赞') else ''
    collect = f"收藏：{d.get('收藏')}&emsp;" if d.get('收藏') else ''
    comment = f"评论：{d.get('评论')}" if d.get('评论') else ''
    thumbs_ups = f"\n<br>{''.join([thumbs_up, collect, comment])}" if thumbs_up or collect or comment else '' 
    abstract = f"\n<br>摘要：{d.get('摘要')}。" if d.get('摘要') else ''
    edit_time = f"\n<br>(本篇笔记于{d.get('首次发布')}首次发布，最后修改于{d.get('最后编辑')})" if d.get('首次发布') else ''
    return f"<a href='{url}' target=_blank>{d.get('标题')}</a>\n<br>地址：<a href='{url}' target=_blank>{url}</a>\n<br>浏览阅读：<font color='{color}' size={size}>{readed}</font>{thumbs_ups}<font color='gray' size=2>{abstract}{edit_time}</font>\n<br>&ensp;"


def write_choice_key(key_readeds, filename):
    ''' 写“关键字”博文链接 '''
    key_readeds = '\n'.join([f"<li>\n{str_url(i)}\n</li>" for i in key_readeds[0]]) # 排版记录索引数据

    key_readeds = f"\n\n&emsp;&emsp;{key_readeds[1]}\n\n<table><ol>\n{key_readeds}\n</ol></table>\n" # 格式化数据索引列表

    with open(f'{my_datapath}csdn_blogHead.txt', encoding='utf-8') as f:
        head = f.read() # 读取“固定”头部

    with open(f'{my_datapath}csdn_myHotBlog.txt', encoding='utf-8') as f:
        hot_blog = f.read() # 读取“我的热博”

    with open(f'{my_datapath}excel-blog-templet.fstr', encoding='utf-8') as f:
        f.readline() # 丢弃注释行
        templet = f.read() # 读取“Excel点滴”博文模板

    with open(f'{my_datapath}csdn_blogTail.txt', encoding='utf-8') as f:
        tail = f.read() # 读取“固定”尾部

    templet = templet.format(head=head, excel_blog_list=key_readeds, hot_blog=hot_blog, tail=tail) # 组合模板
    with open(filename, 'w') as f:
        f.write(templet) # 全文写入


def main():
    ''' 我的csdn博文被阅读量排序主函数 '''
    print(f"\n{f' {my_strftime()} ':~^39}\n")
    readeds = read_sort()    
    print(readeds[1])
    filename = f"/sdcard/Documents/csdn/temp/csdn{time_stamp()}choiceKey.txt"
     
    try:
        write_choice_key(readeds, filename)
        print(f"\n{f' ChoiceKey文本{filename}已保存。 ':~^24}\n")
    except Exception as error:
        print(f"\n错误类型：\n{error}\n")
        traceback.print_exc()

    print(f"\n{f' {my_strftime()} ':~^39}\n")


if __name__ == '__main__':
    main() # 主程序调用。

回页首

上一篇：命令行隐藏文件的手段_{(以“.”开头命名文件，我想应该是敲打代码最喜欢的方式)}
下一篇：

我的HOT博：

本次共计收集 311 篇博文笔记信息，总阅读量43.82w。数据于2024年03月22日 00:50:22完成采集，用时6分2.71秒。阅读量不小于6.00k的有 $7$ 篇。

001
标题：让QQ群昵称色变的神奇代码
_{(浏览阅读 5.9w )}
地址：https://blog.csdn.net/m0_57158496/article/details/122566500
点赞：25 收藏：86 评论：17
摘要：让QQ昵称色变的神奇代码。
首发：2022-01-18 19:15:08
最后编辑：2022-01-20 07:56:47
002
标题：Python列表(list)反序(降序)的7种实现方式
_{(浏览阅读 1.1w )}
地址：https://blog.csdn.net/m0_57158496/article/details/128271700
点赞：8 收藏：35 评论：8
摘要：Python列表(list)反序(降序)的实现方式：原址反序，list.reverse()、list.sort()；遍历，全数组遍历、1/2数组遍历；新生成列表，resersed()、sorted()、负步长切片[::-1]。
首发：2022-12-11 23:54:15
最后编辑：2023-03-20 18:13:55
003
标题：pandas 数据类型之 DataFrame
_{(浏览阅读 9.7k )}
地址：https://blog.csdn.net/m0_57158496/article/details/124525814
点赞：7 收藏：36
摘要：pandas 数据类型之 DataFrame_panda dataframe。
首发：2022-05-01 13:20:17
最后编辑：2022-05-08 08:46:13
004
标题：个人信息提取(字符串)
_{(浏览阅读 8.2k )}
地址：https://blog.csdn.net/m0_57158496/article/details/124244618
点赞：2 收藏：15
摘要：个人信息提取(字符串)_个人信息提取python。
首发：2022-04-18 11:07:12
最后编辑：2022-04-20 13:17:54
005
标题：Python字符串居中显示
_{(浏览阅读 7.6k )}
地址：https://blog.csdn.net/m0_57158496/article/details/122163023
评论：1
006
标题：罗马数字转换器|罗马数字生成器
_{(浏览阅读 7.5k )}
地址：https://blog.csdn.net/m0_57158496/article/details/122592047
摘要：罗马数字转换器|生成器。
首发：2022-01-19 23:26:42
最后编辑：2022-01-21 18:37:46
007
标题：回车符、换行符和回车换行符
_{(浏览阅读 6.0k )}
地址：https://blog.csdn.net/m0_57158496/article/details/123109488
点赞：2 收藏：3
摘要：回车符、换行符和回车换行符_命令行回车符。
首发：2022-02-24 13:10:02
最后编辑：2022-02-25 20:07:40