chapter12-实战成绩通知短信系统（下）

news2024/10/2 3:21:19

注意！成绩短息通知服务的源码共分为两种：第一种为线性的程序，逻辑简单，但是格式杂乱；第二种为以类作为基础，封装了各种函数，逻辑较为复杂，但是格式清晰。建议新手先学习第一种代码风格，了解代码逻辑后，尝试自己完成第二种开发
上节课，我们成功的登录了某方的教务系统，同时已经得到了我们想要获取的成绩页面。这节课，我们将首先提取成绩页面中的有效信息，然后将相关信息保存至数据库中，最后，使用短信接口发送成绩通知。相关的代码，你仍然可以在本课程对应的Github页面获取，欢迎各位同学在讨论区进行讨论！

提取信息

首先让我们分析一下成绩页面的HTML格式：

<table class="datelist" cellspacing="0" cellpadding="3" border="0" id="Datagrid1" width="100%">
    <tr class="datelisthead">
        <td>学年</td><td>学期</td><td>课程代码</td><td>课程名称</td><td>课程性质</td><td>课程归属</td><td>学分</td><td>绩点</td><td>成绩</td><td>辅修标记</td><td>补考成绩</td><td>重修成绩</td><td>学院名称</td><td>备注</td><td>重修标记</td>
    </tr><tr>
        <td>2016-2017</td><td>2</td><td>1310040</td><td>ASP.NET应用开发1</td><td>专业选修课</td><td> </td><td>3.5</td><td>1.9</td><td>69</td><td>0</td><td> </td><td> </td><td>计算机与软件工程学院</td><td> </td><td>0</td>
    </tr><tr>
        <td>2016-2017</td><td>2</td><td>2011536</td><td>形势与政策Ⅵ</td><td>通识必修课</td><td> </td><td>0.0</td><td>3.5</td><td>良好</td><td>0</td><td> </td><td> </td><td>马克思主义学院</td><td> </td><td>0</td>
    </tr>
</table>

从上面的HTML源码中，我们可以清晰的看到，所有的信息都存在于id为Datagrid1的表格中。因此，我们首先要提取Datagrid1表格中的所有tr：

soup = BeautifulSoup(score_text.content, "lxml",from_encoding="gb18030")
trs = soup.find(id="Datagrid1").findAll("tr")

上述代码和我们之前遇到的用法不太一样，因此我们要详细说明一下上述代码中的相应参数：

soup = BeautifulSoup(score_text.content, "lxml",from_encoding="gb18030")

首先是score_text.content，在以前的开发中，我们使用的是text方式获取网页信息，这里我们使用了’content’方式的原因是，某方返回的数据是gb2312格式的内容，因此我们需要直接用二进制的方式来传递内容，同时，我们也通过from_encoding来进一步的向BeautifulSoup说明我们的原始参数。
接下来我们要解析tr中的所有数据：

Grades = []
for tr in trs:
    tds = tr.findAll("td")
    tds = tds[:2] + tds[3:5] + tds[6:9]
    oneGradeKeys = ["year", "term", "name", "type", "credit","gradePonit","grade"]
    oneGradeValues = []
    for td in tds:
        oneGradeValues.append(td.string)
    oneGrade = dict((key, value) for key, value in zip(oneGradeKeys, oneGradeValues))
    Grades.append(oneGrade)

上述代码中，我们遍历了所有tr中的td内容。需要指出的是，我们获取成绩，仅仅需要成绩所对应的年份，学期,课程名,课程性质,学分,绩点,成绩。因此在获取到td中的数据库后，我们需要剔除一些无用的数据。具体的，原始数据为:

[<td>2016-2017</td>, <td>2</td>, <td>1310040</td>, <td>ASP.NET应用开发1</td>, <td>专业选修课</td>, <td> </td>, <td>3.5</td>, <td>3.7</td>, <td>87</td>, <td>0</td>, <td> </td>, <td> </td>, <td>计算机与软件工程学院</td>, <td> </td>, <td>0</td>]

整理后的数据为：

[<td>2016-2017</td>, <td>2</td>, <td>ASP.NET应用开发1</td>, <td>专业选修课</td>, <td>3.5</td>, <td>3.7</td>, <td>87</td>]

接下来，让我们打印一下我们的成果

注意：因为传递的内容编码为gb2312格式，因此我们需要定义python程序的默认格式

# coding=gbk
for score in Grades:
    year = score["year"]
    term = score["term"]
    gradepoint = score["gradePonit"]
    grade = score['grade']
    print(gradepoint,end='\t')
    print(grade,end='\t')
    name = score["name"]
    print(name)

在这里插入图片描述

Bingo！我们已经获取到了相关的成绩信息！接下来让我们将数据存入数据库中

保存数据到数据库

因为数据库的操作，我们在之前的章节中就已经学习过，因此本文直接给出对应的代码。

创建数据表

CREATE TABLE SCORE(
id INT AUTO_INCREMENT PRIMARY KEY,
year_ varchar(12),
term_ VARCHAR(12),
name_ VARCHAR(12),
type_ VARCHAR(10),
credit_ VARCHAR(10),
gradePoint_ VARCHAR(10),
grade_ VARCHAR(10)
)ENGINE=INNODB;

在Python操作数据库

import pymysql
db = pymysql.connect("localhost","root","654321","mysql" )
cursor = db.cursor()
def insert_info(year, term, name, type, credit,gradePonit,grade):
 sql = "INSERT INTO score(year_, term_, name_, type_, credit_,gradePoint_,grade_) VALUES('"+str(year)+"','"+str(term)+"','"+str(name)+"','"+str(type)+"','"+str(credit)+"','"+str(gradePonit)+"','"+str(grade)+"')"
 print(sql)
 cursor.execute(sql)
 db.commit()

####判别是否发送短信
3. 从数据库中判断
为了精确的发送短信，我们在获取到信息之后，从数据库中查询是否存在对应的课程名称，如果存在，则不发送；如果数据库中不存在该门课程的信息，则发送短息：

 int result = select_info(name)
 if result!=0:
     time.sleep(60*60)
 else:
     send_mail(year,term,name,type,credit,gradePoint,grade)

从数组中判断
从数据库中获取信息，经过数据库连接、数据库关闭等操作，不仅浪费了时间，而且还消耗了大量的系统资源。因此，我们可以定义一个全局变量，将相关信息保存在变量中。判断新的课程是否存在变量中：

juage=[]
if name not in juage:
 send_mail(year, term, name, type, credit, gradePoint, grade)
 juage.append(name)
else:
 print("已经存在，不发送短信")

####发送短信
发送短息我们已经学习了很多的方法。因此本文并不指定大家选择哪个方法。课题提供的代码中，使用的是通过139信箱发送短信，大家可以使用其他的方法进行操作。
####系统说明
5. 为了保证该系统全天为我们服务，我们可以将主函数一直运行，每次运行后使用time.sleep()函数，使服务休眠1小时或者你指定的时间；
6. 因为验证码目前需要手动输入，因此建议使用Windows服务器配置环境。(后续将会提供自动识别验证码服务，大家以后可以迁移至Linux服务中)