BeautifulSoup爬取豆瓣TOP250

豆瓣爬取地址

https://movie.douban.com/top250?format=text

BeautifulSoup官网地址

https://www.rddoc.com/doc/BeautifulSoup/4.5.3/zh/quick-start/

安装所需函数库

pip install beautifulsoup4

pip install lxml

pip install requests

导入所需函数库

import lxml
import pandas as pd
import requests as rq
from bs4 import BeautifulSoup as bs

测试访问

#访问目标
url="https://movie.douban.com/top250"
#设置请求头
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'}
#进行访问
html=rq.get(url,headers=headers)
# 这是判断可否爬取的成功，等于200既成功
html.encoding=html.apparent_encoding
if html.status_code ==  200:
    print("成功获取源代码")
    print(html.text)
else:
    print("访问失败")

获取所有的电影名数据

#访问目标
url="https://movie.douban.com/top250"
#设置请求头
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'}
#进行访问
html=rq.get(url,headers=headers)
# 这是判断可否爬取的成功，等于200既成功
html.encoding=html.apparent_encoding
#网页解析
page=bs(html.text,"html.parser")
#获取所有的标签名为span，class=title的标签
titles=page.find_all("span",class_="title")
#此处避免文章过于累赘，只输出前五条
print(titles[:5])

[<span class="title">肖申克的救赎</span>, <span class="title"> / The Shawshank Redemption</span>, <span class="title">霸王别姬</span>, <span class="title">阿甘正传</span>, <span class="title"> / Forrest Gump</span>]

对于数据进行二次解析

#定义标题列表
title_list=[]
for title in titles:
    #获取电影名加入列表
    title_list.append(title.text)
#输出前五条
title_list[:5]

['肖申克的救赎',
 '\xa0/\xa0The Shawshank Redemption',
 '霸王别姬',
 '阿甘正传',
 '\xa0/\xa0Forrest Gump']

对于数据进行剔除，只保留电影名（原数据包含导演，演员）

#访问目标
url="https://movie.douban.com/top250"
#设置请求头
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'}
#进行访问
html=rq.get(url,headers=headers)
# 这是判断可否爬取的成功，等于200既成功
html.encoding=html.apparent_encoding
#网页解析
page=bs(html.text,"html.parser")
#获取所有的标签名为div，class=hd的标签
divs=page.find_all("div",class_="hd")
print(divs[:1])

[<div class="hd">
<a class="" href="https://movie.douban.com/subject/1292052/">
<span class="title">肖申克的救赎</span>
<span class="title"> / The Shawshank Redemption</span>
<span class="other"> / 月黑高飞(港)  /  刺激1995(台)</span>
</a>
<span class="playable">[可播放]</span>
</div>]

title_list=[]
for tag in divs:
    title=tag.find('span').string
    title_list.append(title)
print(title_list)

['肖申克的救赎', '霸王别姬', '阿甘正传', '泰坦尼克号', '这个杀手不太冷', '美丽人生', '千与千寻', '辛德勒的名单', '盗梦空间', '星际穿越', '忠犬八公的故事', '楚门的世界', '海上钢琴师', '三傻大闹宝莱坞', '机器人总动员', '放牛班的春天', '无间道', '疯狂动物城', '大话西游之大圣娶亲', '控方证人', '熔炉', '教父', '当幸福来敲门', '触不可及', '怦然心动']

完整代码展示（获取评分，电影名，评论）

#访问目标
url="https://movie.douban.com/top250"
#设置请求头
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'}
#进行访问
html=rq.get(url,headers=headers)
# 这是判断可否爬取的成功，等于200既成功
html.encoding=html.apparent_encoding
#网页解析
page=bs(html.text,"html.parser")
#获取所有的标签名为div，class=hd的标签
divs=page.find_all("div",class_="hd")
#获取原始评分数据
stars=page.find_all("span",class_="rating_num")
#获取原始电影简介数据
contens=page.find_all("span",class_="inq")
#定义电影名列表
title_list=[]
#定义评分列表
star_list=[]
#定义电影简介列表
conten_list=[]
for tag in divs:
    #获取电影名
    title=tag.find('span').string
    #存入列表
    title_list.append(title)
for star in stars:
    #将评分数据存入列表
    star_list.append(star.text)
for conten in contens:
    #将评分数据存入列表
    conten_list.append(conten.text)
#使用pandas读取数据展示
data = {'movie_name':title_list,'star':star_list,"content":conten_list}
pd_data=pd.DataFrame(data)
pd_data