Python【bs4模块】讲解

news2024/11/19 5:45:50

导入：from bs4 import BeautifulSoup

#爬取某豆的电影榜单
import pprint
import requests
from bs4 import BeautifulSoup
class pachong:
 #pass #这段代码的意思如果暂时没有想好在类中定义任何属性和方法，你可以先写pass Python就会认为这段不会运行直接跳过，不会报错。
    def __init__(self):
         self.url = 'https://movie.douban.com/top250'
         # 'https://movie.douban.com/top250?start={start}'.format(start='')
         self.startnum = []
         for Turn_pages in range(0,51,25):#这段代码首先是从0到250遍历，取值的间隔是25，为什么我写的是251因为Python语法规定一般最右边的数值会减去1，，我们获取的页面数据就会0,25,50,.......
             # print(Turn_pages)
             self.startnum.append(Turn_pages) # 将从range中获取的数据添加到空列表startnum当中
         self.headers = {
             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36'}
    def get_top(self):
         for starts in self.startnum:
             start = int(starts)
             html = requests.get(self.url,params={'start':starts},headers=self.headers).text #text 的意思转换成认识文字格式
             # print(html)
             soup = BeautifulSoup(html,'lxml') # 不要用xx.parser 了，它太老了，可以用 lxml
             name = soup.select('#content > div > div.article > ol > li > div > div.info > div.hd > a > span ')
             fp = open('.豆瓣Top250.txt', 'w', encoding='utf-8')
             for time in name:
                title = time.text
                fp.write(title+'\n')
                print(title)
         print('over')
            # pprint.pprint(title) #可以尝试打印这段代码
             # content > div > div.article > ol > li:nth-child(1) > div > div.info > div.hd > a > span:nth-child(1)
             # content > div > div.article > ol > li:nth-child(1) > div > div.info > div.hd > a > span:nth-child(1)
             # name1 = soup.find_all('content > div > div.article > ol > li:nth-child(1)')

                # pprint.pprint(time)




#这里的作用就像工厂的发动机，点火操作，一点火前面的机器开始运转起来了
if __name__ == "__main__":
    #对象调用
    call = pachong()
    # print(call)
    #对象调用自身的方法
    call.get_top()

教大家一个获取url的好方法：

使用谷歌浏览器：