要抓取网页文字,我们需要使用Python的一个库,叫做requests。这个库可以帮助我们向网站发送请求,获取网站的内容。
下面是一个简单的示例代码,用于抓取一个网页的文字:
import requests
import re
import os
import io
import sys
import bs4
from bs4 import BeautifulSoup
url = 'https://baijiahao.baidu.com/s?id=1774337207764266892';
response = requests.get(url);
soup=BeautifulSoup(response.text);
textNew=soup.get_text();
text_nospace=textNew.replace('\n','');
d="[\u4e00-\u9fa5]+";
L=[];
for i in text_nospace:
I=re.findall(d,i)
L+=I
textPrint="";
for k in L:
textPrint+=str(k)
print(textPrint);
这个代码将会发送一个GET请求给网站,然后获取网站的内容并存储在变量text中。最后,我们将打印出这个内容。