新浪微博
[Scrapy 教程] 3. 利用 scrapy 爬取网站中的详细信息 - YouTube
def parse(self,response):
soup BeautifulSoup(response.body,'html.parser')
tags soup.find_all('a',href=re.compile(r"sina.*\d{4}-\d{2}-\d{2}.*shtmls"))#匹配日期
for tag in tags:
url tag.get('href')
yield scrapy.Request(url,callback=self.parse_details)
def extract_title(self,soup):
selectors =['h1.main-title']
for selector in selectors:
if len(soup.select(selector))!=0:
title soup.select(selector)[0].text
return title
python与数据库
(6条消息) pymysql详解(connect连接、游标cursor、获取查询结果集、获取实时数据、解决查询数据为历史数据问题、insert into需要注意的地方)_pymysql.connect_XC_SunnyBoy的博客-CSDN博客
这是一个连接到本地MySQL数据库服务器的命令,其中:
-h127.0.0.1指定要连接的主机名或IP地址,这里使用本地主机(localhost)的IP地址127.0.0.1。
-uroot指定要用哪个MySQL用户进行连接,这里使用root用户进行连接。
-p123456指定连接时使用的密码,这里使用123456作为root用户的密码。
整个命令的意思是使用root用户和密码123456连接到本地MySQL服务器。如果连接成功,将打开MySQL客户端命令行界面,可以在其中执行各种MySQL命令和查询。
#创建对象
db = pymysql.connect(host='localhost',
user='root',
password='@hdp020820',
database='maoyandb',
)
pymysql.err.OperationalError: (1049, "Unknown database 'maoyandb'")
CREATE TABLE movieinfo (
name VARCHAR(255),
actor VARCHAR(255),
release_date DATE
);
import pymysql
导出数据库
#创建对象
self.db = pymysql.connect(host='localhost',
user='root',
password='@hdp020820',
database='maoyandb',
)
cursor = db.cursor()
# sql语句执性,单行插入
info_list = ['刺杀,小说家','雷佳音,杨幂','2021-2-12']
sql = 'insert into filmtab values(%s,%s,%s)'
#列表传参
cursor.execute(sql,info_list)
db.commit()
# 关闭
cursor.close()
db.close()