1.python常用函数
type() 函数：查询对象的类型
input() 函数在：函数接受一个标准输入数据，返回为 string 类型
range() 函数：用于构造一个从[start, stop) （不包含stop）之间的连续的不可变的整数序列对象
len() 函数： 用于获取容器对象中的元素个数
reversed() 函数：反转序列对象，你可以将字符串进行反转，将列表进行反转，将元组反转
random() 函数：返回随机生成的一个实数，它在[0,1)范围内。
strip()、lstrip()、rstrip() 函数：去除空格
str.upper() 函数：返回一个字符串中小写字母转化成大写字母的字符串
str.swapcase() 函数：返回字符串中的大写字母转小写，小写字母转大写的字符串
str.capitalize() 函数：返回字符串中的首字母大写，其余小写的字符
2.python常用语句
break : 跳出最近所在的循环（跳过整个循环语句）
continue ： 跳到最近所在循环的开头处（来到循环的首行）
pass：什么事也不做，只是空占位语句
return：函数返回值
import：访问、导入模块
if、elif、else：选择条件语句
for....in...：遍历文件
3.python常用模块--爬虫相关
requests第三方模块：是python的一个HTTP客户端库，跟urllib，urllib2类似
bs4模块：解析HTML的神器
csv系统模块：把数据写成csv格式
MySQL第三方模块：把数据写入MySQL里面
4.python软件包管理工具--pip
在Python开发中，pip是一个重要的软件包管理工具，用于安装、升级和管理Python包和模块。
pip --version 显示pip的版本信息
python -m ensurepip --default-pip Windows命令提示符（CMD）或PowerShell安装pip
sudo easy_install pip macOS和Linux系统安装pip
pip install lxml 安装Python包
pip install --upgrade package_name 升级Python包
pip uninstall package_name 卸载Python包
pip list 查看已安装的包
pip freeze > requirements.txt 导出和安装依赖
pip install -r requirements.txt 安装依赖项
pip search package_name 搜索包
import requests
from util import (
parse_json
)
class SpiSession:
"""
Session相关操作
"""
def __init__(self):
self.cookies_dir_path = "./cookies/"
self.user_agent = global_config.getRaw('config', 'DEFAULT_USER_AGENT')
self.session = self._init_session()
def _init_session(self):
session = requests.session()
session.headers = self.get_headers()
return session
