前言

之前拿到一份关于腾讯认证的python的全套项目实战脑图，于是历时花费一个月，终于是熬夜加点的给肝出来了，先用typora全部写出来，然后再导出成PDF文件，目前已经完全搞定。

总共划分内容为（七大模块）：

关注公众号：python技术训练营，学习快人一步

内容：

1.面试专题几十个大厂面试题
2.入门基础教程
3.11模块零基础到精通笔记
4.百个项目实战+爬虫教程+代码
5.量化交易，机器学习，深度学习
6.Python游戏源码
7.交流学习
8.了解接单市场
9.DNF自动识别打怪
10.3263页学习资料

一丶python语法必修

主要有三大模块内容，分别是：python语法编程丶python并发编程丶python数据库编程

1.python语法编程篇

包含：python3基础入门，列表与元组，字符串和字典，条件丶循环和其他语句，函数，面向对象，异常与文件处理八个模块

2.python并发编程篇

包含：网络编程，多线程，多进程，协程四个方面

• 网络编程就有：TCP/IP简介和网络设计模块
• 多线程有：线程和进程，使用线程，多线程全局变量，共享全局变量，互斥锁，死锁，线程池等
• 多进程有：进程状态，线程的创建，进程线程对比，通信和进程池创建
• 协程：协程的意,asyncio事件循环，await,异步爬虫，异步操作MySQL等
  

3.python数据库编程

概述MySQL丶Redis丶MongoDB三种数据库

• MySQL：基础丶进阶查询丶高级应用丶MySQL ORM框架-SQLAIchemy
• Redis：服务端和客户端基本操作命令，数据操作，python操作Redis
• MongoDB：database的基础命令，集合的基础命令，数据类型和操作，牵引，聚合操作，数据备份和回复，pymongo的操作

二丶机器学习

机器学习包含了两大模块，分别是机器学习算法和机器学习应用项目

1.机器学习算法

线性回归算法，K-Means算法，朴素贝叶斯，集成算法

2.机器学习应用项目

• 机器人开发环境
• ROS客户端
• 人工智能讲解
• 开发跟踪机器人
• 机器人建图和导航
• 智能安保机器人开发
• 神经网络应用
• 基于ROS开发多机器人
• 类脑计算和深度强化学习
  

三丶全栈开发体系

全栈开发包含了三大模块。分别是web网页开发，后端架构开发和性能调优

1.web网页开发

web网页开发分为：

• HTML
• CSS
• JQuery
• vue
  

2.后端架构开发

本篇我将主要分为三个阶段来讲述后端架构开发，分别是
1.Django初级

• 安装Django以及创建
• 运行和创建Django应用程序
• Django视图-模板-模型
• Django管理员站点

2.Django进阶

• Django视图分类
• Django模板继承
• Django表单
• Django中间件和信号

3.Django高级

• Django性能优化
• Django安全性

3.性能调优

这方面内容比较多，分别从五个方向展开讲述，分别是存储层调优，celery异步任务，Django缓存机制，Nginx服务，Django对SDK开发以及Docker容器

1.存储层调优

• 数据库设计
• 数据库查询优化
• 缓存和数据库复制

2.celery异步任务

• 使用异步任务
• 设置任务超时时间
• 密集型任务的并行化
• 任务结果缓存
• 消息队列的优化

3.Django缓存机制

• 开启缓存
• 缓存键设计
• 使用缓存框架
• 缓存优化和清理机制

4.Nginx服务

• 合理配置
• 使用Nginx高级功能
• 监控和优化Nginx

5.Django对SDK开发

• 创建Django SDK项目
• 创建Django SDK应用程序和视图函数，路由
• 进行Django性能调优

6.Docker容器

• Docker容器基本知识
• 使用docker部署全栈应用和性能调优
  

四丶大数据体系

大数据体系本章从：数据分析，Hadoop，spark三大模块开始讲述

1.数据分析篇

1.Numpy篇

• numpy函数介绍

• numpy通用函数

• 5W字numpy图文讲解

• 
  2.pandas篇

• panda核心介绍

• pandas展示

• panda基础

• series和Index

• pandas数据可视化

• 

3.Matplotlib和数据可视化

• Matplotlib简介及图表窗口
• 图表基本元素
• Matplotlib图表的样式参数
• Matplotlib刻度、图表输出丶注解
  

2.Hadoop篇

1.对Hadoop的认识

• Hadoop介绍，版本，特点，组成
• HDFS，YARN，MapReduce，三者的关系
• 大数据处理过程

2.Hadoop之配置java与hadoop环境

• 打开虚拟机连接xshell
• 进入到我们安装软件的文件夹
• 配置java的JDK的环境变量
• 解压缩Hadoop的压缩包
• 配置Hadoop的环境变量

3.Hadoop之文件复制scp和同步rsync

• scp介绍命令
• 拷贝文件
• rsync介绍命令

4.Hadoop之SSH免密登录

• SSH原理
• 配置SSH

5.Hadoop之集群配置和启动集群(完全分布式)

• 集群部署
• 配置文件
• 分发文件
• 启动集群

3.spark

• spark概述
• spark core
• spark sql
• spark内核原理
  

五丶爬虫工程师

本篇内容容量大，主要从5个大模块上百个小知识点开启讲述：采集功底，自动化抓包，源码框架，爬虫集群部署和JavaScript逆向

1.采集功底专题篇

1.网络请求

• request源码解析，常用方法
• data/json/param参数传递
• 隧道代理使用,证书异常处理
• httpx源码解析和常用方法
• httpx上下文处理和异步请求

2.数据解析

• 正则表达式原理
• 分组和通用匹配
• 贪婪和非贪婪模式
• findall/match/search方法
• xpath语法学习
• xpath定位文章数据
• 基于bs4的环境搭建
• bs4节点-属性-层级选择器
• 数据入库

3.数据入库

• MySQL表结构设计
• MySQL数据写入规范
• MySQL动态传参和对接爬虫实战
• MongoDB数据写入规范
• MongoDB数据异常处理
• 爬虫对接MongoDB
• JSON对象和数组以及数据编码
  

2.自动化抓包

自动化抓包分为：selenium采集，pyppeteer采集，Charles抓包，mitmproxy

• Selenium介绍
• Selenium安装
• Selenium基本使用和高级用法
• 抓包获取数据
• pyppeteer请求实战案例
• Charles替换CSS和JS文件
• mitmproxy脚本编写- 数据截取-代理响应
  

3.框架源码专题

框架源码主要从4个方向讲述：scrapy框架，feadper,Scrapy_redis,爬虫集群部署

1.scrapy框架

框架基本使用

• 安装Scrapy以及创建Scrapy项目
• 定义爬虫提取数据
• 提取数据定义数据存储
• 运行爬虫

scrapy功能学习

• Selector数据处理
• xpath选择器
• CSS选择器
• scrapy对接MySQL
• Scrapy对接MongoDB
• Scrapy文件存储

scrapy中间件

• Scrapy中的中间件类型
• 中间件的执行顺序以及编写和配置
• 常见的中间件应用场景

2.feapder

• feapder任务调度机制
• Feapder中间件实现异常处理
• 框架对接selenium实现自动化
• feapder分布式采集

3.爬虫集群部署

scrapyd框架

• 环境部署
• scrapyd API处理爬虫
• scrapyd多任务管理

gerapy部署爬虫

• gerapy环境搭建
• gerapy服务器部署
• gerapy打包框架项目

feapder部署

• feapder应用场景和原理
• feapder镜像拉取
• docker部署feapder部署环境
• feapder部署scrapy项目

4.JavaScript逆向

本系列将从九个方面讲解JavaScript逆向专题

1.浏览器调试

• js作用域
• 浏览器对象属性
• 浏览器控制台

2.国标哈希算法

• sha1算法
• sha256算法
• sha512算法
• md5
• hmac算法
• python和JavaScript实现

3.国标对称加密

• DES算法
• AES算法
• crypto-js模块使用
• pycryptodome

4. 国标非对称加密

• RAS算法原理
• 非对称特征
• JavaScript算法还原
• ras模块
• jesencrypt

5.webpack模块打包

• webpack打包原理
• webpack构造形式
• 全局导出加密函数

6.JS混淆

• JavaScript压缩 混淆原理
• OB混淆特性
• OB混淆JavaScript

7.cookie反爬处理

• cookie加解密原理
• cookie和session机制
• cookie hook技巧
• acw_sc_v2调试

8.AST抽象语法树

• AST 技术介绍
• 字符串和编码还原
• evaluate方法学习
• JavaScript实战解混淆

9.JS安全产品攻防

• 瑞数
• acw_sc_v2

六丶APP逆向

APP逆向专题主要讲解：java语法编程，NDK，HOOK和APP RPC

1.java语法编程

• java语法搭建
• java基础语法和数据类型
• java控制流程
• java数据类型
• java数据结构，面向对象
• java继承关系链
• java包的概念

2.NDK开发

• NDK数据类型
• java反射和NDK结合
• JNI调用java函数对象和访问java方法和类
  

3.hook专题

• Frida Hook

• Frida构造数组-对象

• Frida与脱壳

• Frida Hook壳与插件dex

• Frida编译源码

• Frida检测反调试

• APP脱壳

• smail语法

  

4.APP RPC

• frida rpc插件编写
• 使用frida远程调用java代码
• sekiro框架源码拆解

七丶爬虫实战

第七章主要是一些爬虫实战的视频

关注公众号：python技术训练营，学习快人一步

内容：

1.面试专题几十个大厂面试题
2.入门基础教程
3.11模块零基础到精通笔记
4.百个项目实战+爬虫教程+代码
5.量化交易，机器学习，深度学习
6.Python游戏源码
7.交流学习
8.了解接单市场
9.DNF自动识别打怪
10.3263页学习资料