《机器学习公式推导与代码实现》学习笔记，记录一下自己的学习过程，详细的内容请大家购买作者的书籍查阅。
这篇博客是将笔者边学边刷《机器学习公式推导与代码实现》的模型跟代码记录下来，部分地方结合自己的思考对原作者的代码有一定的改动，这些博客主要是动手去实现一些模型，感受机器学习各个模型能解决的问题以及收敛后的效果，所以对相关理论没有过于深入。
一.监督学习模型
chapter3-对数几率回归
logistic算法（对数几率回归）numpy实现
chapter4-LASSO回归与Ridge回归
numpy实现lasso回归和ridge回归
chapter5-线性判别分析LDA
线性判别分析LDA推导及手动实现
chapter6-k近邻算法
k近邻算法numpy实现
chapter7决策树
机器学习决策树公式推导和实现：ID3、CART
二.监督学习集成模型
chapter10-AdaBoost
基于numpy和sklearn实现集成学习Boosting算法AdaBoost
chapter11-GBDT
手动实现GBDT分类树和GBRT回归树
chapter12-XGBoost
XGBoost分类树numpy实现
chapter13-LightGBM
LightGBM简介和示例
chapter14-CatBoost
CatBoost简单介绍以及原生库使用示例
chapter15-随机森林
随机森林numpy实现
chapter16-集成学习对比与调参
三大集成学习模型XGBoost、LightGBM和CatBoost的对比与调参
三.无监督学习模型
chapter17-kmeans
kmeans手动实现
chapter18-主成分分析PCA
主成分分析法PCA的numpy实现
chapter19-奇异值分解SVD
奇异值分解svd和图像压缩的numpy实现
四.概率模型
chapter21-贝叶斯概率模型
朴素贝叶斯和贝叶斯网络的推导与实现
chapter22-EM算法
EM算法简介、numpy编程EM算法实现三硬币问题
未完待续！机器学习博大精深，欢迎大家一起讨论！
Github笔记本
