文章目录
- 本文来源
- 机器学习简介
- 机器学习流程
- 机器学习可以完成如下功能:
- 机器学习应用场景
- 金融领域
- 零售领域
- 机器学习分类
- 机器学习实现
- 基于python等代码自己实现
本文来源
本博客 是通过学习亚马逊的官方机器学习课程的随笔。
课程参考链接https://edu.csdn.net/course/detail/37264
课程目前更新了3小节,感触是官方的文档还是挺好看的,比较简练,可读性较好,有较好的发挥空间。
机器学习简介
机器学习流程
机器学习的过程包括:
提供数据
对数据进行processing处理建模,建模中要与数据中的结果进行比较,获得较好的模型
建模后进行预测。
机器学习可以完成如下功能:
机器学习可以完成如下功能:
前文说的预测:谁是世界杯冠军这种
优化:
提取隐藏的数据中的模式:从生物医学数据中提取隐藏的模式和证据,否则可以通过人工完成以节省大量时间,包括蛋白质结构堆叠
数据分类:这本书是什么类型的书籍,这份邮件是否为垃圾邮件等
机器学习应用场景
参考:浅析机器学习算法的应用场景!
金融领域
金融领域使用机器学习建模最多的场景就是风控。当然风控也要进行细分,主要应用机器学习建模的细分场景如下:
信用卡交易反欺诈:分类任务,GBDT算法+LR逻辑回归;
信用卡申请反欺诈:分类任务,GBDT算法+LR逻辑回归;
贷款申请反欺诈:分类任务,GBDT算法+LR逻辑回归;
反洗钱:分类任务,GBDT算法+LR逻辑回归;
目前看起来GBDT+LR是金融风控领域的常用算法。
零售领域
在零售领域,使用机器学习建模最多的场景也是推荐场景和搜索场景中的排序。APP上购物车页面提交订单时为用户推荐相似商品、推荐可能感兴趣的商品,以及针对什么样的用户推荐什么样的优惠券等等。
推荐:协同过滤CF算法、FM算法+LR排序模型、深度学习模型目前在推荐领域使用也十分广泛了。
除去推荐,零售领域还有一个使用机器学习建模比较多的场景,就是对某类商品进行销量预测,根据预测量来调整商品的供给。
销量预测:目前基本都转用LightGBM算法了;
这里附上之前Kaggle里面关于销量预测的case,排名第一的将自己的源码share出来的,感兴趣的可以自行下载研究。https://www.kaggle.com/c/favorita-grocery-sales-forecasting/discussion/47582
零售领域还有一个应用非常多的场景,就是做供应链优化,物流调度,给外卖骑手配单等。但这部分不能算作机器学习,更多是运筹学的知识。目前国内做的比较好的是杉数科技。
供应链优化:运筹学的知识
机器学习分类
可以根据是否含有标签,把机器学习分为有监督和无监督问题,外加现在强化学习。
机器学习实现
基于python等代码自己实现
#Import Library
#Import other necessary libraries like pandas, numpy...
from sklearn import linear_model
#Load Train and Test datasets
#Identify feature and response variable(s) and values must be numeric and numpy arrays
x_train=input_variables_values_training_datasets
y_train=target_variables_values_training_datasets
x_test=input_variables_values_test_datasets
# Create linear regression object
linear = linear_model.LinearRegression()
# Train the model using the training sets and check score
linear.fit(x_train, y_train)
linear.score(x_train, y_train)
#Equation coefficient and Intercept
print('Coefficient: \n', linear.coef_)
print('Intercept: \n', linear.intercept_)
#Predict Output
predicted= linear.predict(x_test)
基于百度,华为的服务实现
基于亚马逊的AWS EMR 实现