利用多种机器学习方法对爬取到的谷歌趋势某个关键词的每日搜索次数进行学习

news2024/11/24 10:25:27

      大家好，我是带我去滑雪！

      前一期利用python爬取了谷歌趋势某个关键词的每日搜索次数，本期利用爬取的数据进行多种机器学习方法进行学习，其中方法包括：随机森林、XGBOOST、决策树、支持向量机、神经网络、K邻近等方法，并对模型拟合效果进行对比。下面开始实战！

目录

（1）导入相关模块与爬取到的数据

 （2）划分训练集与测试集

 （3）保存真实值并对数据进行标准化

（4）调用模块

（5）回归交叉验证、计算评价指标

（6）评价指标可视化

（1）导入相关模块与爬取到的数据

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn import preprocessing
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import KFold,StratifiedKFold
from sklearn.model_selection import GridSearchCV
from sklearn.svm import LinearSVR
from sklearn.svm import SVR
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.metrics import mean_absolute_error
from sklearn.metrics import r2_score
get_ipython().run_line_magic('matplotlib', 'inline')
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = 'all'
import warnings
import seaborn as sns 
import datetime
%matplotlib inline
plt.rcParams['font.sans-serif'] = ['KaiTi']  #中文
plt.rcParams['axes.unicode_minus'] = False   #负号
get_ipython().run_line_magic('matplotlib', 'inline')
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
import warnings
import pandas as pd
import matplotlib.pyplot as plt
import networkx as nx
plt.rcParams['font.sans-serif'] = ['KaiTi']
plt.rcParams['axes.unicode_minus'] = False 
from sklearn.linear_model import LinearRegression
from sklearn.linear_model import ElasticNet
from sklearn.neighbors import KNeighborsRegressor
from sklearn.tree import DecisionTreeRegressor
from sklearn.ensemble import RandomForestRegressor
from sklearn.ensemble import GradientBoostingRegressor
from xgboost.sklearn import XGBRegressor
from lightgbm import LGBMRegressor
from sklearn.svm import SVR
from sklearn.neural_network import MLPRegressor
data=pd.read_csv('E:/工作/硕士/博客/博客粉丝问题/data.csv')
data=data.iloc[0:1516,]
data

输出结果：

zcrvw2rvm2taieniaoinews1skew2kurt2rvh
01.1210.9140.8971.11-0.10.3400.831.2515982.0767490.545
10.5450.8690.8811.11-0.10.3400.74-0.170641-1.5514541.128
21.1280.9340.9091.11-0.10.3400.77-0.8126150.2166971.607
31.6071.1730.9691.11-0.10.3400.791.5971471.5591410.547
40.5470.9900.9151.11-0.10.3401.000.6482620.7725392.588
.................................
15110.5030.9531.2260.871.4-0.6740.92-0.6471140.7500491.414
15121.4141.0681.2660.871.4-0.6740.97-1.045306-0.6048740.873
15130.8731.0461.2730.871.4-0.6740.851.1701480.2114090.492
15140.4920.8671.2590.871.4-0.6740.87-1.1241570.4349540.747
15150.7470.8061.2720.871.4-0.6740.730.732621-1.0582710.839

1516 rows × 10 columns

      其中rvh为响应变量，其他为特征变量。

 （2）划分训练集与测试集

X=data.iloc[:,0:9]
y=data.iloc[:,9]
X_train, X_test, y_train, y_test =train_test_split(X,y,test_size=0.2,random_state = 0)
#可以检查一下划分后数据形状
X_train.shape,X_test.shape, y_train.shape, y_test.shape

输出结果：

((1212, 9), (304, 9), (1212,), (304,))

 （3）保存真实值并对数据进行标准化

#数据标准化
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
scaler.fit(X_train)
X_train_s = scaler.transform(X_train)
X_test_s = scaler.transform(X_test)
print('训练数据形状：')
print(X_train_s.shape,y_train.shape)
print('测试数据形状：')
(X_test_s.shape,y_test.shape)

输出结果：

训练数据形状：(1212, 9) (1212,)
测试数据形状：((304, 9), (304,))

（4）调用模块

model1 = LinearRegression()
model2 = ElasticNet(alpha=0.05, l1_ratio=0.5)
model3 = KNeighborsRegressor(n_neighbors=10)
model4 = DecisionTreeRegressor(random_state=77)
model5= RandomForestRegressor(n_estimators=500,  max_features=int(X_train.shape[1]/3) , random_state=0)
model6 = GradientBoostingRegressor(n_estimators=500,random_state=123)
model7 =  XGBRegressor(objective='reg:squarederror', n_estimators=1000, random_state=0) 
model8 = LGBMRegressor(n_estimators=1000,objective='regression', # 默认是二分类
                      random_state=0)
model9 = SVR(kernel="rbf")
model10 = MLPRegressor(hidden_layer_sizes=(16,8), random_state=77, max_iter=10000)
model_list=[model1,model2,model3,model4,model5,model6,model7,model8,model9,model10]
model_name=['线性回归','惩罚回归','K近邻','决策树','随机森林','梯度提升','极端梯度提升','轻量梯度提升','支持向量机','神经网络']

（5）回归交叉验证、计算评价指标

#回归问题交叉验证，使用拟合优度，mae,rmse,mape 作为评价标准
from sklearn.metrics import mean_absolute_error
from sklearn.metrics import mean_squared_error,r2_score
from sklearn.model_selection import KFold
 
def evaluation(y_test, y_predict):
    mae = mean_absolute_error(y_test, y_predict)
    mse = mean_squared_error(y_test, y_predict)
    rmse = np.sqrt(mean_squared_error(y_test, y_predict))
    mape=(abs(y_predict -y_test)/ y_test).mean()
    r_2=r2_score(y_test, y_predict)
    return mae, rmse, mape
def evaluation2(lis):
    array=np.array(lis)
    return array.mean() , array.std()

def cross_val(model=None,X=None,Y=None,K=5,repeated=1):
    df_mean=pd.DataFrame(columns=['R2','MAE','RMSE','MAPE']) 
    df_std=pd.DataFrame(columns=['R2','MAE','RMSE','MAPE'])
    for n in range(repeated):
        print(f'正在进行第{n+1}次重复K折.....随机数种子为{n}\n')
        kf = KFold(n_splits=K, shuffle=True, random_state=n)
        R2=[]
        MAE=[]
        RMSE=[]
        MAPE=[]
        print(f"    开始本次在{K}折数据上的交叉验证.......\n")
        i=1
        for train_index, test_index in kf.split(X):
            print(f'        正在进行第{i}折的计算')
            X_train=X.values[train_index]
            y_train=y.values[train_index]
            X_test=X.values[test_index]
            y_test=y.values[test_index]
            model.fit(X_train,y_train)
            score=model.score(X_test,y_test)
            R2.append(score)
            pred=model.predict(X_test)
            mae, rmse, mape=evaluation(y_test, pred)
            MAE.append(mae)
            RMSE.append(rmse)
            MAPE.append(mape)
            print(f'        第{i}折的拟合优度为：{round(score,4)}，MAE为{round(mae,4)}，RMSE为{round(rmse,4)}，MAPE为{round(mape,4)}')
            i+=1
        print(f'    ———————————————完成本次的{K}折交叉验证———————————————————\n')
        R2_mean,R2_std=evaluation2(R2)
        MAE_mean,MAE_std=evaluation2(MAE)
        RMSE_mean,RMSE_std=evaluation2(RMSE)
        MAPE_mean,MAPE_std=evaluation2(MAPE)
        print(f'第{n+1}次重复K折，本次{K}折交叉验证的总体拟合优度均值为{R2_mean}，方差为{R2_std}')
        print(f'                               总体MAE均值为{MAE_mean}，方差为{MAE_std}')
        print(f'                               总体RMSE均值为{RMSE_mean}，方差为{RMSE_std}')
        print(f'                               总体MAPE均值为{MAPE_mean}，方差为{MAPE_std}')
        print("\n====================================================================================================================\n")
        df1=pd.DataFrame(dict(zip(['R2','MAE','RMSE','MAPE'],[R2_mean,MAE_mean,RMSE_mean,MAPE_mean])),index=[n])
        df_mean=pd.concat([df_mean,df1])
        df2=pd.DataFrame(dict(zip(['R2','MAE','RMSE','MAPE'],[R2_std,MAE_std,RMSE_std,MAPE_std])),index=[n])
        df_std=pd.concat([df_std,df2])
    return df_mean,df_std

model =RandomForestRegressor(n_estimators=500,  max_features=int(X_train.shape[1]/3) , random_state=0)
ran_crosseval,lgb_crosseval2=cross_val(model=model,X=data,Y=y,K=3,repeated=5)

输出结果：

正在进行第1次重复K折.....随机数种子为0

    开始本次在3折数据上的交叉验证.......

        正在进行第1折的计算
        第1折的拟合优度为：0.6359，MAE为0.5313，RMSE为2.4973，MAPE为0.8891
        正在进行第2折的计算
        第2折的拟合优度为：0.9329，MAE为0.2918，RMSE为0.6796，MAPE为3.6771
        正在进行第3折的计算
        第3折的拟合优度为：0.4618，MAE为0.4001，RMSE为3.7925，MAPE为1.6797
    ———————————————完成本次的3折交叉验证———————————————————

第1次重复K折，本次3折交叉验证的总体拟合优度均值为0.6768657819427061，方差为0.1944779600384177
                               总体MAE均值为0.4077273555381626，方差为0.09794742090384587
                               总体RMSE均值为2.32313716109176，方差为1.2768087853386325
                               总体MAPE均值为2.081956991377407，方差为1.1732020214054228

====================================================================================================================

正在进行第2次重复K折.....随机数种子为1

    开始本次在3折数据上的交叉验证.......

        正在进行第1折的计算
        第1折的拟合优度为：0.9122，MAE为0.3241，RMSE为0.8612，MAPE为2.5479
        正在进行第2折的计算
        第2折的拟合优度为：0.5261，MAE为0.4917，RMSE为3.9197，MAPE为0.7314
        正在进行第3折的计算
        第3折的拟合优度为：0.7334，MAE为0.3584，RMSE为1.6217，MAPE为3.2285
    ———————————————完成本次的3折交叉验证———————————————————

第2次重复K折，本次3折交叉验证的总体拟合优度均值为0.723893113441683，方差为0.1577702476056785
                               总体MAE均值为0.3914201753688413，方差为0.0723024001955509
                               总体RMSE均值为2.134188184101481，方差为1.3001480884844312
                               总体MAPE均值为2.16926700543488，方差为1.054037140770381

====================================================================================================================

正在进行第3次重复K折.....随机数种子为2

    开始本次在3折数据上的交叉验证.......

        正在进行第1折的计算
        第1折的拟合优度为：0.8149，MAE为0.3709，RMSE为1.2755，MAPE为3.4917
        正在进行第2折的计算
        第2折的拟合优度为：0.759，MAE为0.3612，RMSE为1.7133，MAPE为1.5378
        正在进行第3折的计算
        第3折的拟合优度为：0.4928，MAE为0.4426，RMSE为3.8865，MAPE为1.5668
    ———————————————完成本次的3折交叉验证———————————————————

第3次重复K折，本次3折交叉验证的总体拟合优度均值为0.688911890284598，方差为0.1405413525714651
                               总体MAE均值为0.39156320132013217，方差为0.03629566064010328
                               总体RMSE均值为2.2917865136481503，方差为1.1417413813810955
                               总体MAPE均值为2.1988055874081742，方差为0.9143226546000691

====================================================================================================================

正在进行第4次重复K折.....随机数种子为3

    开始本次在3折数据上的交叉验证.......

        正在进行第1折的计算
        第1折的拟合优度为：0.8007，MAE为0.3457，RMSE为1.366，MAPE为0.6371
        正在进行第2折的计算
        第2折的拟合优度为：0.7519，MAE为0.4026，RMSE为1.6195，MAPE为2.696
        正在进行第3折的计算
        第3折的拟合优度为：0.5335，MAE为0.4128，RMSE为3.795，MAPE为3.053
    ———————————————完成本次的3折交叉验证———————————————————

第4次重复K折，本次3折交叉验证的总体拟合优度均值为0.6953494486212177，方差为0.11614834637464808
                               总体MAE均值为0.38705033229496877，方差为0.029539032784274593
                               总体RMSE均值为2.260164391836863，方差为1.09022294514881
                               总体MAPE均值为2.1287335373456533，方差为1.0647308676641345

====================================================================================================================

正在进行第5次重复K折.....随机数种子为4

    开始本次在3折数据上的交叉验证.......

        正在进行第1折的计算
        第1折的拟合优度为：0.476，MAE为0.3845，RMSE为3.7705，MAPE为2.4277
        正在进行第2折的计算
        第2折的拟合优度为：0.6823，MAE为0.5015，RMSE为2.3399，MAPE为1.9511
        正在进行第3折的计算
        第3折的拟合优度为：0.9344，MAE为0.296，RMSE为0.6479，MAPE为2.1377
    ———————————————完成本次的3折交叉验证———————————————————

第5次重复K折，本次3折交叉验证的总体拟合优度均值为0.697579240530468，方差为0.1874164914708924
                               总体MAE均值为0.39400183092135327，方差为0.08418015995547488
                               总体RMSE均值为2.2527506508008055，方差为1.2762736734101292
                               总体MAPE均值为2.17217444185678，方差为0.196086080141957

====================================================================================================================

（6）评价指标可视化

plt.subplots(1,4,figsize=(16,3))
for i,col in enumerate(lgb_crosseval.columns):
    n=int(str('14')+str(i+1))
    plt.subplot(n)
    plt.plot(ran_crosseval[col], c= 'dimgray', label='随机森林')
    plt.plot(xgb_crosseval[col], c='aqua',marker='h', label='XGBOOST')
    plt.plot(der_crosseval[col], c='teal',marker='p', label='决策树')
    plt.plot(svr_crosseval[col], c='red',marker='*', label='支持向量机')
    plt.plot(mlp_crosseval[col], c='lawngreen', marker='s',label='神经网络')
    plt.plot(knr_crosseval[col], c='darkorange', marker='p',label='k邻近')
    
    plt.title(f'不同模型的{col}对比')
    plt.xlabel('重复交叉验证次数')
    plt.ylabel(col,fontsize=16)
    plt.legend(loc="upper right")
plt.tight_layout()
plt.savefig("squares.png",
            bbox_inches ="tight",
            pad_inches = 1,
            transparent = True,
            facecolor ="w",
            edgecolor ='w',
            dpi=300,
            orientation ='landscape')

输出结果：

（7）部分模型预测对比图

需要数据集的家人们可以去百度网盘（永久有效）获取：

链接：https://pan.baidu.com/s/1E59qYZuGhwlrx6gn4JJZTg?pwd=2138
提取码：2138 

更多优质内容持续发布中，请移步主页查看。

有任何问题，欢迎私信博主！

   点赞+关注,下次不迷路！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/937771.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

导入excel数据给前端Echarts实现中国地图-类似热力图可视化

导入excel数据给前端Echarts实现中国地图-类似热力图可视化

导入excel数据给前端Echarts实现中国地图-类似热力图可视化 程序文件： XinqiDaily/frontUtils-showSomeDatabaseonMapAboutChina/finalproject xin麒/XinQiUtilsOrDemo - 码云 - 开源中国 (gitee.com) https://gitee.com/flowers-bloom-is-the-sea/XinQiUtilsOr…
阅读更多...
第五章 树与二叉树 二、二叉树的定义和常考考点

第五章 树与二叉树 二、二叉树的定义和常考考点

一、定义 二叉树可以用以下方式详细定义： 二叉树是由节点构成的树形结构，每个节点最多可以有两个子节点。每个节点有以下几个属性： 值：存储该节点的数据。左子节点：有一个左子节点，如果没有则为空。右子节…
阅读更多...
大数据（四）主流大数据技术

大数据（四）主流大数据技术

大数据（四）主流大数据技术 一、写在前面的话 To 那些被折磨打击的好女孩（好男孩）： 有些事情我们无法选择，也无法逃避伤害。 但请你在任何时候都记住： 你可能在一些人面前，一文不值&a…
阅读更多...
基于内存池的 简单高效的数据库 SDK简介

基于内存池的 简单高效的数据库 SDK简介

基于内存池的 简单高效的数据库 SDK简介 下载地址： https://gitee.com/tankaishuai/powerful_sdks/tree/master/shm_alloc_db_heap shm_alloc_db_heap 是一个基于内存池实现的简单高效的文件型数据存储引擎，利用它可以轻松地像访问内存块一样读、写、增…
阅读更多...
国产系统下开发QT程序总结

国产系统下开发QT程序总结

国产系统下开发QT程序总结 1. 国产系统简介 开发国产系统客户端的过程中，会出现兼容性问题。以下介绍Kylin和UOS环境下开发QT程序， 首先麒麟和统信这两个系统基于Ubuntu开发的。所以在Ubuntu开发理论上在国产系统上也能运行。芯片架构又分为amd,arm,mi…
阅读更多...
谷歌翻译国内使用

谷歌翻译国内使用

谷歌已经退出中国市场，如果正常想使用的谷歌翻译的话，需要科学上网才可以 一些涉及到谷歌翻译的软件工具软件也无法正常使用，如chrome浏览器右键翻译，potplayer在线字幕实时翻译等等 目前最有效的解决方法就是通过修改hosts文件来…
阅读更多...
C语言链表梳理-2

C语言链表梳理-2

链表头使用结构体&#xff1a;struct Class 链表中的每一项使用结构体&#xff1a;struct Student#include <stdio.h>struct Student {char * StudentName;int StudentAge;int StudentSex;struct Student * NextStudent; };struct Class {char *ClassName;struct Stude…
阅读更多...
web、HTTP协议

web、HTTP协议

目录 一、Web基础 1.1 HTML概述 1.1.1 HTML的文件结构 1.2 HTML中的部分基本标签 二.HTTP协议 2.1.http概念 2.2.HTTP协议版本 2.3.http请求方法 2.4.HTTP请求访问的完整过程 2.5.http状态码 2.6.http请求报文和响应报文 2.7.HTTP连接优化 三.httpd介绍 3.1.http…
阅读更多...
前端基础（Element、vxe-table组件库的使用）

前端基础（Element、vxe-table组件库的使用）

前言&#xff1a;在前端项目中&#xff0c;实际上&#xff0c;会用到组件库里的很多组件&#xff0c;本博客主要介绍Element、vxe-table这两个组件如何使用。 目录 Element 引入element 使用组件的步骤 使用对话框的示例代码 效果展示 vxe-table 引入vxe-table 成果展…
阅读更多...
不使用ip和port如何进行网络通讯(raw socket应用例子)

不使用ip和port如何进行网络通讯(raw socket应用例子)

主要应用方向是上位机和嵌软(如stm32单片机)通讯&#xff0c;不在单片机中嵌入web server&#xff0c;即mac层通讯。 一、下面先了解网络数据包组成。 常见数据包的包头长度: EtherHeader Length: 14 BytesTCP Header Length : 20 BytesUDP Header Length : 8 BytesIP Heade…
阅读更多...
基于unity的轻量配置工具开发

基于unity的轻量配置工具开发

工具结构&#xff1a;针对每张表格生成一个表格类&#xff0c;其中默认包含一个list和字典类型参数记录表格数据&#xff0c;初始化项目时将list中的数据转为按id索引的dictionary&#xff0c;用于访问数据。额外包含一个同名Temp后缀的类&#xff0c;记录表格的字段、备注等信…
阅读更多...
李跳跳跳过APP开屏广告，附下载地址

李跳跳跳过APP开屏广告，附下载地址

最近&#xff0c;李跳跳APP宣布永久停止更新。据称&#xff0c;该应用导致了消费者权益的减损&#xff0c;被指构成不正当竞争&#xff0c;并因此遭受某大厂的投诉&#xff0c;甚至收到了一封法律函件的威胁。面对压力&#xff0c;最终李跳跳APP选择了退出舞台。 李跳跳APP是什…
阅读更多...
cs231n assignment3 q3 Image Captioning with Transformers

cs231n assignment3 q3 Image Captioning with Transformers

文章目录 先啰嗦直接看代码Q3 Image Captioning with TransformersMultiHeadAttention.forward题面解析代码输出 Positional Encoding题面解析代码输出 transformer.forward题面解析代码输出 先啰嗦直接看代码 Q3 Image Captioning with Transformers MultiHeadAttention.for…
阅读更多...
c++ style casting

c++ style casting

https://www.youtube.com/watch?vUfrR1nNfoeY&listPLE28375D4AC946CC3&index17
阅读更多...
Python3 列表

Python3 列表

Python3 列表 序列是 Python 中最基本的数据结构。 序列中的每个值都有对应的位置值&#xff0c;称之为索引&#xff0c;第一个索引是 0&#xff0c;第二个索引是 1&#xff0c;依此类推。 Python 有 6 个序列的内置类型&#xff0c;但最常见的是列表和元组。 列表都可以进…
阅读更多...
TensorBoard的使用

TensorBoard的使用

TensorBoard&#xff1a;对图像进行变换 1. SummaryWriter的使用 ctrl类出现注释解析&#xff1a; 将条目直接log_dir写入要成为由TensorBoard使用。 “摘要编写器”类提供了一个高级 API 来创建事件文件&#xff0c;并在给定目录中添加摘要和事件。该类更新文件内容异步。…
阅读更多...
Python系统监控利器

Python系统监控利器

迷途小书童的 Note 读完需要 3分钟 速读仅需 1 分钟 1 简介 计算机系统监控对保证服务质量和排查故障非常重要。psutil 是一个用于 Python 的跨平台系统监控和过程管理工具&#xff0c;为我们提供便捷的监控方案。 2 基本工作原理 psutil 使用 Python 封装了系统调用&#xff0…
阅读更多...
C++学习记录——이십팔 C++11（4）

C++学习记录——이십팔 C++11（4）

文章目录 包装器1、functional2、绑定 这一篇比较简短&#xff0c;只是因为后要写异常和智能指针&#xff0c;所以就把它单独放在了一篇博客&#xff0c;后面新开几篇博客来写异常和智能指针 包装器 1、functional 包装器是一个类模板&#xff0c;对可调用对象类型进行再封装…
阅读更多...
安全学习DAY20_自动化工具项目武器库介绍

安全学习DAY20_自动化工具项目武器库介绍

信息打点-自动化工具 文章目录 信息打点-自动化工具本节思维导图&概述 各类红蓝队优秀工具项目集合&#xff1a;All-Defense-Tool 自动化-武器库部署F8x 自动化信息搜集-网络空间AsamF 自动化信息搜集-企查信息ENScan 自动化信息搜集-综合架构-ARL&NemoARL灯塔Nemo_Go …
阅读更多...
MySQL 特殊语法时间格式以及Greadb连接

MySQL 特殊语法时间格式以及Greadb连接

一、时间语法 DATE_FORMAT和to_char() select to_char(now(),%Y-%m-%d %H:%i:%s) from dual; select DATE_FORMAT(now(),%Y-%m-%d %H:%i:%s) from dual; 2.to_date() 和STR_TO_DATE(#{date},%Y-%m-%d ) select to_date(now(),yyyy-mm-dd hh24:mi:ss) from dual;
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023