1 原理

        SVR（Support Vector Regression）回归预测原理，基于支持向量机（SVM）的回归分支，其核心思想是通过寻找一个最优的超平面来进行回归预测，并处理非线性回归问题。以下是SVR回归预测原理的系统全面详细介绍：

1.1 基本原理：

        1.SVR通过在线性函数两侧制造一个“间隔带”，该间距被称为容忍偏差（ϵ）。

        2.对于所有落入间隔带内的样本，不计算损失。

        3.只有支持向量会对函数模型产生影响。

        4.最后，通过最小化总损失和最大化间隔来得出优化后的模型。

1.2 松弛变量与软间隔：

        1.在现实任务中，很难直接确定合适的ϵ来确保大部分数据都能在间隔带内。

        2.因此，SVR引入了松弛变量ξ，使函数的间隔要求变得放松，允许一些样本可以不在间隔带内。

        3.引入松弛变量后，所有的样本数据都满足条件，这就是软间隔SVR。

1.3 核函数：

        1.SVR预测还涉及到核函数的选择和应用。

        2.核函数用于将输入空间映射到高维特征空间，以便解决非线性回归问题。

        3.常见的核函数包括线性核函数、多项式核函数和RBF核函数等。

1.4 SVR计算公式：

        1.SVR的计算公式旨在最小化总损失和最大化间隔。

        2.公式如下：

1.5 算法步骤：

        1.数据预处理：对输入特征进行标准化处理，使其均值为0，方差为1，以提高算法的收敛速度和精度。

        2.核函数选择：选择适合的核函数，将数据映射到高维空间，以处理非线性回归问题。

1.6 SVR的特点：

        1.不仅可以用于预测，还可以用于异常值检测。

        2.通过最大化预测出错的容忍度（margin）来寻找最优解。

        3.对于回归问题，支持向量回归（SVR）相比传统回归方法，具有更好的鲁棒性和泛化能力。

        综上所述，SVR回归预测原理基于支持向量机的回归分支，通过在线性函数两侧制造“间隔带”，并利用松弛变量和核函数等技巧，实现了高效、准确的回归预测。

2 回归结果

图2-1 训练集测试结果

图2-2 测试集测试结果

        由图2-1与图2-2可以看出真实值与拟合值非常接近，不存在偏差过大的数据点。

图2-3 训练集回归

图2-4 测试集回归

        从图2-3与图2-4可以看出模型在训练集上训练效果很好，但在测试集上整体训练存在偏差。

图2-5 训练集残差图

图2-6 测试集残差图

        基于图2-5与图2-6 中训练集和测试集的残差图，可以观察到模型的训练效果较好。在训练集中，残差值相对较小且稳定，这表明模型正在准确地拟合数据。而在测试集中，残差值稍大但仍在可接受的范围内，说明模型在未见过的数据上也有较好的表现。

        本文在测试集数据量上划分了较大的比重，这是模型在测试集上由较好表现的重要原因之一。

3 代码

%% 清空环境变量  
warning off             % 关闭报警信息  
close all               % 关闭开启的图窗  
clear                   % 清空变量  
clc                     % 清空命令行  
%% Import data    
dataset = xlsread('data.xlsx');    
    
%% Split data into training and testing sets    
num_columns = size(dataset, 2);  
num_rows = size(dataset, 1);  
permutation_indices = randperm(num_rows);  
split_ratio = 0.6; % 训练集、测试集划分比例为9：1     
X_train = dataset(permutation_indices(1: round(num_rows*split_ratio)), 1: num_columns-1)';  
Y_train = dataset(permutation_indices(1: round(num_rows*split_ratio)), num_columns)';  
M = size(X_train, 2);  
  
X_test = dataset(permutation_indices(round(num_rows*split_ratio): end), 1: num_columns-1)';  
Y_test = dataset(permutation_indices(round(num_rows*split_ratio): end), num_columns)';  
N = size(X_test, 2);  
%% Normalize data    
[x_train, ps_input] = mapminmax(X_train, 0, 1);    
x_test = mapminmax('apply', X_test, ps_input);    
    
[y_train, ps_output] = mapminmax(Y_train, 0, 1);    
y_test = mapminmax('apply', Y_test, ps_output);    
    
%% Transpose data to fit the model    
x_train = x_train'; x_test = x_test';    
y_train = y_train'; y_test = y_test';    
    
%% Create SVM model    
c_param = 4.0;    % Penalty factor    
g_param = 0.8;    % RBF kernel parameter    
cmd_params = [' -t 2',' -c ',num2str(c_param),' -g ',num2str(g_param),' -s 3 -p 0.01'];    
svm_model = svmtrain(y_train, x_train, cmd_params);    
    
%% Predict    
[y_sim1, error_1] = svmpredict(y_train, x_train, svm_model);    
[y_sim2, error_2] = svmpredict(y_test, x_test, svm_model);    
    
%% Reverse normalize data    
Y_sim1 = mapminmax('reverse', y_sim1, ps_output);    
Y_sim2 = mapminmax('reverse', y_sim2, ps_output);    
    
%% Calculate root mean square error (RMSE)    
rmse_train = sqrt(mean((Y_sim1 - Y_train).^2));    
rmse_test = sqrt(mean((Y_sim2 - Y_test).^2));    
    
%% Plot training results    
figure;    
plot(1:M, Y_train, 'b-*', 1:M, Y_sim1, 'r-o', 'LineWidth', 1);    
legend('Actual', 'Predicted');    
xlabel('Sample');    
ylabel('Value');    
xlim([1, M]);    
grid on;     
figure;    
plot(1:N, Y_test, 'y-*', 1:N, Y_sim2, 'r-o', 'LineWidth', 1);    
legend('Actual', 'Predicted');    
xlabel('Sample');    
ylabel('Value');    
xlim([1, N]);    
grid on;
%% Plot scatter plot for training set  
figure;  
scatter(Y_train, Y_sim1, 25, 'green');  
hold on;  
plot(xlim, ylim, '--r');  
xlabel('Actual (Training)');  
ylabel('Predicted (Training)');  
xlim([min(Y_train) max(Y_train)]);  
ylim([min(Y_sim1) max(Y_sim1)]);  
title('Predicted and Actual for Training Set');  
grid on;  
  
%% Plot scatter plot for test set  
figure;  
scatter(Y_test, Y_sim2, 25, 'green');  
hold on;  
plot(xlim, ylim, '--r');  
xlabel('Actual (Test)');  
ylabel('Predicted (Test)');  
xlim([min(Y_test) max(Y_test)]);  
ylim([min(Y_sim2) max(Y_sim2)]);  
title('Predicted and Actual for Test Set');  
grid on;  
  
%% The residuals of the training set are calculated and saved as residuals train variables  
residuals_train = Y_sim1 - Y_train;  
  
%% Plot the residuals of the training set  
figure;  
plot(1:M, residuals_train, 'k', 'Marker', 'o');  
xlabel('Sample (Training)');  
ylabel('Residual');  
title('Residuals for Training Set');  
grid on;  
  
%% If necessary, you can also calculate and plot the residuals of the test set 
residuals_test = Y_sim2 - Y_test;  
figure;  
plot(1:N, residuals_test, 'k', 'Marker', 'o'); 
xlabel('Sample (Test)');  
ylabel('Residual');  
title('Residuals for Test Set');  
grid on;