实战Kaggle比赛：预测房价

目录

• 下载和缓存数据集
• 访问和读取数据集
• 数据预处理
• 训练
• K折交叉验证
• 模型选择
• 提交Kaggle预测

本节我们将通过Kaggle比赛，将所学知识付诸实践。 Kaggle的房价预测比赛是一个很好的起点。 此数据集由Bart de Cock于2011年收集 (De Cock, 2011)， 涵盖了2006-2010年期间亚利桑那州埃姆斯市的房价。 这个数据集是相当通用的，不会需要使用复杂模型架构。 它比哈里森和鲁宾菲尔德的波士顿房价 数据集要大得多，也有更多的特征。

本节我们将详细介绍数据预处理、模型设计和超参数选择。 通过亲身实践，你将获得一手经验，这些经验将有益数据科学家的职业成长。

下载和缓存数据集

这里我们实现几个函数来方便下载数据。

首先，我们建立字典DATA_HUB， 它可以将数据集名称的字符串映射到数据集相关的二元组上， 这个二元组包含数据集的url和验证文件完整性的sha-1密钥。

所有类似的数据集都托管在地址为DATA_URL的站点上。

import hashlib
import os
import tarfile
import zipfile
import requests

#@save
DATA_HUB = dict()
DATA_URL = 'http://d2l-data.s3-accelerate.amazonaws.com/'

这段代码定义了一些变量和常量，用于下载和管理数据。

• DATA_HUB 是一个字典，用于存储已下载的数据的本地路径。
• DATA_URL 是一个字符串，表示数据文件所在的基础URL。

后面代码中，首先，使用 hashlib.md5() 函数来计算文件的 md5 值作为文件名，防止文件重复下载。然后通过requests库来获取数据文件，存在本地，对于zip和tar.gz格式的文件进行解压。

下面的download函数用来下载数据集， 将数据集缓存在本地目录（默认情况下为../data）中， 并返回下载文件的名称。 如果缓存目录中已经存在此数据集文件，并且其sha-1与存储在DATA_HUB中的相匹配， 我们将使用缓存的文件，以避免重复的下载。

def download(name, cache_dir=os.path.join('..', 'data')):  #@save
    """下载一个DATA_HUB中的文件，返回本地文件名"""
    assert name in DATA_HUB, f"{name} 不存在于 {DATA_HUB}"
    url, sha1_hash = DATA_HUB[name] # 获取DATA_HUB字典中给定名称对应的两个值：url 和 sha1_hash
    os.makedirs(cache_dir, exist_ok=True) # 创建文件夹
    fname = os.path.join(cache_dir, url.split('/')[-1])
    if os.path.exists(fname):
        sha1 = hashlib.sha1()
        with open(fname, 'rb') as f:
            while True:
                data = f.read(1048576)
                if not data:
                    break
                sha1.update(data)
        if sha1.hexdigest() == sha1_hash:
            return fname  # 命中缓存
    print(f'正在从{url}下载{fname}...')
    r = requests.get(url, stream=True, verify=True)
    with open(fname, 'wb') as f:
        f.write(r.content)
    return fname

download 函数的主要作用是在给定的缓存目录中下载一个给定名称的文件。

首先，它会检查给定的名称是否在DATA_HUB字典中，如果不存在，它会抛出一个错误。

其次，它使用 os.makedirs 函数创建缓存目录（如果不存在）。然后使用 os.path.join 构造本地文件名fname并检查文件是否已经存在。如果文件已经存在，则打开文件并使用 hashlib.sha1() 计算其 SHA-1 哈希值，然后将其与预期的 SHA-1 哈希值进行比较，如果它们匹配，则返回本地文件名，这说明文件已经被缓存。

如果文件不存在或验证失败，则使用 requests.get() 访问给定的 URL 并将文件写入本地文件系统，返回本地文件名。

最后，可以看到，这个函数使用了一些 Python 标准库和第三方库来实现下载和验证文件，并简化了文件下载的过程。

---

url, sha1_hash = DATA_HUB[name]

这句代码是在获取DATA_HUB字典中给定名称对应的两个值：url 和 sha1_hash。其中， url 是文件在网络上的地址， sha1_hash 是文件的一种哈希值（类似于文件指纹），它用于确保下载的文件的完整性。在后面的代码中会使用这两个值来下载文件并验证其完整性。

os.makedirs(cache_dir, exist_ok=True)

os.makedirs() 是 Python 标准库中用于创建文件夹的函数。它接受一个目录路径作为输入并创建该目录。如果该目录的父目录不存在，则会创建父目录。

在这里， cache_dir 是传入 download 函数的参数，它指定了缓存文件的目录。exist_ok=True 的意思是如果目录已经存在，则不会抛出错误，不会新建目录。

这条语句的目的是在本地文件系统中创建缓存目录，以便下载文件并将其存储在其中。

fname = os.path.join(cache_dir, url.split('/')[-1])

os.path.join() 是 Python 标准库中的函数，用于将多个路径组合成一个路径。它接受若干个字符串作为输入，并将它们合并成一个路径。如果运行在Windows系统上 会用’‘作为路径分隔符，如果在Linux或macOS系统上就用’/'作为分隔符。

在这里， fname 是文件的本地文件名。 cache_dir 是传入 download 函数的参数，表示缓存文件的目录。 url.split(‘/’)是把url按照’/‘进行分割，并返回一个列表 url.split(’/')[-1]表示取最后一个元素，也就是文件名

这条语句的目的是将缓存目录和文件名连接起来，构造出本地文件的绝对路径。

例如，如果缓存目录为 ‘…/data’，文件 URL 为 'http://d2l-data.s3-accelerate.amazonaws.com/kaggle_house_pred_train.csv’，则本地文件名 fname 就会是 ‘…/data/kaggle_house_pred_train.csv’。

---

我们还需实现两个实用函数： 一个将下载并解压缩一个zip或tar文件， 另一个是将本书中使用的所有数据集从DATA_HUB下载到缓存目录中。

def download_extract(name, folder=None):  #@save
    """下载并解压zip/tar文件"""
    fname = download(name)
    base_dir = os.path.dirname(fname) # 返回一个文件的目录名
    # 将文件路径拆分成文件名和扩展名两个部分。变量data_dir就是文件名，ext就是扩展名。
    data_dir, ext = os.path.splitext(fname)
    if ext == '.zip':
        fp = zipfile.ZipFile(fname, 'r')
    elif ext in ('.tar', '.gz'):
        fp = tarfile.open(fname, 'r')
    else:
        assert False, '只有zip/tar文件可以被解压缩'
    fp.extractall(base_dir) # 将fp中的所有文件解压到base_dir目录中
    return os.path.join(base_dir, folder) if folder else data_dir # 能返回解压后文件的绝对路径

def download_all():  #@save
    """下载DATA_HUB中的所有文件"""
    for name in DATA_HUB:
        download(name)

download_extract函数会下载并解压缩一个zip或tar文件。先使用download(name)下载文件，再使用os.path.splitext()函数来获得文件的扩展名。

如果扩展名是.zip,则使用zipfile库的ZipFile类来解压缩文件，如果是.tar或.gz则使用tarfile库的open函数来解压缩文件

解压完成后，返回解压后文件的绝对路径。

download_all函数则是将DATA_HUB中所有文件下载下来并缓存到本地。

访问和读取数据集

注意，竞赛数据分为训练集和测试集。 每条记录都包括房屋的属性值和属性，如街道类型、施工年份、屋顶类型、地下室状况等。 这些特征由各种数据类型组成。 例如，建筑年份由整数表示，屋顶类型由离散类别表示，其他特征由浮点数表示。 这就是现实让事情变得复杂的地方：例如，一些数据完全丢失了，缺失值被简单地标记为“NA”。 每套房子的价格只出现在训练集中（毕竟这是一场比赛）。 我们将希望划分训练集以创建验证集，但是在将预测结果上传到Kaggle之后， 我们只能在官方测试集中评估我们的模型。

# 如果没有安装pandas，请取消下一行的注释
# !pip install pandas

%matplotlib inline
import numpy as np
import pandas as pd
import torch
from torch import nn
from d2l import torch as d2l

为方便起见，我们可以使用上面定义的脚本下载并缓存Kaggle房屋数据集。

DATA_HUB['kaggle_house_train'] = (  #@save
    DATA_URL + 'kaggle_house_pred_train.csv',
    '585e9cc93e70b39160e7921475f9bcd7d31219ce')

DATA_HUB['kaggle_house_test'] = (  #@save
    DATA_URL + 'kaggle_house_pred_test.csv',
    'fa19780a7b011d9b009e8bff8e99922a8ee2eb90')

上面的代码向数据字典DATA_HUB中添加了两个文件, kaggle_house_train 和 kaggle_house_test。
其中第一个参数是文件的URL, 第二个参数是文件的SHA1哈希值。
这两个文件将在以后的模型训练和测试中使用, 但是在下载和使用之前, 你需要获取它们的权限。

我们使用pandas分别加载包含训练数据和测试数据的两个CSV文件。

train_data = pd.read_csv(download('kaggle_house_train'))
test_data = pd.read_csv(download('kaggle_house_test'))

上面的代码使用了pandas库中的read_csv函数读取了DATA_HUB字典中‘kaggle_house_train’和‘kaggle_house_test’文件。
然后将这两个文件的数据读入到变量train_data和test_data中，这些数据将在以后的模型训练中使用。
这些数据按照csv格式组织，每一行为一个样本，每一列是一种特征。

训练数据集包括1460个样本，每个样本80个特征和1个标签， 而测试数据集包含1459个样本，每个样本80个特征。

print(train_data.shape)
print(test_data.shape)

输出

(1460, 81)
(1459, 80)

让我们看看前四个和最后两个特征，以及相应标签（房价）。

print(train_data.iloc[0:4, [0, 1, 2, 3, -3, -2, -1]])

   Id  MSSubClass MSZoning  LotFrontage SaleType SaleCondition  SalePrice
0   1          60       RL         65.0       WD        Normal     208500
1   2          20       RL         80.0       WD        Normal     181500
2   3          60       RL         68.0       WD        Normal     223500
3   4          70       RL         60.0       WD       Abnorml     140000

这段代码中，train_data.iloc[]表示获取train_data中的一部分行和列，iloc是pandas的索引器，通过行号和列号来获取数据。
其中[0:4]表示获取第0~3行的数据，[0, 1, 2, 3, -3, -2, -1]表示获取第0,1,2,3,-3,-2,-1列的数据，也就是获取第1,2,3,4,78,79,80列的数据。
这行代码将输出train_data中第1,2,3,4行和第1,2,3,4,78,79,80列的数据。

我们可以看到，在每个样本中，第一个特征是ID， 这有助于模型识别每个训练样本。 虽然这很方便，但它不携带任何用于预测的信息。 因此，在将数据提供给模型之前，我们将其从数据集中删除。

all_features = pd.concat((train_data.iloc[:, 1:-1], test_data.iloc[:, 1:]))

all_features是两个数据集的特征的级联。 其中train_data.iloc[:, 1:-1]表示的是训练数据集中的所有行的第1列到倒数第2列的所有特征， test_data.iloc[:, 1:]表示的是测试数据集中的所有行的第1列到最后1列的所有特征。pd.concat()方法将这两部分特征进行级联， 得到所有特征。

数据预处理

# 若无法获得测试数据，则可根据训练数据计算均值和标准差
numeric_features = all_features.dtypes[all_features.dtypes != 'object'].index
all_features[numeric_features] = all_features[numeric_features].apply(
    lambda x: (x - x.mean()) / (x.std()))
# 在标准化数据之后，所有均值消失，因此我们可以将缺失值设置为0
all_features[numeric_features] = all_features[numeric_features].fillna(0)

📌将所有缺失的值替换为相应特征的平均值，通过将特征重新缩放到零均值和单位方差来标准化数据。

这段代码将所有数值类型的特征（除了object类型的特征）进行了标准化处理。首先，通过 dtypes 属性获取了所有的数值类型的特征名称，然后对这些特征的值进行了标准化处理，具体来说，就是将每一个数值减去该特征的均值，再除以该特征的标准差。最后，将所有缺失值设置为0。

1. 首先，通过 dtypes 属性获取了所有的数值类型的特征名称，赋值给变量 numeric_features: numeric_features = all_features.dtypes[all_features.dtypes != 'object'].index 这里通过将all_features的dtypes属性与’object’进行比较，得到一个布尔类型的Series，筛选出来除了object类型的特征，再获取他们的名称。
2. 接着,对于数值类型的特征,进行标准化处理： all_features[numeric_features] = all_features[numeric_features].apply(lambda x: (x - x.mean()) / (x.std())) 通过使用apply函数，对于每一个数值特征，对每一个数值减去该特征的均值，再除以该特征的标准差，完成标准化操作。
3. 最后，将所有缺失值设置为0: all_features[numeric_features] = all_features[numeric_features].fillna(0) 因为在标准化之后，所有特征的均值都消失了，缺失值的均值也就无意义了，因此可以直接将缺失值设置为0。

总结来说，这段代码对数值类型的特征进行了标准化处理，并将缺失值设置为0。标准化能够使得数据更加稳定，并且更好地放大数据中的模式和关系。

接下来，我们处理离散值。 这包括诸如“MSZoning”之类的特征。 我们用独热编码替换它们， 方法与前面将多类别标签转换为向量的方式相同 。

例如，“MSZoning”包含值“RL”和“Rm”。 我们将创建两个新的指示器特征“MSZoning_RL”和“MSZoning_RM”，其值为0或1。 根据独热编码，如果“MSZoning”的原始值为“RL”， 则：“MSZoning_RL”为1，“MSZoning_RM”为0。 pandas软件包会自动为我们实现这一点。

# “Dummy_na=True”将“na”（缺失值）视为有效的特征值，并为其创建指示符特征
all_features = pd.get_dummies(all_features, dummy_na=True)
all_features.shape

首先，使用pandas中的get_dummies()函数将所有非数值类型的特征转换为指示符变量，代码如下： all_features = pd.get_dummies(all_features, dummy_na=True)

这个函数会对all_features中的所有非数值类型的特征进行转换，具体来说，就是为每一个非数值类型的特征创建多个新的特征，每个新特征都是一个二元变量，表示原始特征的一个取值是否出现。如果一个样本在原始特征中的取值是该新特征对应的取值，那么新特征就是1，否则是0。

其中,dummy_na=True参数表示将缺失值“na”视为有效的特征值，并为其创建指示符特征，即对于每个原始特征，除了已经有的取值对应的指示符特征外，还会再增加一个na对应的指示符特征。这样做的目的是为了将缺失值也作为一种有效的特征值来处理。

最后，使用shape属性获取all_features变量的形状

输出

(2919, 331)

可以看到此转换会将特征的总数量从79个增加到331个。 最后，通过values属性，我们可以 从pandas格式中提取NumPy格式，并将其转换为张量表示用于训练。

n_train = train_data.shape[0]
train_features = torch.tensor(all_features[:n_train].values, dtype=torch.float32)
test_features = torch.tensor(all_features[n_train:].values, dtype=torch.float32)
train_labels = torch.tensor(
    train_data.SalePrice.values.reshape(-1, 1), dtype=torch.float32)

这段代码将训练数据和测试数据分别转换成了pytorch张量。 首先，使用shape属性获取train_data中样本数量，赋值给n_train。 接着,使用torch.tensor()函数将all_features中的前n_train行转换成了train_features张量，将all_features中剩下的行转换成了test_features张量。 最后，使用torch.tensor()函数将train_data中SalePrice列对应的值转换成了train_labels张量。 .values 属性用来得到pandas DataFrame 和 Series 的数组表示。reshape(-1, 1) 用来将一维的标签转化为二维的张量，这样才能在之后的模型中使用。

总结来说，这段代码将训练数据和测试数据分别转换成了pytorch张量，方便在之后的模型中使用。

训练

首先，我们训练一个带有损失平方的线性模型。 显然线性模型很难让我们在竞赛中获胜，但线性模型提供了一种健全性检查， 以查看数据中是否存在有意义的信息。 如果我们在这里不能做得比随机猜测更好，那么我们很可能存在数据处理错误。 如果一切顺利，线性模型将作为基线（baseline）模型， 让我们直观地知道最好的模型有超出简单的模型多少。

loss = nn.MSELoss()
in_features = train_features.shape[1]

def get_net():
    net = nn.Sequential(nn.Linear(in_features,1))
    return net

这段代码定义了一个简单的线性回归模型，使用了pytorch中的nn模块。

首先，使用nn.MSELoss()函数定义了损失函数loss。这里使用的是均方误差损失函数，常用于回归问题。

接着，定义了in_features变量，并将train_features的列数赋值给它。

最后，定义了get_net()函数,返回了一个线性回归模型，通过nn.Sequential()函数定义了一个序列化模型，其中只包含一层nn.Linear()线性层。这一层包含了in_features个输入特征和1个输出。

总结来说，这段代码定义了一个线性回归模型，使用了均方误差损失函数，并设置了输入特征的数量，以便在之后的训练中使用。

def log_rmse(net, features, labels):
    # 为了在取对数时进一步稳定该值，将小于1的值设置为1
    clipped_preds = torch.clamp(net(features), 1, float('inf'))
    rmse = torch.sqrt(loss(torch.log(clipped_preds),
                           torch.log(labels)))
    return rmse.item()

这段代码定义了一个log_rmse()函数，用于计算模型在给定数据集上的均方根对数误差（Root Mean Squared Logarithmic Error,RMSLE）。

首先，使用torch.clamp()函数将模型预测值限制在1和无穷大之间。这是为了避免在取对数时出现负值或者0的情况。 clipped_preds = torch.clamp(net(features), 1, float('inf'))

接着，使用torch.sqrt()函数计算loss，其中loss是均方误差损失函数，输入是对预测值和真实值取对数之后的差的平方。 rmse = torch.sqrt(loss(torch.log(clipped_preds), torch.log(labels)))

其中，使用torch.log()函数对预测值和真实值分别取对数，这样做的目的是为了将数据缩小到一个更小的范围，使得误差更稳定。

最后,使用.item()函数将张量转换成一个标量，并返回。 return rmse.item()

与前面的部分不同，我们的训练函数将借助Adam优化器 （我们将在后面章节更详细地描述它）。 Adam优化器的主要吸引力在于它对初始学习率不那么敏感。

def train(net, train_features, train_labels, test_features, test_labels,
          num_epochs, learning_rate, weight_decay, batch_size):
    train_ls, test_ls = [], []
    train_iter = d2l.load_array((train_features, train_labels), batch_size) # 加载训练数据
    # 这里使用的是Adam优化算法
    optimizer = torch.optim.Adam(net.parameters(),
                                 lr = learning_rate,
                                 weight_decay = weight_decay)
    for epoch in range(num_epochs):
        for X, y in train_iter:
            optimizer.zero_grad()
            l = loss(net(X), y)
            l.backward()
            optimizer.step()
        train_ls.append(log_rmse(net, train_features, train_labels))
        if test_labels is not None:
            test_ls.append(log_rmse(net, test_features, test_labels))
    return train_ls, test_ls

这段代码定义了一个train()函数，用于训练模型。

首先，定义了两个列表train_ls和test_ls，用于存储训练和测试过程中的误差。

接着，使用d2l.load_array()函数定义了一个迭代器train_iter，用于加载训练数据。

然后，使用torch.optim.Adam()函数定义了优化器optimizer，该优化器使用Adam算法，学习率为learning_rate，权重衰减系数为weight_decay。

接下来，进入了num_epochs次迭代。在每一次迭代中，使用train_iter迭代器加载训练数据，并进行前向传播、反向传播和优化步骤。

最后,在每一次迭代结束时，记录下训练数据的误差并将其加入train_ls列表，如果有测试数据，也记录下测试数据的误差并将其加入test_ls列表。

总结来说，这段代码定义了一个train()函数，用于训练模型，在训练过程中记录下训练误差和测试误差，并返回。

K折交叉验证

K折交叉验证， 它有助于模型选择和超参数调整。 我们首先需要定义一个函数，在K折交叉验证过程中返回第i折的数据。 具体地说，它选择第个切片作为验证数据，其余部分作为训练数据。 注意，这并不是处理数据的最有效方法，如果我们的数据集大得多，会有其他解决办法。

def get_k_fold_data(k, i, X, y):
    assert k > 1
    fold_size = X.shape[0] // k
    X_train, y_train = None, None
    for j in range(k):
        idx = slice(j * fold_size, (j + 1) * fold_size)
        X_part, y_part = X[idx, :], y[idx]
        if j == i:
            X_valid, y_valid = X_part, y_part
        elif X_train is None:
            X_train, y_train = X_part, y_part
        else:
            X_train = torch.cat([X_train, X_part], 0)
            y_train = torch.cat([y_train, y_part], 0)
    return X_train, y_train, X_valid, y_valid

这段代码定义了一个get_k_fold_data()函数，用于将数据集分成k份。其中第i份作为验证集，其余作为训练集。

首先，断言语句用于检查k的值是否大于1。

接着，计算出每一份的大小，并定义了X_train, y_train, X_valid, y_valid变量。

接下来，使用循环遍历数据集的k份，并通过切片操作获取每一份的数据。如果是第i份，则将其赋值给X_valid, y_valid；如果是第一份，则将其赋值给X_train, y_train；其余份则使用torch.cat()函数拼接到X_train, y_train后面。

最后, 返回X_train, y_train, X_valid, y_valid

总结来说，这段代码定义了一个get_k_fold_data()函数，用于将数据集分成k份，其中第i份作为验证集，其余作为训练集。

当我们在K折交叉验证中训练K次后，返回训练和验证误差的平均值。

def k_fold(k, X_train, y_train, num_epochs, learning_rate, weight_decay,
           batch_size):
    train_l_sum, valid_l_sum = 0, 0  # 用于存储训练误差和验证误差的总和
    for i in range(k):
        data = get_k_fold_data(k, i, X_train, y_train)
        net = get_net() #选择模型
        train_ls, valid_ls = train(net, *data, num_epochs, learning_rate,
                                   weight_decay, batch_size) # 训练模型
        train_l_sum += train_ls[-1] # 将当前训练误差的最后一个值累加到train_l_sum变量中
        valid_l_sum += valid_ls[-1]
        if i == 0: # 第一次循环
            d2l.plot(list(range(1, num_epochs + 1)), [train_ls, valid_ls],
                     xlabel='epoch', ylabel='rmse', xlim=[1, num_epochs],
                     legend=['train', 'valid'], yscale='log')
        print(f'折{i + 1}，训练log rmse{float(train_ls[-1]):f}, '
              f'验证log rmse{float(valid_ls[-1]):f}')
    return train_l_sum / k, valid_l_sum / k

这段代码主要实现了k折交叉验证的流程。首先定义了train_l_sum和valid_l_sum变量，用于存储训练误差和验证误差的总和。

接着，使用循环遍历k份数据。在每一次循环中，调用get_k_fold_data()函数获取当前验证集和训练集，并调用get_net()函数获取新的模型，调用train()函数训练模型。

然后，将每一次的训练误差和验证误差累加到train_l_sum和valid_l_sum中。

如果是第一次循环, 使用d2l.plot()函数绘制训练误差和验证误差的变化趋势

最后，输出第i次循环的训练误差和验证误差。最后返回的是k次训练的平均训练误差和验证误差。

总结来说，这段代码实现了k折交叉验证的流程，训练k次模型，并记录每一次的训练误差和验证误差的平均

模型选择

我们选择了一组未调优的超参数，并将其留给读者来改进模型。 找到一组调优的超参数可能需要时间，这取决于一个人优化了多少变量。 有了足够大的数据集和合理设置的超参数，K折交叉验证往往对多次测试具有相当的稳定性。 然而，如果我们尝试了不合理的超参数，我们可能会发现验证效果不再代表真正的误差。

k, num_epochs, lr, weight_decay, batch_size = 5, 100, 5, 0, 64
train_l, valid_l = k_fold(k, train_features, train_labels, num_epochs, lr,
                          weight_decay, batch_size)
print(f'{k}-折验证: 平均训练log rmse: {float(train_l):f}, '
      f'平均验证log rmse: {float(valid_l):f}')

这段代码主要用于调用k_fold()函数进行k折交叉验证，并输出最终结果。

首先，定义了k, num_epochs, lr, weight_decay, batch_size变量，分别对应k折交叉验证的折数、训练次数、学习率、权重衰减、批量大小。

接着，调用k_fold()函数并传入参数，获取平均训练误差train_l和平均验证误差valid_l。

最后，使用print()函数输出结果，输出k折验证的平均训练误差和平均验证误差。

总结来说，这段代码调用k_fold()函数进行k折交叉验证，并输出最终结果，包括平均训练误差和平均验证误差。

输出

折1，训练log rmse0.170154, 验证log rmse0.156060
折2，训练log rmse0.162506, 验证log rmse0.189413
折3，训练log rmse0.164092, 验证log rmse0.168645
折4，训练log rmse0.167332, 验证log rmse0.154410
折5，训练log rmse0.163029, 验证log rmse0.182780
5-折验证: 平均训练log rmse: 0.165423, 平均验证log rmse: 0.170261

提交Kaggle预测

既然我们知道应该选择什么样的超参数， 我们不妨使用所有数据对其进行训练 （而不是仅使用交叉验证中使用的$1-1/K$的数据）。 然后，我们通过这种方式获得的模型可以应用于测试集。 将预测保存在CSV文件中可以简化将结果上传到Kaggle的过程。

def train_and_pred(train_features, test_features, train_labels, test_data,
                   num_epochs, lr, weight_decay, batch_size):
    net = get_net()
    train_ls, _ = train(net, train_features, train_labels, None, None,
                        num_epochs, lr, weight_decay, batch_size)
    d2l.plot(np.arange(1, num_epochs + 1), [train_ls], xlabel='epoch',
             ylabel='log rmse', xlim=[1, num_epochs], yscale='log')
    print(f'训练log rmse：{float(train_ls[-1]):f}')
    # 将网络应用于测试集。
    preds = net(test_features).detach().numpy()
    # 将其重新格式化以导出到Kaggle
    test_data['SalePrice'] = pd.Series(preds.reshape(1, -1)[0])
    submission = pd.concat([test_data['Id'], test_data['SalePrice']], axis=1)
    submission.to_csv('submission.csv', index=False)

这段代码实现了最终的训练和预测流程。

首先通过调用get_net()函数获取一个新的模型net。然后调用train()函数训练模型，将训练误差存储在train_ls中。

接着使用d2l.plot()函数绘制训练误差的变化趋势，并输出最终训练误差。

最后，使用训练好的模型net对测试数据进行预测，并将结果导出到submission.csv文件中。

总结来说，这段代码实现了最终的训练和预测流程，包括训练模型、绘制训练误差图像、对测试数据进行预测并导出结果。

如果测试集上的预测与K倍交叉验证过程中的预测相似， 那就是时候把它们上传到Kaggle了。 下面的代码将生成一个名为submission.csv的文件。

train_and_pred(train_features, test_features, train_labels, test_data,
               num_epochs, lr, weight_decay, batch_size)

输出

训练log rmse：0.162805