6.1 数据集的获取与描述

我们使用波士顿房价预测数据集（Boston Housing)作为本章的实验数据集。Boston Housing数据隼已经内置在中，可以直接加载查看。

使用sklearn库加载数据集之后，利用看前5个样本数据，如图6-1所示。Boston Housing数据集一共有506条样本数据，前13列分别对应13维的特征数据，最后一列"MEDV"农示房屋的均值价格（单位：1000美元）。

6.2纵向数据集切分

为了能够有效地模拟纵向联邦的案例，首先在本地将BostonHousing数据集切分为纵向联邦的形
式。假设当前有两方参与纵向朕邦训练，如图6-2所示。

从BostonHousing数据集中抽取前406条作为训练数据，将后面100条作为评估测试数据。

训练数据集切分：从406条训练数据中随机抽取360条数据和前8个特征作为公司A的本地数据，文件保存为housing_1_train.csv。同样，从这406条训练数据中抽取380条数据和后5个特征，以及标签MEDV,作为公司B的本地数据，文件保存为housing_2_train.csv。将这两份数据分别发送到公司A和公司B，该过程如图6-3所示。
测试数据集切分：从100条评估测试数据中随机抽取80条数据和前8个特征作为公司A的本地测试数据，文件保存为housing_1_eval.csv。再从这100条测试数据集中随机抽取85条数据和后5个特征，以及标签MEDV,作为公司B的本地测试数据，文件保存为housing_2_eval.csv。同样，将这两份数据分别发送给公司A和公司B。

在进行本章的实验时，可以根据自己的需要来切玢数据。按上述方案切分后，最终两家公司的数据分布表6-1。我们观察到在训练集中，两家公司的用户交集85％左右，而测试集的用户交集大约为68％。

表6-1两家公司的数据分布情况

需要特别注意的是，使用以上切分方的目的是模拟纵向建模。事实上，在现实的纵向联邦建模中，不同粗构的特征数据本身基本没有太多的交集，因此，在业务开发过程中，基本不会涉及数据切分的工作。

为两方准备好数据之后，就可以利用FATE来构建纵向联邦训练了。在FATE中构建纵向联邦模型的流程与横向联邦很相似，通常会涉及下面四项工作。

数据输入：将文件（如CSV、TXT等文本文件〕转换为FATE支持的DTable格式。前面已经阐述DTabIe是FATE底层的数据结构，所有的悍作都是在DTable格式中进行的，其作用类似于RDD在Spark中的作用。
样本对齐：这是纵向联邦特有的工作。两个参与方中的本地数据，它们的用户集合不相同，因此，需要先求出它们的用户交集，再利用这部分交集数据进行模型训练。
模型训练：求取了交集数据之后，就可以进行纵向联邦模型训练了，具体的算法步骤可以参考相关文献。
模型评估：与横向联邦模型评估、集中式模型评估个同的是，纵向联邦模型评估所需要的评估数据也分布在两个参与方中，因此模型评估也需要联合双方才能进行。

与横向联邦训练一样，FATE为纵向联邦提供了丰富的接口，开发人员不需要重新开始编码，只需要通过提供dsl和conf配置文件，就能完成上面的四步操作。为了后面章节的叙述统一，假设安装的FATE单机版本目录为

FATE提供了将本地文件转化为FATE支持的DTable格式的工具。先将上一节切分的四个文件上传到$fate_dir/examples/data目录。

与5.4.1节类似，我们定义上传数据配置文件，将其命名为upload_data.json,其内容如下面的代码块所示。我们需要修改其中的三个字段，即file,table_name和name_space,其余字段使用默认值即可。这三个字段的含义已经在第5章中进行了阐述，这里不再重复讲解。

以上传housing_1_train.csv文件为例，需要将file设置为该文件当前所在的目录，同时自定义对应的DTable表名和命名空间，修改后的文件如下所示。

修改完成后，在命令行中执行下面的命令（upload）,FATE会自动将原始的本地文件housing_1_train.CSV转为DTable表hetero_housing_1_train。

如果执行成功，那么系统将返回下面的信息，读者可以将board_url字段中的网址输入浏览器中查看执行结果。同理，对于其余三个文件，可以按照上面的过程执行自行修改file,table_name和namespace三个字段，这里不再详述。

样本对齐（图6-4），即在不泄露双方数据的前提下，求取出双方用户的交集，从而确定模型训练的训练数据集。纵向联邦的样本对齐也是私有集交集(Private Set Intersection，PSI)技术的一种。

FATE提供了多方安全的样本对齐法，算法基于RSA加密法和散列函数来实现。利用FATE建模时，不需要自己实现样本对齐算法，FATE为模型训练提供了样本对齐的接口。

经过前面的工作，我们已经准备好了模型训练所需要的数据，能够看到FATE官方提供的很多模型参考例子，如图6-5所示。

使用纵向线性回归模型来预测房价。进入$fate_dir/examples/dsl/v1/hetero_linear_regression目录，在该目录下，有很多已经定义的d引和conf配置文件，挑选下面两个文件来修改。

图6-5 模型参考例子

test_hetero_linr_train_job_conf.json：用来设置各个组件的参数，比如输入模块的数据表名；篡法模块的学习率、batch大小、迭代次数等。

首先来查看dsI配置文件，在命令行中打开当前的dsl引文件。当前的dsl已经定义了四个组件
模块，对于模型训练来说，这四个组件构成了最基本的纵向朕邦训练要素，在本案例中直接使用即可。

dataio_0、数据I/O组件，用于将本地数据转换为DTableo
intersection_0：样本对齐组件，用于求取两方的数
hetero_linr_0：纵向线性回归模型组件，这里我们使用线性回归，如果使用其他篡法，设置为相应的模块即可。比如，如果想使用纵向的神经网络模型，则设置为hetero_nn_0。
evaluation_o:模型评估组件。如果没有提供测试数据集，则将自动使用训练数据集作为测试数据集。

接下来查看conf配置文件，该文件包括了所有运行相关的参数信息，在一般情况下使用默认值即可，需要修改的地方包括以下两处。

roleparameters字段：找到role_parameters字段，该字段下包括guest和host，分别对应于两个参与方，其中guest代表带有标签信息的公司B，host代表没有标签的公司A。guest有三个参数需要修改。首先是train_data下面的name和namespace，代表训练数据的DTable表名和命名空间，将其修改为up-date.json文件中的name和namespace;此外label_name表示的是标签列对应的属性名，比如本案例中的标签列名是"y"。