很多人都在思考如何利用机器学习(ML)算法来提高产品或服务的质量。
如果你正在考虑采用ML,以正确的格式收集正确的数据,将会降低你的数据清理工作以及数据浪费。
要收集所有数据
收集所有数据是非常重要的。除非你真正训练一个预测模型,否则你将很难知道哪个属性哪些信息具有预测价值,并提供最好的结果。如果一条信息没有收集到,我们就没有办法获取它,并永远地失去它了。存储成本的低廉,也使得你可以收集一切与你的应用程序、产品或服务相关的数据。
这里有两个例子:
在产品推荐中,收集用户标识符、物品(即产品)标识和行为数据包括评分是非常重要的。其他相关属性,如类别、描述、价格等数据,对于推荐模型的提升也是有用的。隐含的行为,如意见,可能比显性评分更加有用。
在预测泰坦尼克号乘客的生存上,我们凭直觉知道,乘客的年龄、性别等属性和结果是有关联的。其他属性如船上儿童的数目、车费和客舱可能是也可能不是有用的信息。在你开始建立预测模型之前,你很难知道哪些方面将会对预测最有价值。
存储日志是一种常见的解决方案;他们以后可以提取、转换和加载来训练你的机器学习模型。
每个事件的时间戳
每个事件的时间戳都是很重要的,尤其是对于用户的动作或行为数据来说。时间戳能够阻止我们在构建机器学习模型时出现先窥偏差(Look-aheadBias)。
PredictionIO提供支持最佳实践的EventServer或“基于事件的风格”收集数据。这意味着一切被视为有时间戳的事件而收集,不管他是一个用户(例如“SarahConnor”),一件物品(例如“终结者”),或者一个用户对物品的操作(“SarahConnor查看终结者“)。
举个例子,创建用户SarahConnor:
{
"event":"new_user",
"entityType":"user"
"entityId":"de305d54-75b4-431b-adb2-eb6b9e546013",
"properties":{
"name":"SarahConnor",
"age":19,
"email":"sarah.connor@sky.net",
"gender":"Female"
}
"eventTime":"1984-10-26T21:39:45.618-07:00"
}
注意,entityId我们使用了通用唯一标识符(UUID),而eventTime我们使用ISO8601的格式。
保持属性一致性
使用一致的属性值。如果性别使用了“Female”,最好往后保持使用相同的符号,而不是以“F”或“female”或“girl”来替代。当你删除了一项特征,你应该将之从训练集之中排除。你可以清理与该特征相关联的数据并重新导入。当您添加一个新的特征,回填字段的默认值是重要的。
避免序列化和二进制
在EventServer中,“属性”区域允许任何形式自由的JSO象。为了方便,我们可以存储一个转义JSON字符串作为该区域之一。然而,序列化可能会混数据,使之变成一个不可用的点。举例如下:
错误的代码:
{
"event":"new_user",
"entityType":"user"
"entityId":"de305d54-75b4-431b-adb2-eb6b9e546013",
"properties":{
"name":"SarahConnor",
"age":19,
"email":"sarah.connor@sky.net",
"gender":"Female",
"car":"{\r\n\"make\":\"Honda\",\r\n\"model\":\"Fit\",\r\n\"trim\":\"Sport\",\r\n\"year\":2015\r\n}"
}
"eventTime":"1984-10-26T21:39:45.618-07:00"
}
正确的代码:
{
"event":"new_user",
"entityType":"user"
"entityId":"de305d54-75b4-431b-adb2-eb6b9e546013",
"properties":{
"name":"SarahConnor",
"age":19,
"email":"sarah.connor@sky.net",
"gender":"Female",
"car":{
"make":"Honda",
"model":"Fit",
"trim":"Sport",
"year":2015
}
}
"eventTime":"1984-10-26T21:39:45.618-07:00"
}
可能的例外是当序列化大幅降低存储空间时。例如,你可能希望使用ProtocolBuffer来存储数据,并把它们作为二进制字符串序列化。这样做可以节省5倍的存储空间,但它会使你的数据不可解析。更糟糕的是,如果你失去了你的消息定义文件,数据将会永久丢失。除非你的数据大小有谷歌或亚马逊那样的规模,不然这可能不值得。
查询时间
大型数据集的查询是耗时的工作。PredictionIOEventServer通过(entityId,entityType)索引数据。如果你想有效地查询,根据你的需要选择“entityId”和“entityType”。
使用队列服务
建议使用消息队列机制将事件数据传递到EventStore。如果EventStore暂时不可用,消息将驻留在队列中,直到它被处理。数据不会丢失。