机器如何快速学习数据采集

news2024/11/19 15:25:54

很多人都在思考如何利用机器学习(ML)算法来提高产品或服务的质量。

如果你正在考虑采用ML,以正确的格式收集正确的数据,将会降低你的数据清理工作以及数据浪费。
在这里插入图片描述

要收集所有数据

收集所有数据是非常重要的。除非你真正训练一个预测模型,否则你将很难知道哪个属性哪些信息具有预测价值,并提供最好的结果。如果一条信息没有收集到,我们就没有办法获取它,并永远地失去它了。存储成本的低廉,也使得你可以收集一切与你的应用程序、产品或服务相关的数据。

这里有两个例子:

在产品推荐中,收集用户标识符、物品(即产品)标识和行为数据包括评分是非常重要的。其他相关属性,如类别、描述、价格等数据,对于推荐模型的提升也是有用的。隐含的行为,如意见,可能比显性评分更加有用。

在预测泰坦尼克号乘客的生存上,我们凭直觉知道,乘客的年龄、性别等属性和结果是有关联的。其他属性如船上儿童的数目、车费和客舱可能是也可能不是有用的信息。在你开始建立预测模型之前,你很难知道哪些方面将会对预测最有价值。

存储日志是一种常见的解决方案;他们以后可以提取、转换和加载来训练你的机器学习模型。

每个事件的时间戳

每个事件的时间戳都是很重要的,尤其是对于用户的动作或行为数据来说。时间戳能够阻止我们在构建机器学习模型时出现先窥偏差(Look-aheadBias)。

PredictionIO提供支持最佳实践的EventServer或“基于事件的风格”收集数据。这意味着一切被视为有时间戳的事件而收集,不管他是一个用户(例如“SarahConnor”),一件物品(例如“终结者”),或者一个用户对物品的操作(“SarahConnor查看终结者“)。

举个例子,创建用户SarahConnor:

{
"event":"new_user",
"entityType":"user"
"entityId":"de305d54-75b4-431b-adb2-eb6b9e546013",
"properties":{
"name":"SarahConnor",
"age":19,
"email":"sarah.connor@sky.net",
"gender":"Female"
}
"eventTime":"1984-10-26T21:39:45.618-07:00"
}

注意,entityId我们使用了通用唯一标识符(UUID),而eventTime我们使用ISO8601的格式。

保持属性一致性

使用一致的属性值。如果性别使用了“Female”,最好往后保持使用相同的符号,而不是以“F”或“female”或“girl”来替代。当你删除了一项特征,你应该将之从训练集之中排除。你可以清理与该特征相关联的数据并重新导入。当您添加一个新的特征,回填字段的默认值是重要的。

避免序列化和二进制

在EventServer中,“属性”区域允许任何形式自由的JSO象。为了方便,我们可以存储一个转义JSON字符串作为该区域之一。然而,序列化可能会混数据,使之变成一个不可用的点。举例如下:

错误的代码:

{
"event":"new_user",
"entityType":"user"
"entityId":"de305d54-75b4-431b-adb2-eb6b9e546013",
"properties":{
"name":"SarahConnor",
"age":19,
"email":"sarah.connor@sky.net",
"gender":"Female",
"car":"{\r\n\"make\":\"Honda\",\r\n\"model\":\"Fit\",\r\n\"trim\":\"Sport\",\r\n\"year\":2015\r\n}"
}
"eventTime":"1984-10-26T21:39:45.618-07:00"
}

正确的代码:

{
"event":"new_user",
"entityType":"user"
"entityId":"de305d54-75b4-431b-adb2-eb6b9e546013",
"properties":{
"name":"SarahConnor",
"age":19,
"email":"sarah.connor@sky.net",
"gender":"Female",
"car":{
"make":"Honda",
"model":"Fit",
"trim":"Sport",
"year":2015
}
}
"eventTime":"1984-10-26T21:39:45.618-07:00"
}

可能的例外是当序列化大幅降低存储空间时。例如,你可能希望使用ProtocolBuffer来存储数据,并把它们作为二进制字符串序列化。这样做可以节省5倍的存储空间,但它会使你的数据不可解析。更糟糕的是,如果你失去了你的消息定义文件,数据将会永久丢失。除非你的数据大小有谷歌或亚马逊那样的规模,不然这可能不值得。

查询时间

大型数据集的查询是耗时的工作。PredictionIOEventServer通过(entityId,entityType)索引数据。如果你想有效地查询,根据你的需要选择“entityId”和“entityType”。

使用队列服务

建议使用消息队列机制将事件数据传递到EventStore。如果EventStore暂时不可用,消息将驻留在队列中,直到它被处理。数据不会丢失。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/62744.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Excel基于分隔符拆分列

1、示例数据 id name describe 1 张三 学生 2 李四 老师 3 王五 学生 2、将数据复制到Excel中 数据目前都在A列中 3、将数据一次拆分到多个列 Excel基于分隔符拆分列,将数据一次拆分到多个列。 选中数据,数据-分列-分列 设置分隔符 点击完成后&…

【Python自然语言处理】使用逻辑回归(logistic)对电影评论情感分析实战(超详细 附源码)

需要源码和数据集请点赞关注收藏后评论区留言私信~~~ 一、舆情分析 舆情分析很多情况下涉及到用户的情感分析,或者亦称为观点挖掘,是指用自然语言处理技术、文本挖掘以及计算机语言学等方法来正确识别和提取文本素材中的主观信息,通过对带有…

使用Visual Studio Code 进行Python编程(一)

1、下载Visual Studio Code 到微软的Visual Studio Code官方主页下载Visual Studio Code: Visual Studio: 面向软件开发人员和 Teams 的 IDE 和代码编辑器Visual Studio 开发工具和服务让任何开发人员在任何平台和语言的应用开发都更加轻松。 随时随地免费使用代码编辑器或 I…

Spire.Office for .NET 7.12.0 2022年最后版本?

谷歌能找到破解版是破坏强签名,不能用web,请把大家不要用Spire.Office for .NET is a combination of Enterprise-Level Office .NET API offered by E-iceblue. It includes Spire.Doc, Spire.XLS, Spire.Spreadsheet, Spire.Presentation, Spire.PDF, …

数据库开发项目 flask + html 01

目的 开放平台(网站) 前端开发 HTML CSS JavaScript Web框架: 接受请求并处理 MySQL数据库: 存储数据 快速上手: 基于 Flask Web框架 快速搭建网站。 进阶: 基于 Django框架 1. 快速开发网站 安装框架 …

(附源码)SSM介绍信智能实现系统 毕业设计 260930

SSM介绍信智能实现系统 摘 要 科技进步的飞速发展引起人们日常生活的巨大变化,电子信息技术的飞速发展使得电子信息技术的各个领域的应用水平得到普及和应用。信息时代的到来已成为不可阻挡的时尚潮流,人类发展的历史正进入一个新时代。在现实运用中&…

java+mysql基于SSM的大学生兼职信息系统-计算机毕业设计

开发环境 运行环境: 开发工具:IDEA /Eclipse 数据库:MYSQL5.7 应用服务:Tomcat7/Tomcat8 使用框架:SSM(springspringMVCmybatis)vue 项目介绍 论文主要是对大学生兼职信息系统进行了介绍,包括研究的现状,还有涉及的开发背景,然…

分享几款免费实用的国产内网穿透工具

对于没有公网IP的用户来说,如何实现远程管理或让局域网的服务可以被公网访问到是一个问题。当然,也有很多类似的需求,比如: 微信公众号小程序开发调试公网访问本地web项目异地远程处理公司服务问题异地访问公司内网财务/管理系统…

Qt 中模型视图编程的基本概念

背景 一个应用程序本质可以抽象为三部分:界面、逻辑处理、数据。程序中存储有大量的数据,经过逻辑处理后、通过界面展示给用户,同时用户可以通过界面对数据进行编辑,如下图所示: Qt 中的模型视图架构就是用来实现大量…

Spring_第3章_AOP+事务

Spring_第3章_AOP事务 文章目录Spring_第3章_AOP事务一、AOP1 AOP简介问题导入1.1 AOP简介和作用【理解】1.2 AOP中的核心概念【理解】2 AOP入门案例【重点】问题导入2.1 AOP入门案例思路分析2.2 AOP入门案例实现【第一步】导入aop相关坐标【第二步】定义dao接口与实现类【第三…

8 常规聚类

常规聚类 聚类分析是解决数据全方位自动分组的有效方式。若将数据全体视为一个大类,这个大类很可能是由若干个包含了一定数量观测的自然小类”组成的。聚类分析的目的就是找到这些隐藏于数据中的客观存在的“自然小类”,并通过刻画“自然小类”体现数据…

舆情监控软件

随着中国互联网的快速发展,舆情监测成为工作中的一部分,如果没有舆情监控软件的及时介入,负面舆情将会迅速扩大并蔓延到各个方面,对社会以及公众造成严重的影响,舆情监控软件对企业政府有着深远影响,接下来…

Python学习小组课程P5-Python办公(2)Excel读取与Word生成

一、前言 注意:此为内部小组学习资料,非售卖品,仅供学习参考。 本系列课程: Python学习小组课程-课程大纲与Python开发环境安装 Python学习小组课程P1-Python基础(1)语法与数组 Python学习小组课程P2-Pyth…

【配电网重构】基于yalmip求解含sop+二阶锥配电网重构附matlab代码

✅作者简介:热爱科研的Matlab仿真开发者,修心和技术同步精进,matlab项目合作可私信。 🍎个人主页:Matlab科研工作室 🍊个人信条:格物致知。 更多Matlab仿真内容点击👇 智能优化算法 …

ouster-32激光雷达使用---雷达输出数据分析

ouster-32激光雷达使用---雷达输出数据分析雷达输出数据分析所有数据imu数据雷达数据坐标系Rviz显示雷达输出数据分析 所有数据 查看当前topic消息种类 rostopic list终端输出 /clicked_point /initialpose /move_base_simple/goal /os_node/imu_packets /os_node/lidar_pa…

ADSP-21489的开发详解:VDSP+自己编程写代码开发(2-软件和硬件的开发环境搭建)

Visual DSP软件的安装 运行 setup 软件安装包,全部下一步即可完成软件安装,非常简单。我们的资料里提供了 VDSP5.1.2 软件,当然您也可以通过 ADI 公司官网下载。 VDSP5.1.2 软件官网下载地址: Visual DSP5.1.2的ADI官网下载链接…

2022深入学习C++教程

2022深入学习C教程 课堂和实践课程 – C 11 的功能、异常处理和 STL – 适用于学术界和工业界 课程英文名:Learn C Programming -Beginner to Advance- Deep Dive in C 此视频教程共30.0小时,中英双语字幕,画质清晰无水印,源码…

Composer交互文档如何在PPT当中使用

在往期的公开课中我们讲解了SOLIDWORKS Composer这样一款三维制作软件,Composer可以很好的利用SOLIDWORKS所设计的数据自动生成产品手册、装配目录、维修说明,以及销售和培训视频等,还可以为用户提供非常满意的交互式体验。 并且Composer和S…

抖音怎么录屏?这个方法,亲测好用

​抖音是现在流行的短视频软件之一,很多小伙伴喜欢用它来记录生活,分享生活中新鲜有趣的事情。有时候,在抖音上看到了喜欢的视频,想要分享给好友,发现抖音无法分享,这个时候就需要使用到屏幕录制功能了。那…

【电力系统】含电热联合系统的微电网运行优化附matlab代码和复现论文

✅作者简介:热爱科研的Matlab仿真开发者,修心和技术同步精进,matlab项目合作可私信。 🍎个人主页:Matlab科研工作室 🍊个人信条:格物致知。 更多Matlab仿真内容点击👇 智能优化算法 …