增强使用 Amazon SageMaker 和 QuickSight 构建的机器学习模型的概述。
您是否曾想过如何以更简单的方式将 ML 预测添加到您的 BI 平台并分享给业务客户?别担心!AWS ML Insights 的 SageMaker 增强型 QuickSight 之一可以满足您的需求!
假设你已经建立了一个优化的模型并获得了 x% 的准确率。但在实时场景中,将模型投入生产并共享业务洞察非常重要。
将 SageMaker 模型与 QuickSight 集成(使用 app.diagrams.net 设计)
将 ML 预测添加到 BI 的典型步骤需要开发人员的参与来更新结果。传统上,将训练有素的模型的预测放入 BI 工具需要大量繁重的工作。您必须编写代码将数据 ETL 到 Amazon Simple Storage Service (Amazon S3),调用推理 API 以获取预测,将模型输出从 Amazon S3 ETL 到可查询的源,在有新数据可用时协调此过程,并为每个模型重复此工作流。推理终端节点可以更轻松地使用模型,但在不使用时可能会产生费用。最后,您使用 Excel 等第三方工具对预测进行分析和报告,这使得更新和向大量用户共享结果变得困难。从模型中获取价值的端到端流程没有区别,可能需要几天或几周的时间才能将模型的预测传达给业务决策者。
来源:AWS re:Invent 2019。
将 QuickSight 与 SageMaker 集成后,可以更轻松地添加预测、分享见解,减少开发人员的参与。QuickSight 中的 SageMaker 推理无需管理数据移动和编写代码。QuickSight 负责繁重的工作:从数据源中提取数据、对数据进行分块、通过 SageMaker Batch Transform 作业运行数据,以及清理和存储推理结果以进行可视化和报告。您只需将 QuickSight 指向您的数据和 SageMaker 模型,它就会管理端到端流程。QuickSight 还负责编排,因此您可以安排它在午夜任何有新数据可用时运行,或者以编程方式触发新的推理。
来源:AWS re:Invent 2019。
- 您可以根据需要选择数据源。
- ML 模型可从 AWS MarketPlace、SageMaker Autopilot(它会自动为输入数据创建模型)或您的自定义模型中使用。
在这里,我将解释如何使用 QuickSight 增强自定义 Iris 分类模型。增强之前,请确保 QuickSight 管理员授予进行 Sagemaker API 调用的权限。
向 QuickSIght 添加 SageMaker 权限。
涉及的步骤:
1. 连接数据或上传数据
数据源
注意:您的数据必须仅包含输入列、要使用 SageMaker 增强的模型、预测和附加输出列。
2. 点击编辑设置并预览数据
3.单击使用 SageMaker 进行增强
4. 选择您的型号
5. 上传 Schema(JSON 格式)文件
注意:允许的数据类型是 INTEGER(用于整数值)、DECIMAL(用于浮点值)、STRING(用于日期、分类变量等)。
6. 映射输入和输出数据字段。
7.单击下一步,保存并可视化
注意:执行批量转换作业并将预测输出附加到给定的测试数据集至少需要 4 分钟。
预测结果以列形式附加。
关于构建自定义模型、定义模式文件、使用 SageMaker 进行增强的详细说明可以在这里找到。
结论:
将 Amazon QuickSight 与 Amazon SageMaker 模型结合使用可以节省您原本花在管理数据移动和编写代码上的时间。结果既可用于评估模型,也可用于(当您对结果满意时)与决策者分享。您可以在构建模型后立即开始。这样做可以展示数据科学家预先构建的模型,并使您能够将数据科学应用于数据集。然后,您可以在预测仪表板中分享这些见解。借助 Amazon QuickSight 无服务器方法,该过程可以无缝扩展,因此您无需担心推理或查询容量。
感谢关注雲闪世界。(Aws解决方案架构师vs开发人员&GCP解决方案架构师vs开发人员)
订阅频道(https://t.me/awsgoogvps_Host)
TG交流群(t.me/awsgoogvpsHost)
#aws CLI cheat sheet #aws cli Debug #aws cli get S3 object #aws cli login with access key #aws cli to download from s3 #aws command line download from s3 #homebrew install aws cli#aws sdk get caller identity #aws s3 cli get object #aws s3 put object#aws s3 headobject#aws s3 put-object #aws s3 sync vs cp#aws sagemaker#quicksight