隐语1.0正式发布|MVP部署体验包、资源调度框架Kuscia全新亮相!

news2024/11/16 5:33:37

2023 年 7 月 7 日,在世界人工智能大会组委会办公室指导下,隐语开源社区携手蚂蚁集团和机器之心共同主办的数据要素与隐私计算论坛在上海世博会议中心举行。论坛上,蚂蚁集团隐私计算部总经理、隐语社区负责人王磊发布了隐语 1.0 版本,并对隐语 1.0 版本框架拓展与升级进行了整体介绍。隐语 1.0 版本不仅进一步扩大了开源范围,还对整体架构进行了调优拓展,核心内容涉及产品层、资源层、互联互通等板块,总体效果涵盖性能优化、易用性跨越式提升、互联互通形态丰富。

图片

图:隐语 1.0 架构图

产品层:平滑学习曲线 提升易用性

隐语开放平台已在过去一年内面向 50+ 机构开放体验。此次,隐语 1.0 版本带来全新的 MVP(Minimum Viable Product)部署体验包:**一款面向隐私计算初学用户的轻量级功能体验工具,内置节点、数据资源,节点间已相互授权,安装即可体验数据处理、数据分析、模型开发、模型评估等主要常见功能。**相较于更侧重于生产场景的隐语开放平台,隐语 MVP 部署体验包通过多种方式降低使用门槛,为业务投产正式使用铺垫入门操作基础。(下载地址:https://www.secretflow.org.cn/docs/quickstart/mvp-platform)

1.MVP 部署体验包能够解决什么问题?

隐语作为工业级高可用的隐私计算框架,其性能和稳定性常收获赞许。然而,对于许多隐私计算潜在用户和初学用户而言,基础需求是快速感知功能、了解完整流程、获得直观效果,以此来进行判断或决策。

隐语 MVP 部署体验包将用户体验反馈转化为成熟的产品能力,站在隐私计算初学者的角度,尽可能将准备步骤嵌入安装部署流程,提高用户与隐私计算功能直接面对面的效率。此外,我们还破除了原有的申请审核和资源支持限制,让创新技术能够无门槛地惠及更广泛的用户体验。

2.隐语 MVP 部署体验包的具体优势

  • 优势一:化繁为简 减少准备步骤中的卡点

在原本的体验流程中,用户需要自行配置节点资源和数据资源。为了解决准备链路长、卡点多的问题,隐语 MVP 部署体验包将这些准备步骤封装在包内,并以“一键安装包”的形式提供给用户。其安装过程也涵盖了联合项目的前序准备,因此用户可以更快速地开始体验隐私计算功能。

  • 优势二:模板配置 降低复杂组件上手难度

针对初次体验的用户,隐语 MVP 部署体验包提供场景化训练流模板选项,并已对各组件完成了配置。这些模板可以自动化运行直到结果,帮助用户理解组件原理并降低自定义训练流中的配置难度。

  • 优势三:新手训练营 功能体验与功能讲解同步进行

隐语 MVP 部署体验包将功能与教程合二为一,增加了交互式新手引导,让用户在学习的同时完成动手实践,进一步平滑隐私计算的学习曲线。

资源层:解决跨机构计算任务中的
多方面难题

隐语 1.0 版本正式开源 **Kuscia 隐私计算任务编排框架:**Kuscia 可以解决业务在使用隐语时端口合并、API 接入等集成问题,支持通过互联互通或者内置部署第三方系统等不同模式和第三方系统互通。(github地址:https://github.com/secretflow/kuscia)

1.什么是基础设施差异?在跨机构计算任务中将引发哪些难题?

隐私计算涉及很多跨机构场景,联合项目中的各个参与方在数据存储、数据传输、计算资源、安全控制等众多方面都不尽相同,这些都可以统称为基础设施的差异。

不同参与方在运行环境及网络链路两方面存在差异。网络链路指参与方在构建隐私计算应用时节点间的通信地址、通信协议、报文加密、请求鉴权等情况,运行环境又可能分为物理机、虚拟机等。

图片

跨机构的计算任务就涉及多个机构的资源协同。在任务调度过程中,需要协调和管理各个机构的资源分配以确保任务能够按时完成,需要使用安全的通信协议和机制来保护数据的传输过程中不被篡改或窃取。如果无法保障资源的有效管理、科学调度,就会引发计算任务低效、计算资源浪费或冗余、应用不稳定甚至任务失败等一系列问题。

2.Kuscia 是如何解决这些问题的?

在部署中,基础解决轻量化的需求(轻量节点最低支持 2C4G),核心关注业务机构接入时多样化的端口适配需求,既支持机构单端口,同时支持多任务端口合并。此外,业务机构当前重点关心的隐私计算部署问题还包括组网模式,Kuscia 支持去中心化的平等合作 P2P 模式、更便于统一管控的中心化模式以及多方合作带来两者并存的混合模式。

在任务编排中,除了 DAG 任务编排这类基础标配,Kuscia 重点支持多任务并发。由于隐私计算任务通常是计算密集型,多机构同时执行及多任务并发会产生计算资源竞争,Kuscia 通过任务间资源隔离、任务优先级可控等方式保障资源的合理配置。

在外部系统对接中,Kuscia 实现了任务调度层的互联互通,支持银联黑盒互联互通协议。Kuscia 为隐私计算应用提供一个统一的运行接口,用户可以直接调用多种现有的隐私计算引擎如 FATE 等。例如,业务方 A 在其业务平台中使用了某框架的联邦学习能力,但由于业务拓展升级,单一能力已不能满足需求,使用隐语 Kuscia 业务方 A 就可以实现原框架计算能力的集成调用和能力拓展,两者兼得。

图片

算法层和调度层全栈互联互通

2022 年底,由中国信通院隐私计算联盟牵头,蚂蚁集团负责设计的行业首个白盒互联互通开放协议《隐私计算跨平台开放算法协议第一部分:ECDH-PSI》正式发布,标志着隐私计算进入更深层次的互通,进入算法互通的新局面。

隐语 1.0 版本中,SS-LR 协议也得到了标准化。SS-LR 互联互通涉及传输层标准化、密码协议标准化、安全算子接口标准化和应用算法的标准化,几乎涉及隐语算法引擎的方方面面。基于此,隐语密态引擎的互联互通基础设施已初具形态,今后会更快、更多地推出其它互联互通算法协议,形成一套完整的开放算法(白盒)协议簇。

与此同时,Kuscia 在任务调度面也支持北京金产联盟互联互通要求中的最新互联互通协议,使得算法容器能够跨平台、跨生态地调度、执行。目前 Kuscia 已与洞见 Insight 平台调通,不仅洞见的算法容器能够在隐语 Kuscia 平台上运行,隐语的算法容器也能在洞见平台上运行。

通过算法引擎和 Kuscia 调度平台全栈的互联互通,隐语致力于构建一个更加透明开放的世界。隐语愿携手各界一道,为全域互联互通的密态数据要素流通网络赋能,推动隐私计算行业发展。

隐语 1.0 版本更多亮点

除了上述提到的三点外,隐语 1.0 版本还有在算法层、设备层、密码能力、易用性上,均有能力更新。(您的⭐️就是对隐语开源社区最大的鼓励_:https://github.com/secretflow/secretflow)

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/727914.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

java项目之美食推荐管理系统(ssm+mysql+jsp)

风定落花生,歌声逐流水,大家好我是风歌,混迹在java圈的辛苦码农。今天要和大家聊的是一款基于ssm的美食推荐管理系统。 开发环境: 后端: 开发语言:Java 框架:ssm,mybatis JDK版…

docker环境部署postgres版本nacos

1、docker安装postgres 执行命令:docker pull postgres 拉取最新版postgres 2、查看postgres镜像是否安装成功: docker imags(查看镜像),可以看到已经拉取到了最新版本 的postgres镜像 3、编辑一个docker-compose.yml文件,账号是postgres&a…

信息化建设的需求下,企业如何部署管理平台?并保障其应用落地?

系统部署已久,为何始终无法落地应用? 随着信息化建设的快速发展,企业高效管理的需求日益增长。传统IT服务缺乏统一管理平台,服务流程不够灵活,运维工作效率低下,亟需一个灵活、高效的运维管理模式。 而在认…

大禹智库:下一代向量数据库——具备可视化的AI 原生云向量数据库

日前,业界正式发布国内首个 具备可视化和自动化的AI 原生云向量数据库 " 据悉,向量数据库专门用于存储和查询向量数据,业界称之为大模型的 " 海马体 ",可解决大模型预训练成本高、没有 " 长期记忆 "、知…

Spring Mvc:初识SpringMvc

编译软件:IntelliJ IDEA 2019.2.4 x64 操作系统:win10 x64 位 家庭版 Maven版本:apache-maven-3.6.3 Mybatis版本:3.5.6 SpringMvc版本:5.3.1 文章目录 一、SpringMvc是什么?二、SpringMvc是如何执行业务流…

OpenGL入门教程——PT1

由于自己不是计算机图形学出身,所以采纳了一些教材、博客、GPT的综合答案,尽可能作为一篇认识图形学,学会OpenGL简单函数库的博客!多多包涵 我会从最基础的显示相关知识逐步导入OpenGL 一、屏幕是如何工作的,为什么电…

Apache Doris 0.15.3升级至1.1.5避坑实用总结

概述: ​ Apache Doris 从0.15到1.1.5属于一个大版本升级,部分语法和使用方式也发生了较大的变化,本文除前期兼容性调研(可以通过官网查到到一部分兼容性问题)已知问题外,生产环境正式升级之后遇到的突发问…

【Web 安全】刚开始学渗透,零基础怎么入门?

上周旁听了一个大学学长组织的线上网络安全交流会,里边不乏充斥着各位行业大牛,讲的内容确实精彩,可能对于网络安全经验 5 年的人来说,是受益匪浅,欢迎程度极高,恨不得跳出屏幕来表示赞同,毕竟很…

2022年06月份青少年软件编程Scratch图形化等级考试试卷三级真题(含答案)

2022-06 Scratch三级真题 分数:100 题数:38 测试时长:60min 一、单选题(共25题,共50分) 1.点击绿旗,舞台上的角色会说出?( )(2分) A. 2022年5月1日 B. 1日5月2022年 C. 2022…

【2023最全教程】性能测试基础知识学习路线(建议收藏)

本文介绍一下性能测试的基础内容和一些学习经验,主要讲针对服务器端的性能测试。其他代码级性能测试、前端性能测试等属于比较细分的领域,建议大家有需要的时候针对性得去学。而对于服务器端的性能测试,即使是不做性能测试的人,最…

如何利用GIS数据转换器-栅格 实现去云

GIS数据转换器-栅格不仅能够实现数据转换、数据分割、数据。还可以实现简单去云。 首先打开一副LANDSAT的数据 然后查看云的值范围,值大约为:20000-45000之间 然后在数据转换器中设置设置,过滤范围 点转换按钮进行转换,这样云位置的像素就被…

SpringBoot教学资料3-SpringBoot启动常见问题

java.lang.RuntimeException: java.lang.RuntimeException: org.codehaus.plexus.component.repository.exc Maven版本过高 ,与你使用的IDEA版本不兼容。 推荐版本:maven3.6(建议)/maven3.9 控制台Process terminated https://blog.csdn.net/weixin_4458…

SMALE周报_20230707

目录标题 1. 上周回顾2. 本周计划3. 完成情况3.1. 背景3.2. 不确定性类别3.3. 具体方法3.3.1. Aleatoric Uncertainty3.3.1. Epistemic Uncertainty 4. 存在的主要问题5. 下一步工作 1. 上周回顾 这周开始写周报,此项为空。 2. 本周计划 总结不确定性在神经网络中…

96、基于STM32单片机的温湿度DHT11 烟雾火灾报警器蓝牙物联网APP远程控制设计(程序+原理图+任务书+参考论文+开题报告+流程图+元器件清单等)

单片机及温湿度、烟雾传感器是烟雾报警器系统的两大核心。单片机好比一个桥梁,联系着传感器和报警电路设备。近几年来,单片机已逐步深入应用到工农业生产各部门及人们生活的各个方面。各种类型的单片机也根据社会的需求而开发出来。单片机是器件级计算机…

试题小结2

1.内部类和子类的区别 内部类是指在一个外部类的内部再定义一个类,内部类对外部类有访问权限,可以访问类中定义的所有变量和方法。 子类是从父类中继承的类,子类可以访问父类所有public和protected的属性和方法。 Java语言有四个权限访问修…

Android11 Settings菜单加载

一、加载默认亮度 1、top_level_settings.xml 2、AndroidManifest.xml 3、DisplaySettings ①getPreferenceScreenResId ②buildPreferenceControllers 4、display_settings.xml 5、AutoBrightnessPreferenceController 6、BrightnessLevelPreferenceController ①getCurren…

全网最细,Pytest自动化测试-重复执行用例 pytest-repeat(实战)

目录:导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结(尾部小惊喜) 前言 平常在做功能测试…

应对Python爬虫IP被封的策略及建议。

我们在进行数据抓取使用代理ip的时候需要有一些约束规定,才能保证我们持续稳定的抓取数据。 大概整理了一下,需要注意以下几点,仅供参考: 1、使用高质量的代理服务器:选择一些可靠的代理服务器,确保它们的…

从歌手李玟的自杀传闻,看骑行健身对心理健康的深远影响

从歌手李玟的自杀传闻,看骑行健身对心理健康的深远影响 最近,歌手李玟的自杀传闻让大众一片哗然。这个消息无疑成为了各大平台的热点话题。然而,作为骑友,我们今天再次谈谈骑行健身的重要性。 首先,我们要明确一点&…

性能测试如何做?性能测试实战从0-1进阶(内涵面试题+答案)

目录:导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结(尾部小惊喜) 前言 性能测试实战 - 部…