【一文了解大数据及数据要素,浅说隐私计算、联邦学习】

news2024/11/14 22:55:20

大数据 不等于 数据要素

大数据:大数据指的是体量巨大、增长迅速且结构复杂的数据集合。传统的数据处理工具无法有效存储和分析这些数据。大数据的处理涉及新的技术和方法,以提取有用的信息和知识。

数据作为新型生产要素,是数字化、网络化、智能化的基础,已快速融入生产、分配、流通、消费和社会服务管理等各环节,深刻改变着生产方式、生活方式和社会治理方式。

数据要素:数据要素是指那些以电子形式存在的、通过计算的方式参与到生产经营活动并发挥重要价值的数据资源。

数据要素是什么

“数据要素”一词是面向数字经济,在讨论生产力和生产关系的语境中对“数据”的指代,是对数据促进生产价值的强调,即数据要素指的是根据特定生产需求汇聚、整理、加工而成的计算机数据及其衍生形态,投入于生产的原始数据集、标准化数据集、各类数据产品及以数据为基础产生的系统、信息和知识均可纳入数据要素讨论的范畴
在这里插入图片描述

数据要素的三次价值实现方式

在这里插入图片描述

  • 数据投入生产的一次价值体现在支撑企业、政府的业务系统运转,实现业务间的贯通。企业、政府主要工作重心是业务数字化及各类业务信息系统建设。
  • 数据要素投入生产的二次价值释放体现在通过数据的加工、分析、建模,可以揭示出更深层次的关系和规律,使生产、经营、服务、治理等环节的决策更智慧、更智能、更精准。数据二次价值释放过程对企业数据挖掘和洞察能力提出更高要求。
  • 数据要素投入生产的三次价值释放让数据流通到更需要的地方,让不同来源的优质数据在新的业务需求和场景中汇聚融合,实现双赢、多赢的价值利用。在数据的三次价值释放过程中,数据要素市场及其技术路径成为行业关注的焦点。

数据要素市场的三种流通方式

培育数据要素市场的目标是数据在各市场主体间高效有序自由流通。按照数据与资金在主体间流向的不同,可分为开放、共享、交易三种流通形式。
在这里插入图片描述

  • 数据开放是指提供方无偿提供数据,需求方免费获取数据,没有货币媒介参与的数据单向流通形式。
  • 数据共享是指互为供需双方,相互提供数据,没有货币媒介参与的数据双向流通形式。
  • 数据交易是指提供方有偿提供数据,需求方支付获取费用,主要以货币作为交换媒介的数据单向流通形式。

总体来说,就是让数据增长变成数据资源,数据资源变成资产,数据资产变成资本。数据流通时做到数据可用不可见。

隐私计算

隐私计算(Privacy computing)是指在保证数据不对外泄露的前提下,由两个或多个参与方联合完成数据分析计算相关技术的统称,其目的是在数据计算和分析过程中保护数据隐私和安全。这些技术确保在数据被处理、共享和分析的同时,不会泄露或暴露个人敏感信息。随着数据隐私和数据安全要求的不断提高,隐私计算技术变得越来越重要。

隐私计算情景:
已知小明和小红的钱数在十块钱以内,小明有五块钱,小红有八块钱,他们想要知道谁的钱多,但不想让对方知道自己有多少钱(暂不考虑相等的情况)?

答:

  • 首先拿出10个箱子,分别给他们编号1-10,代表钱数。首先把这10个箱子给小明,编号小于钱数的话放一个黑球,编号大于钱数的话放一个红球,那么1-4号箱子里是黑球,6到10箱子里是红球。
  • 接下里把这些箱子交给小红,小红把和她钱数对应编号的箱子取出来,也就是把8号箱子取出来,交给小明。
  • 小明打开八号箱子发现里面是红球,因此可以知道小红的钱数比小明多。

联邦学习

联邦学习(Federated Learning)是一种分布式机器学习方法,允许多个数据持有者在不共享原始数据的情况下,协同训练机器学习模型。它通过将计算移动到数据所在的位置,并仅共享模型更新(而不是原始数据),实现了数据隐私保护和联合建模的目标。

初始化全局模型:中央服务器初始化一个全局模型,并将其发送到各参与方(例如,智能手机、医院、金融机构等)。

本地训练:各参与方在其本地数据上训练全局模型,并计算模型参数的更新(例如权重、梯度等)。

汇总更新:各参与方将其计算的模型更新发送回中央服务器,而不共享其本地数据。

更新全局模型:中央服务器聚合各参与方的模型更新,更新全局模型,并将更新后的模型再次发送给各参与方。

迭代训练:重复上述步骤,直到模型收敛或达到预定的性能指标。

联邦学习是一种创新的分布式机器学习方法,通过在保护数据隐私和安全的前提下,实现多方协同建模。

隐私计算和联邦学习的关系

  • 联邦学习是隐私计算的一种具体实现方法,特别是当涉及到分布式数据和联合建模时,通过分布式数据处理,模型更新传输,安全聚合等方式实现隐私计算。
  • 隐私计算技术可以增强联邦学习的隐私保护能力,确保数据在传输和处理过程中的安全性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1971197.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C语言bsearch函数

目录 开头1.什么是bsearch函数2.bsearch函数的第五个参数的写法3.bsearch函数的实际运用有序数组查询有序字符串查询有序二维字符串数组查询 结尾 开头 大家好,我叫这是我58。今天,我们来学一下关于C语言里的bsearch函数的一些知识。 1.什么是bsearch函…

Ubuntu系统中下载安装Checkmk,搭建网络监控系统

文章目录 checkmk是什么?下载安装checkmkUbuntu系统安装选择checkmk版本下载checkmk安装checkmk检查checkmk版本创建checkmk站点启动checkmk及站点 推荐阅读 checkmk是什么? Checkmk 是一款开源的、可扩展的、企业级的网络监控工具。Checkmk提供了丰富的…

unity2D游戏开发14漫游

漫游算法 让敌人在地图上漫游,发现玩家在附加,就会追击,直到玩家逃跑或者杀死玩家 将Enemy预购件拖进场景,并将实例EnemyObject添加CircleCollider2D,选中Is Trigger复选框 创建漫游脚本 选中EnemyObject,点击Animation,右击enemy-idle-1,选择Set as Layer Default St…

发现编程新乐趣,20个Python小游戏源码宝藏,快来挖掘属于你的惊喜!(附源码)

经常听到有朋友说,学习编程是一件非常枯燥无味的事情。其实,大家有没有认真想过,可能是我们的学习方法不对? 比方说,你有没有想过,可以通过打游戏来学编程? 今天我想跟大家分享几个Python小游…

Node.js(5)——包

包 包的概念:将模块,代码,其他资料聚合成一个文件夹 分类: 项目包:主要用于编写项目和业务逻辑 软件包:封装根据和方法进行使用 要求:根目录中,必须有package.json文件&#xff08…

美林数据Tempo Talents | 两大资源中心,打造开放、成长型数智人才能力平台

在数字化时代的大潮中,高校作为知识与人才培养的重要阵地,独立分散的课程资源管理方式已无法满足现代教育的需求,而数据资源的分散和碎片化也阻碍了科研和教学工作的深入进行。那么,高校如何打造一个集中、高效的课程与数据资源中…

C#/Winform入门、进阶、强化、扩展、知识体系完善等知识点学习、性能优化、源码分析专栏分享

场景 作为一名C#的Winform开发者,势必经历过从入门到自学、从基础到进阶、从学习到强化的过程。 当经历过几年企业级开发的磨炼,再回头看之前的开发过程、成长阶段发现确实是走了好多的弯路。 作为一名终身学习的信奉者,秉承Java体系需持续…

安卓手机数据恢复技巧之5个方法指南, 帮你吃上一次后悔药!

倘若您不慎于 Android 设备里删掉了宝贵的照片、视频以及文件,其后果恐怕难以承受。不过无需忧虑!您能够在这篇极具价值的文章中探寻 5 款免费的 Android 数据恢复软件与应用程序。我们会阐述每一种工具最为令人称奇的功能以及其优劣势所在。在读完这篇全…

CSS学习 01 利用鼠标悬停制造文本隐藏效果

效果: 在正常状态下,剧透内容的背景色和文本颜色都是黑色,导致剧透内容看起来是隐藏的(黑色文本在黑色背景上不可见)。当鼠标悬停在剧透内容上时,背景色和文本颜色恢复为初始值,使得剧透内容可…

react-native 从入门到实战系列教程一底部导航及页面切换

react-native 里面的导航有点繁琐,需要引入 react-navigation 这个库。也是官网推荐的。整个过程不难,就是配置比较繁琐,还会因为网络的原因,时常报错,需要多试几次。排查错误,需要多看文档。安装完依赖&am…

Java同城信息付费系统对接微信广告系统小程序源码

解锁同城新商机!同城信息付费系统如何高效对接微信广告 🚀 引言:同城信息付费的新纪元 在这个信息爆炸的时代,同城信息服务平台如雨后春笋般涌现,为用户提供了便捷的生活服务入口。然而,如何在众多平台中…

8月1日SpringBoot学习笔记

今天内容:配置maven 搭建springboot项目 约定大于配置 IOC DI 常用注解 springbean的作用域 springbean的生命周期 Springboot 创建springboot项目 maven项目添加springboot变成的springboot项目 具体步骤参考:http://t.csdnimg.cn/2NTuK与http://t.…

matlab y=sin(x) - 2/π*(x)函数绘制

[TOC](matlab ysin(x) - 2/π*(x)函数绘制) ysin(x) - 2/π*(x) clc; clear; close all; x_axis_length 10; y_axis_length 10; % 创建 x 值向量 x_positive linspace(0.1, 10, 1000); % 正半轴上的 x 值 x_negative linspace(-10, -0.1, 1000); % 负半轴上的 x 值% 计算…

从数学角度理解SVM分类算法

再谈间隔最大化 我们知道,支持向量机是以“间隔”作为损失函数的,支持向量机的学习过程就是使得间隔最大化的过程,若想要了解支持向量机的运转机制,首先就得知道间隔怎么计算。 “间隔大小”是由距离分类“界限”最近的两个数据点…

《计算机网络》(第8版)第1章 概述 复习笔记

第 1 章 概述 一、计算机网络在信息时代中的作用 计算机网络的两个重要功能: 1 .连通性 指互联网上的用户之间是相互连通的。 2 .共享(资源共享) 资源共享可以是信息共享、软件共享,也可以是硬件共享。此…

Meta新功能生成式AI意味着什么

去年,Meta 推出了 AI 功能,允许广告主创建动态背景、增强图像并生成源自其原始内容的各种广告文本版本。这主要是侧重于通过测试图片和文本等创意元素来优化广告效果。在最新的更新中,Meta 带来了全新的 AI 生成功能,允许广告主依…

Java高级工程师教你解决内存泄漏生产事故方法案例实战

Java高级工程师教你解决内存泄漏宕机生产事故案例实战 一、事故简述与核心日志分析 生产WEB项目,每隔一段时间就宕机了,没有反应,JAVA进程还在,但是请求都没有反应! 二、日志分析 org.springframework.web.util.Ne…

jeecg-boot框架activiti定时节点流转错误分析

文章目录 一、项目介绍二、问题复现三、排查过程1、找到报错信息2、找到报错的堆栈信息3.找到错误代码4.分析错误原因4.1、首先要明白SecurityManager是什么?4.2、定时器前的流程跟之前的流程不是同一个流程👉定时任务的数据已经生成,那么该如…

Moretl 日志采集 使用说明

永久免费: Gitee下载最新版本 使用咨询: 扫码添加QQ 1: 服务器 部署Moretl文件采集服务.(管理员身份运行) 2. 在<设备电脑>打开 [部署页面],下载 [Client.zip].解压打开[Start.exe] 步骤3: [部署页面]输入远程Token.看到刚刚部署的设备电脑. 3.1 点击[明细],修改[…

Java Excel复杂表头,表头合并单元格

Java Excel复杂表头&#xff0c;表头合并单元格 效果预览 一、maven依赖 <!--操作excel --><dependency><groupId>com.alibaba</groupId><artifactId>easyexcel</artifactId><version>2.1.1</version><scope>test</…