学者观察 | 联邦学习与区块链、大模型等新技术的融合与挑战-北京航空航天大学童咏昕

导语

当下,数据已成为经济社会发展中不可或缺的生产要素,正在发挥越来越大的价值。但是在数据使用过程中,由于隐私、合规或者无法完全信任合作方等原因,数据的拥有者并不希望彻底和他方共享数据。为解决原始数据自主可控与数据跨区域流动之间的矛盾,联邦学习这项技术应运而生。

在北京航空航天大学教授童咏昕看来,联邦学习和区块链技术在打破多方数据孤岛、实现数据共享的场景中都发挥了重要作用,实现了“原始数据不出域,数据可用不可见”的效果。以我国自主创新的区块链软硬件技术体系“长安链”为例,通过与联邦学习技术的深度融合,突破了数字经济中的数据“暗区”,实现了数据价值的释放,通过垂域大模型等场景应用,提升了数字经济的活力。

图片

学者寄语

面向国家数字经济发展重大战略需求,联邦学习与区块链等新技术的融合发展大有可为!希望长安链可以不断开拓创新,更进一步。

——北京航空航天大学  教授  童咏昕

理解联邦学习

联邦学习是一种隐私保护的分布式机器学习技术。通俗的理解好比小羊吃草,传统的机器学习方式是把数据汇集到一起再进行处理,就像各个牧场把草集中到一个地方喂小羊,小羊生长越来越健壮,也就是模型越来越强大。联邦学习就好比牵着小羊去各个牧场吃草,让羊越来越健壮,数据不动模型动,数据虽不出域但同样释放价值。

如今,联邦学习已经在智慧金融、智慧医疗、智慧城市等领域展现其应用价值。例如金融联合风控、疾病联合预测等,我们日常生活中经常使用的手机地图聚合网约车平台,也是联邦学习和时空数据挖掘的典型应用:各平台以联邦学习的方式在敏感数据不出域的条件下实现跨平台信息共享,合理地分配各平台订单及运力。

联邦学习与区块链,“正交”技术深度融合

联邦学习与区块链是“正交”的两个方向。区块链就像去中心化的账本,它解决的是多方协作的可信问题。联邦学习本质上是分布式机器学习的一类,使数据在不出本地的前提下联合学习。虽然从理论基础上来讲这两个技术是正交的,但是二者存在很多共性:都是分布式的计算,都能够实现数据共享。因此,二者的融合点在于可信联邦学习。

联邦学习与区块链的融合点在于可信联邦学习。联邦学习中最有代表性的算法为联邦平均算法(FedAvg),其中所有中间结果(梯度)均需上传传到中心服务器进行计算,所以从根本上它依然是一个中心化的分布式计算方法,算法的安全性依赖于中心服务器的可信度。而区块链之所以受到大家欢迎,是因为在很多业务场景中去中心化的技术框架更具可信度。区块链与中心化的联邦学习互补成为去中心化的联邦学习,这是非常有价值的。

至此大家可能不禁要问:为什么在现在有影响力的联邦学习开源社区里几乎没有基于区块链的联邦学习项目?我认为是因为缺少区块链领域的顶尖的研究机构对区块链和联邦学习深度融合的探索,这是一片蓝海。目前,未来区块链与隐私计算高精尖创新中心正在围绕长安链进行开拓,着力研发出有效的、开源的、联邦学习与区块链深度融合的系统,有希望填补这块空白。当然,这对系统构架来讲难度很高,比如,区块链的吞吐量和联邦学习的大梯度之间怎么耦合,才能既不浪费计算资源又能控制通信量,其中有非常多的工程和科学的问题需要解决。我们来自多个方向的科学家正在持续攻关。 

联邦学习与大模型,互补放大价值

联邦学习与大模型的结合是近期热门的研究问题。大模型是生成式学习中的前沿技术,很多人认为把数据汇在一起训练大模型已经非常耗费硬件资源和算力,采用联邦学习这种分布式方式联合多方数据进行训练,增大通信量是不是画蛇添足?其实不然。

现在的大模型训练主要使用的是公开的公有域数据,但高质量的数据往往存储在不对外公开的私域里,比如涉及隐私的政务数据,科研机构的数据,行业数据,这些数据质量更高,但无法在保持数据自治权的前提下轻易共享参与到基础通用大模型的训练中。联邦学习会对基础通用大语言模型训练产生助力,用私域的高质量数据解决公域数据质量不足的问题。

两种技术的另一个结合点是垂域大模型。基础大模型的体量非常庞大,例如meta开源的Llama 2有着百亿的参数量,我们国家的大型科技企业也拥有100亿参数级别的大模型。大模型对于算力的要求非常高,500张显卡已经是基础配置,每张显卡价格数万元,训练成本高昂,一般的科研机构或者高校很难持续投入。而在基础大模型之上注入特定领域数据使领域内的系统更智能,这样的垂域大模型正在构筑未来“办公自动化”的新形态。例如走失人口或犯罪分子的追踪任务,只需要在公安系统中输入相关的嫌疑人特征,系统就能够联合当地所有摄像头数据库,通过大模型进行人员锁定;又如一些基础的公文撰写任务,办公人员仅需简单描述一下需求之后可以自动生成,大幅提升了效率。在这个过程中,联邦学习技术使得行业高价值数据得以充分利用,同时又确保了数据不出域。因此联邦学习和大模型的技术融合在很多领域大有可为,相信未来一两年之内会不断涌现成熟的产品。

面向未来的联邦学习,须跨多道栏

机构数据共享仍需引导激励。联邦学习是一种作用于生产关系的技术,越面向多个参与主体的时候越能发挥更大的价值。在当前的法律和隐私保护框架下,如何能更好地推动跨机构间的合作是联邦学习面临的问题。

首先,联邦学习等技术领域亟待建立完备的法律基础。“数据可用不可见、原始数据不出域”是一个描述性术语,从计算机语言来讲“差分隐私保护”、“匿名化”、“脱敏”“安全多方计算”都是密码学或隐私计算相关的术语,而在监管与合规的过程中计算机技术术语与法律术语之间存在理解的壁垒,无法达到法律条款与技术之间的映射,这催生出了一个很火的方向“计算法学”,为联邦学习等隐私计算相关技术夯实法律基础,以应对多方机构间的权益纠纷,这是需要学者和法律工作者们共同推动的工作。

此外,政府单位或者行业协会需要引导、推动建设激励机制。解决数据自治和跨域协同之间矛盾的根本在于有一个好的激励机制,联邦的过程存在多方博弈,这种博弈存在着竞争与合作,双方在博弈的过程中是非理性的,每一方都想少输出、多获益。建设一个好的激励机制,以保证贡献数据多、价值大的主体能够获益多,将会促进数据要素价值流通的实现,营造良性的数字经济发展环境。

联邦学习理论研究仍需夯实基础。目前我国联邦学习技术处于领跑状态。这一技术最早是在国外提出,随后国内一批学者很快就参与到联邦学习的研究中,并在其技术发展中起到了引领作用,具有较强的国际影响力。比如,联邦学习在IEEE的第一个国际标准就是由我国牵头制定,第一本联邦学习英文教材也来自我国,谷歌学术上被引用量最高的论文也来自我国。

我国联邦学习的飞速发展在于国家对于数字经济的高度重视。“个人信息保护法”使个人数据隐私和安全保护有了法律基础,连续发布的“数据二十条”等政策为构建数据基础制度体系指明了方向,各地数据交易所的建设为联邦学习提供了天然的应用土壤,联邦学习成为了数据要素流通与交易有代表性的交易范式之一。此外,国家近年来大幅推动数字化转型,智慧政府、智慧城市、智慧交通等产业也在为新的信息技术应用提供了机会,联邦学习在应用方面相较其他国家有很大优势。

虽然在技术及应用上我国已取得了一些成绩,但仍存在问题:我国在该领域的研究优势主要集中于应用,在基础理论研究上与国外还有较大差距。

因此,我国联邦学习的发展仍需持之以恒加强基础理论研究。通过建立合作与交流平台,推动国内外高校、科研机构和创新中心间的知识共享与学术交流;为年轻人提供更多的学术机会和支持,为联邦学习培养人才后备军;鼓励学者进行基础研究、创新研究,设立奖项或资助计划以激励学者进行高水平的学术研究,培养出优秀的学术人才。要让更多的人加入到联邦学习的基础理论研究中来,还需要政府、高校、科研院共同营造领域内更加良好的学术氛围。

「数据新动能」学者观察

数据作为数字经济发展的核心引擎,如何激发动能、释放价值,驱动数字经济高质量发展?长安链开源社区发起的「数据新动能」学者观察栏目邀请专家学者分享数字经济、数字技术的研究、思考与展望,共同探索数字经济“密码”。

 拥抱区块链技术,探索数字经济“密码”

聚焦数字经济发展

追踪尖端学术前沿

探讨新潮科技理念

捕捉鲜活产业动态

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/126917.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

新登录接口独立版变现宝升级版知识付费小程序-多领域素材资源知识变现营销系统

源码简介: 资源入口 点击进入 源码亲测无bug,含前后端源码,非线传,修复最新登录接口 梦想贩卖机升级版,变现宝吸取了资源变现类产品的很多优点,摒弃了那些无关紧要的东西,使本产品在运营和变现…

线上SQL超时场景分析-MySQL超时之间隙锁 | 京东物流技术团队

前言 之前遇到过一个由MySQL间隙锁引发线上sql执行超时的场景,记录一下。 背景说明 分布式事务消息表:业务上使用消息表的方式,依赖本地事务,实现了一套分布式事务方案 消息表名:mq_messages 数据量:3…

【LeetCode:2300. 咒语和药水的成功对数 | 二分】

🚀 算法题 🚀 🌲 算法刷题专栏 | 面试必备算法 | 面试高频算法 🍀 🌲 越难的东西,越要努力坚持,因为它具有很高的价值,算法就是这样✨ 🌲 作者简介:硕风和炜,…

“三大阶段稳定性测试”筑牢长安链信任基石

前言 随着长安链应用生态的不断丰富、面对的应用场景更加多元,稳定性测试在长安链测试流程中占到越来越重要的位置。本文将介绍长安链稳定性测试的发展历程及如何通过三大阶段稳定性测试应对不断出现的复杂的商业需求,筑牢长安链信任基石。 功能测试和…

IDEA 设置 Git 在左侧展示

File->settings->Version Control->commit 勾选 Use non-model commit interface

AI:77-基于深度学习的工业缺陷检测

🚀 本文选自专栏:人工智能领域200例教程专栏 《人工智能领域200例教程专栏》从基础到实践,深入学习。无论你是初学者还是经验丰富的老手,通过本专栏案例和项目实践,都有参考学习意义。每篇案例都包含代码实例,详细讲解供大家学习。 ✨✨✨ 每一个案例都附带有代码,在本…

MySQL -- 视图

MySQL – 视图 文章目录 MySQL -- 视图一、基本使用二、视图规则和限制 视图是一个虚拟表,其内容由查询定义。同真实的表一样,视图包含一系列带有名称的列和行数据。视图的数据变化会影响到基表,基表的数据变化也会影响到视图。 一、基本使用…

更新 | Apinto 网关 V0.15 版本发布!

该插件支持对后端服务返回的响应信息进行过滤,包括响应头部、响应体。过滤的响应体字段或响应头将会被移除,不会返回给客户端,从而避免敏感信息的泄漏。 若此时上游服务返回的响应体为: {"code":0,"data":{…

Redis-命令操作Redis

目录 一.Redis简介 二.Redis安装 2.1.Linux安装 2.2.Windows安装 三.Redis常用命令 3.1 Redis字符串 3.2 Redis哈希(Hash) 3.3 Redis列表(List) 3.4 Redis集合(Set) 好啦今天就到这里了!!希望能帮…

如何将系统盘MBR转GPT?无损教程分享!

什么是MBR和GPT? MBR和GPT是磁盘的两种分区形式:MBR(主引导记录)和GPT(GUID分区表)。 新硬盘不能直接用来保存数据。使用前应将其初始化为MBR或GPT分区形式。但是,如果您在MBR时需…

软件工程一些图的画法

软件工程一些图的画法 【一】数据库设计:ER图【1】ER图简介【2】实体之间的关系【3】ER图绘制常见问题【4】ER图转关系模式 【二】流程图【1】流程图的作用【2】流程图中使用的符号【3】三种循环的流程图画法【4】流程图的基本结构【5】流程图常用的形式 【一】数据…

CCF ChinaSoft 2023 论坛巡礼 | 云计算标准化论坛

2023年CCF中国软件大会(CCF ChinaSoft 2023)由CCF主办,CCF系统软件专委会、形式化方法专委会、软件工程专委会以及复旦大学联合承办,将于2023年12月1-3日在上海国际会议中心举行。 本次大会主题是“智能化软件创新推动数字经济与社…

“位不配财”?程序员兼职,稳妥挣钱才是王道!

一、配不上 戏称程序员为“码农”,一年到头,像那地里的老黄牛和勤勤恳恳的老农民。 又像极了那工地上的农民工,天天搬砖,苦得嘞。 作为推动时代进步的得力干将,工作量自然是不容小觑。说程序员不加班都没人信&#x…

什么样的CRM系统更适合外贸企业?

外贸CRM系统作为外贸客户关系管理的工具,已经成为了当下外贸企业对外贸易过程中不可或缺的一环。那什么样的CRM系统更适合外贸企业?小Z向您推荐Zoho CRM。下面说说它到底有什么好处和作用。 一、搭建更高效的客户关系管理系统 外贸企业从前期推广、开发…

环境变量小结

一 常见环境变量介绍 1 PATH 到了现在,我们也知道我们轻轻敲下ls指令,其实会转为一个可执行文件在运行,也就变成了一个进程,所以ls是让文件运行,./test也是让文件运行,凭什么我们的可执行文件就要加个./(这…

【爬虫实战】用python爬今日头条热榜TOP50榜单!

一、爬取目标 今天分享一期爬虫案例,爬取的目标是:今日头条热榜的榜单数据。 打开今日头条 首页,在页面右侧会看到头条热榜,如下: 爬取以上6个关键字段,含: 热榜排名,热榜标题,热度值,热榜标…

深度学习 opencv python 公式识别(图像识别 机器视觉) 计算机竞赛

文章目录 0 前言1 课题说明2 效果展示3 具体实现4 关键代码实现5 算法综合效果6 最后 0 前言 🔥 优质竞赛项目系列,今天要分享的是 🚩 基于深度学习的数学公式识别算法实现 该项目较为新颖,适合作为竞赛课题方向,学…

网络安全,SSL证书必不可少!

网站劫持是一种非常严重的安全威胁,会直接影响用户体验,甚至直接跳转其他网页,造成客户流失。它可以通过许多方式实现,却可以给企业或者个人网站做出不可逆的危害,以下是一些基本的防止措施建议: 1.使用HT…

【博士每天一篇文献-算法】Modular state space of echo state network

阅读时间:2023-11-2 1 介绍 年份:2013 作者:陈卫彪,华南理工大学计算机科学与工程学院, 期刊:Neurocomputing 引用量:17 本文介绍了一种改进回声状态网络(ESN)预测性能的新方法。该…

在全志XR806上移植st7789屏幕驱动

前言 很高兴有机会参加本次极术社区举办的“「免费试用」搭载安谋科技STAR-MC1的全志XR806 Wi-FiBLE 开发板试用活动”。 去年就对全志的mcu芯片感兴趣了,一直没有机会接触,看到本次极术社区提供的全志wifi BLE开发板试用,就马上参加了。板…
最新文章