图形网络的自适应扩散 笔记

1 Title        

        Adaptive Diffusion in Graph Neural Networks(Jialin Zhao、Yuxiao Dong、Ming Ding、Evgeny Kharlamov、Jie Tang)【NIPS 2021】

2 Conclusion        

        The neighborhood size in GDC is manually tuned for each graph by conducting grid search over the validation set, making its generalization practically limited. To address this issue,this study proposes the adaptive diffusion convolution (ADC)* strategy to automatically learn the optimal neighborhood size from the data. Furthermore, this paper breaks the conventional assumption that all GNN layers and feature channels (dimensions) should use the same neighborhood size for propagation.

3 Good Sentences

        1、B  oth strategies are limited to a pre-determined and fixed neighborhood for passing and receiving messages. Essentially, these methods have an implicit assumption that all graph datasets share the same size of receptive field during the message passing process.(The limitations of previous GCN methods) 
        2、To eliminate the manual search process of the optimal propagation neighborhood in GDC, we propose the adaptive diffusion convolution (ADC) strategy that supports learning the optimal neighborhood from the data automatically. ADC achieves this by formalizing the task as a bilevel optimization problem, enabling the customized learning of one optimal propagation neighborhood size for each dataset. In other words, all GNN layers and feature channels (dimensions) share the same neighborhood size during message passing on each graph.(The motivation of this study which can solve the problems GDC meets)
        3、


为了消除GDC中最优传播邻域的人工搜索过程,我们提出了支持从数据中自动学习最优邻域的自适应扩散卷积(ADC)策略。ADC通过将任务形式化为一个双层优化问题来实现这一点,允许为每个数据集定制学习一个最优传播邻域大小。换句话说,所有GNN层和特征通道(维度)在每个图上传递消息时共享相同的邻域大小。

为了进一步实现这一目标,ADC能够从数据中自动学习每个GNN层和每个特征通道的自定义邻域大小。通过为每层学习唯一的传播邻域,ADC可以使gnn从不同的图结构中捕获邻居信息,这完全依赖于数据和下游学习目标。

同样,通过学习每个特征通道的不同邻域大小,gnn能够选择性地对每个邻居的多个特征信号进行建模。总之,ADC使gnn与图结构和所有特征通道完全耦合。

 Neighborhood Radius in GNNs

        本文研究了半监督节点分类问题。输入包括无向网络G = (V;E),其中节点集V包含n个节点,E为边集,A∈R^{n\times n}为图G的对称邻接矩阵。给定输入特征矩阵X和节点标签Y的一个子集,任务是预测剩余节点的标签。

 Neighborhood Radius in Message Passing Networks:

        在消息传递网络中,每个节点会收集来自其邻居节点的特征信息,并将这些信息聚合起来以更新自己的状态。消息传递网络可以简单定义为:

这个过程通常在图神经网络的每一层中进行。"Neighborhood Radius" 指的是在消息传递过程中,一个节点能够聚合多远距离邻居的信息。其中,H(l)表示第l层的隐藏特征,H(0)=X, X为输入特征的第1层隐藏特征,\varphi(·)表示特征变换,γ(·)表示特征传播。

特征转换函数描述了特征如何在每个节点内部转换,特征传播函数描述了特征如何在节点之间传播。

,D为对角线上的元素是节点的度的矩阵\tilde{H}表示变换后的隐特征,不过GCN使用带有自循环的邻接矩阵A。

大多数基于图的模型都可以表示f(T)=

邻居半径r被定义为:\theta _k表示k个步距节点的影响。对于较大的r,这意味着模型更强调远距离节点,即全局信息。对于较小的r,这意味着模型放大了局部信息。对于GCN,邻域半径r = 1

Neighborhood Radius in Graph Diffusion Convolution

图扩散卷积(GDC)的传播解决了从离散跳数的特征传播到连续图扩散的推广问题:,k从0到无穷求和,使得每个节点都聚集了整个图的信息。而权重系数满足,这样在传播过程中信号强度不会被放大或减弱。论文原句:In this work, we focus on heat kernel,也就是说作者令

HK:热核将先验知识引入到GNN模型中,这意味着特征在节点之间的传播遵循牛顿冷却定律,即两个节点之间的特征传播速度与它们之间的特征差成正比。在形式上,这种先验知识可以描述为:

        其中N(i)表示节点i的邻域,x_i(t)表示节点i在扩散时间t后的特征。微分方程可解为:,X(t)为扩散时间t后的特征矩阵,是热核

Neighborhood radius r_h in diffusion models

        根据邻域半径的定义,GDC的热核版本邻域半径r_h的定义为:

这表明t是基于热核的GDC的邻域半径,即t成为多跳数模型中跳数(hop-number)的完美连续替代。

Adaptive Diffusion Convolution

        其中,拉普拉斯矩阵L=I-T,对于每个图数据集,需要手动网格搜索步骤来确定与邻域半径相关的参数t,此外,对于每个数据集中的所有特征通道和传播层,t是固定的。

Training Neighborhood Radius

上图显示了学习t的训练过程。随着epoch的增加,在训练集(蓝色)上学习时,t和训练损失都减小。同时,验证和测试精度急剧下降,因为t趋于零(更多的epoch) -表示每个节点只能使用自己的特征来预测标签, 也就是说,直接在训练集上学习t会导致过拟合。

为了解决这个问题,本文提出了一种通过在验证集上使用模型的梯度来训练t的方法。该模型的目标是找到使验证损失,其中w表示特征变换函数中所有其他可训练参数,w *表示使训练损失。该策略可以形式化为一个双层优化问题

如果按上面的方法,每次更新t时,需要使w收敛到最优值,这就太贵了。一种近似方法是每次更新w时更新t,也就是说,,其中,e表示训练epoch的个数,α1和α2分别表示训练集和验证集的学习率。

Training Neighborhood Radius for Each Layer and Channel:

对于GDC, 一个数据集有一个邻域半径t,即所有GNN层和所有特征通道(维度)都有相同的t。先前模型无法实现这一目标的障碍在于,考虑到随着参数数量的增加,时间复杂度呈指数增长,对每个特征通道和GNN层的传播函数分别进行手动调整或网格搜索是不可行的挑战。然而,前面提到的在模型训练过程中更新t的策略使得ADC能够自适应地学习所有层和所有特征通道的特定t。本文通过将特征传播函数扩展到每个层和通道,即从t到t_i^{(l)},得到自适应扩散卷积(ADC),,其中t_i^{(l)}表示第l层和第i通道的邻域半径t,\hat{H}_i表示隐藏特征\hat{H}的第i列,即通道i上的特征,表示第l层和第i通道上的特征传播函数.

Generalized adaptive diffusion convolution (GADC):

        在不损失一般性的情况下,可以将ADC扩展为广义ADC (GADC),即不将权系数θk限制为热核。因此,得到GADC的特征传播为:

式中,\theta ^{(l)}_{ki}表示第l层和第i通道上k跳邻居的权系数。

Results

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/609544.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

docker-compose集成elasticsearch7.17.14+kibana7.17.14

1.docker和compose版本必须要高 2.准备ik分词器(elasticsearch-analysis-ik-7.17.14),下面会用到 https://github.com/infinilabs/analysis-ik/releases?page2 3.配置es-compose.yml(切记映射容器内路径不能更改,es和kibana服务…

每日OJ题_记忆化搜索⑤_力扣329. 矩阵中的最长递增路径

目录 力扣329. 矩阵中的最长递增路径 解析代码1_爆搜递归(超时) 解析代码2_记忆化搜索 力扣329. 矩阵中的最长递增路径 329. 矩阵中的最长递增路径 难度 困难 给定一个 m x n 整数矩阵 matrix ,找出其中 最长递增路径 的长度。 对于每…

【LeetCode算法】389. 找不同

提示:此文章仅作为本人记录日常学习使用,若有存在错误或者不严谨得地方欢迎指正。 文章目录 一、题目二、思路三、解决方案 一、题目 给定两个字符串 s 和 t ,它们只包含小写字母。字符串 t 由字符串 s 随机重排,然后在随机位置添…

移动端自动化测试工具 Appium 之 main 启动

文章目录 一、背景二、生成xml文件2.1、创建xml方法2.2、执行主类MainTest2.3、自动生成的xml2.4、工程目录2.5、执行结果 三、命令行执行appium服务四、主方法启动类五、集成Jenkins六、总结 一、背景 Jenkins 做集成测试是不错的工具,那么UI自动化是否可以&#…

macOS12安装 php7.1和apache

1. 安装php 7.1 macOS12不再自带php brew tap shivammathur/php 查看可安装版本 brew search php 安装指定版本(禅道适用PHP运行环境(7.0/7.1/7.2版本)) brew install php7.1 环境配置 vim ~/.zshrc export PATH"/usr/local/opt/php7.1/bin:…

uni-app 滚动到指定位置

方法1&#xff1a;使用标签&#xff0c;可以将页面横向&#xff08;或纵向&#xff09;滚动到指定位置 无法滚动 将代码放在setTimeout&#xff0c;nextTick里执行 <!-- 左边 --><scroll-view show-scrollbar"false" scroll-y"true" class"…

Flutter笔记:Widgets Easier组件库(13)- 使用底部弹窗

Flutter笔记 Widgets Easier组件库&#xff08;13&#xff09;使用底部弹窗 - 文章信息 - Author: 李俊才 (jcLee95) Visit me at CSDN: https://jclee95.blog.csdn.netMy WebSite&#xff1a;http://thispage.tech/Email: 291148484163.com. Shenzhen ChinaAddress of this …

局域网语音对讲系统_IP广播对讲系统停车场解决方案

局域网语音对讲系统_IP广播对讲系统停车场解决方案 需求分析&#xff1a; 随着国民经济和社会的发展&#xff0c; 选择坐车出行的民众越来越多。在保护交通安全的同时&#xff0c;也给停车场服务部门提出了更高的要求。人们对停车场系统提出了更高的要求与挑战&#xff0c; 需要…

Android 开机启动模式源码分析

在机器关机情况下&#xff0c;长按Power键启动机器&#xff0c;如果这时机器低电&#xff0c;会提示低电&#xff0c;机器不会正常启动&#xff1a; 而代码如下&#xff1a; 如果不是低电&#xff0c;正常情况是可以启动的。 在关机情况下&#xff0c;插入USB&#xff0c;机…

AUS GLOBAL 再次荣登皇家贝蒂斯俱乐部官网

AUS GLOBAL 作为一家备受信赖的金融服务领导者&#xff0c;一直以来都在致力于为客户提供卓越的交易体验和专业的服务。再次登上皇家贝蒂斯俱乐部官网Banner&#xff0c;不仅是对我们过去合作的肯定&#xff0c;更是对未来合作的信心和期待。这标志着我们之间的合作更加稳固和成…

IP报文在设备间传递的封装过程

IP报文传递过程 1、PC1访问PC2报文传递过程1.1、PC1准备数据请求报文封装1.2、PC1准备ARP请求报文1.3、PC2准备ARP响应报文1.4、PC1完成数据请求报文封装 2、PC1访问PC3报文传递过程2.1、PC1准备数据请求报文封装2.2、PC1准备获取网关MAC地址的ARP请求报文2.3、网关准备ARP响应…

kotlin语法快速入门--(完整版)

Kotlin语法入门 文章目录 Kotlin语法入门一、变量声明1、整型2、字符型3、集合3.1、创建array数组3.2、创建list集合3.3、不可变类型数组3.4、Set集合--不重复添加元素3.5、键值对集合Map 4、kotlin特有的数据类型和集合4.1、Any、Nothing4.2、二元组--Pair4.3、三元组--Triple…

vue数据大屏并发请求

并发? 处理并发 因为js是单线程的&#xff0c;所以前端的并发指的是在极短时间内发送多个数据请求&#xff0c;比如说循环中发送 ajax , 轮询定时器中发送 ajax 请求. 然后还没有使用队列, 同时发送 的. 1. Promise.all 可以采用Promise.all处理并发&#xff0c; 当所有pro…

gjfjiv是什么意思

GJFJV-4B1&#xff0c;gjfjv-6a1a&#xff0c;gjfjv光缆 室内光缆型号命名 产品描述 多样的光缆结构选择&#xff0c;可在有限的空间内布设&#xff0c;且无缠绕效应 可于建设物间导管托盘和通道中使用 理想的网络光缆在保证对光纤的保护前提下易于布设&#xff0c;插接和识…

数据链路层之 以太网协议

以太网协议 这个协议即规定了数据链路层&#xff0c;同时也规定了物理层的内容。平时使用到的网线&#xff0c;其实也叫做“以太网线”&#xff08;遵守以太网协议的网线&#xff09;。 以太网帧格式 以太网数据帧 帧头 载荷 帧尾。 帧头&#xff1a;目的地址、源地址、类型…

django项目结构介绍

小白的django学习笔记 五一前的某天 文章目录 django项目结构介绍项目的基本配置templates项目模块manage.pyExternal Libraries django项目结构介绍 项目的基本配置 在这里配置&#xff0c;跟工程名是一样的 templates 放网页、js、css的地方 django 项目模块 项目开发时&…

《前端算法宝典:双指针问题解析与应用》

双指针 双指针&#xff0c;指的是在遍历对象的过程中使用两个相同方向&#xff08;快慢指针&#xff09;或者相反方向&#xff08;对撞指针&#xff09;的指针或者是两个指针构成一个滑动窗口进行扫描&#xff0c;从而达到相应的目的。 双指针方法在某些情况下可以对有序数组…

sbt安装

一、sbt介绍 在Spark中&#xff0c;sbt&#xff08;Scala Build Tool&#xff09;是一个用于构建Scala项目的工具。它是Spark项目的主要构建工具之一&#xff0c;用于编译Scala代码、管理依赖项、打包应用程序以及执行其他与项目构建相关的任务。 sbt的用途在Spark开发中主要…

『大模型笔记』Google CEO Sundar Pichai(桑达尔·皮查伊)谈人工智能的未来!

Google CEO Sundar Pichai(桑达尔皮查伊)谈人工智能的未来! 文章目录 一. Google CEO谈人工智能的未来总结摘要观点时间线二. 参考文献简短总结:一. Google CEO谈人工智能的未来 总结 主要介绍了Google CEO Sundar Pichai对人工智能未来的看法,以及Google在AI领域的战略…

JavaScript异步编程——06-Promise入门详解【万字长文,感谢支持】

前言 Promise 是 JavaScript 中特有的语法。可以毫不夸张得说&#xff0c;Promise 是ES6中最重要的语法&#xff0c;没有之一。初学者可能对 Promise 的概念有些陌生&#xff0c;但是不用担心。大多数情况下&#xff0c;使用 Promise 的语法是比较固定的。我们可以先把这些固定…