矩阵补全的算法（矩阵补全原理）

2022-07-23 04:22:07 浏览：303 作者：管理员

【商户信息】

类目：知识大全

联系人：

微信号：
Q Q 号：
手机号：
浏览量：

303

【货源详情】

本文介绍ICLR2020入选论文《INDUCTIVE MATRIX COMPLETION BASED ON GRAPH NEURAL NETWORKS》 (基于图神经网络的归纳矩阵互补)。本文来自华盛顿大学圣路易斯分校博士、Facebook AI研究院研究科学家张牧涵。

http://www.Sina.com/http://www.Sina.com /

文 |

下载链接：

https://openreview.net/pdf？ id=ByxxgCEYDS

代码地址：

https://github.com/mu hanzhang/igmc

张牧涵

矩阵互补被广泛应用于推荐系统。传统的矩阵分解方法是一种传输推理模型，其中所学习的嵌入是未在训练集中出现的用户或物品item 另一方面，inductivematrixcompletion(IMC )模型使用内容信息(content )对矩阵进行了补充。缺点是对内容质量要求高，内容质量差时远远低于矩阵分解的性能。

本文提出了一种新的inductive graph-basedmatrixcompletion (igmc )模型，在维持归纳推理的同时，完全不利用内容信息。不通过内容信息就能达成归纳推论的秘诀在于子图结构。 IGMC提取每个(user，item ) pair的子图) enclosing subgraph )，在图形神经网络(graph neural network )中从子图结构中进行用户商品评价

IGMC在多个数据集上获得了领先的性能；不仅是训练集中没有出现的用户和商品，还可以转移(transfer )到新的数据。我们使用在MovieLens中训练的IGMC模型预测豆瓣电影的评分，获得了非常好的性能，优于在豆瓣数据中训练的很多模型。

编 | 丛末

只要将各user或item看作一个节点(node )，将各rating看作一个边缘(edge )，矩阵补充就可以看作是二分图)上的链接预测(link prediction )问题。与传统的链接预测只关注“存在预测”(link existence )不同，这里是链接值(link value )，它预测用户对商品的评价。

首先，定义“包含子图”。对于一个(用户，item ) pair，这些h阶包含部分图包括那个用户、item、所有这些用户、item的h-hop中的相邻节点)和所有这些节点之间在这样的包含部分图表内，存在大量有助于预测评价的信息。例如，即使在1个阶段中包含子图，也能够得到大量基于用户平均得分、商品平均得分、商品累计评价次数、路径等的结构信息。参加图1。

简单的基于路径的结构特征如下。如果想知道用户u0对商品v0的得分，可以看到具有与u0相似品味的用户u1对v0打了多少高分。品味相似可以根据这个u1和u0是否曾经给过某个其他商品v1高分来使用。总结来说，这类路径的一个特点是：

通过调查有多少这样的路径，可以推测u0是否会给v0高分。然后，所有这样的路径都包含在一次包含子图(1-hop enclosing subgraph )中。

我相信这样的结构特征数不胜数。因此，与大量手动定义这种启发式特征(heuristics )相比，可以将一次包含部分图形直接输入到一个图形神经网络中，提高图形神经网络强大的图形特征学习能力我们利用地图神经网络训练了从包含子地图映射到分数的回归模型，实验证明了这种新方法能准确预测分数。

1 摘要

提取每个包含的子图后，首先标记其中的节点(node labeling )。目的是区分节点在分子图中的不同作用。例如，区分目标节点(target user/item )和背景节点(context nodes )。目标节点指示要预测子图中哪一对(user，item )之间的分数。同时，不同等级的邻居节点(如主邻居(1-hop neighbors )和次邻居(2-hop neighbors ) )对目标节点的贡献度不同。

我们采用了简单的做法，对于目标用户(target user )，我们标记为0，对于目标商品) target item，我们标记为1。 i-hop的背景用户用2i表示，i-hop的背景商品用2i 1表示。然后，将这些标记变换为one-hot encoding vector，作为各节点的初始特征输入到神经网络。

图形神经网络(GNN )采用relationalgraphconvolutionaloperator (r-gcn )作为卷积层。因为r-gcn可以从边缘类型中学习。

这里，表示节点层次上的特征向量，是可学习的参数，rating (一般从中间选择，表示与节点通过类型边缘连接的附近节点。

多层卷积后，将各层结果连接得到各节点的最终表示：

最后，将目标用户与目标商品联系的显示作为此包含子图的最终显示。

然后，训练了两层神经网络(MLP )，显示了从子图回归到目标得分(rating )。

2 动机

我们只使用一楼的包含子图训练IGMC。首先，Table 2展示了RMSE在Flixster、Douban和YahooMusic上的性能。我们的IGMC模型获得了state-of-the-art性能，超过了最近基于其他图形神经网络的模型。

表3显示了IGMC在ML-100K和ML-1M上的性能。在ML-100K中，IGMC获得了最高性能，与以前领先的转录模型GC-MC获得了相同的性能。但是，请注意，GC-MC使用了其他内容特性，而IGMC完全依赖于子图结构。 GC-MC不使用内容时，RMSE为0.910。在ML-1M中，IGMC还落后于其他几种传递推理的方法。我们接下来会深入研究这个问题。

对于ML-1M数据集，将训练矩阵分别稀疏至0.2、0.1、0.001、0.001、0.001倍。 Figure 2比较了GC-MC和IGMC不同疏密度的性能比较。发现IGMC在sparsity=1时落后于GC-MC，但后来IGMC在不同的sparsity时优于GC-MC，矩阵越稀疏，性能优势越明显。推测基于子图特征学习的IGMC相对于稀疏矩阵更鲁棒；基于矩阵分解等的传递模型如果矩阵不致密就无法获得良好的性能。这也暗示了IGMC在数据稀疏的推荐系统中的可能性。

最后，测试IGMC的迁移学习性能。将ML-100K训练的IGMC模型直接用于Flixster、Douban、YahooMusic的预测。不出所料，迁移的IGMC模型获得了非常强大的性能，优于在这三个数据集上训练的模型。这表明不同的推荐任务共享了大量相同的子图模式。

为了验证这一点，参照Figure 3，可视化了几个实际的包含子图。可见高分与低分对应的包含子图确实存在明显差异；在不同的数据集之间共享许多相似的子图模式。

3 方法

提出了从子图的特征出发进行归纳推理(inductive reasoning )的矩阵互补模型IGMC。

证明了本文只通过从一阶包含子图中学习图的特征就可以在很多数据集上达到顶级性能。这似乎暗示着更高阶的连接关系没有特别的附加价值。

此外，我们还证明了不利用内容的inductivematrixcompletion(IMC )方法同样可行，大大超越了传统的利用内容的IMC方法。 IGMC的许多特性，如移动性、稀疏鲁棒性等暗示着其强大的潜力。我们希望IGMC能给矩阵互补和推荐系统领域带来新的想法和启发。

另外，利用子图特征的链路预测方法已经取得了很大的成功。请参见另一篇文章“linkpredictionbasedongraphneuralnetworks”:

3358 papers.nips.cc/paper/7763-link-prediction-based-on-graph-neural-networks.pdf

4 实验结果

5 总结

疫情严重，ICLR2020将举办虚拟会议，非洲首个AI国际巨头将因此泡汤

受疫情影响，ICLR突然更改为在线模式，2020年将是高层变革的一年吗？

火爆的图机器学习，ICLR 2020上有哪些研究趋势？

ICLR 2020 系列论文解读

回放|华为诺亚方舟ICLR满分论文：基于强化学习的因果发现

2、0、ICLR 2020 会议动态报道

01. Oral |镜像生成型机器翻译模型： MGNMT

02 .添加oral |高斯先验目标，缓解负多样性无知

03. Oral |引入额外的门控计算，稍微修改一下LSTM，性能就相当于Transformer-XL

04. Oral |并行蒙卡树搜索，无性能损失，线性加速，勇于关闭“消乐”1000！

05. Oral |元强化学习迎来冷水：比元q学不了多少

06 .用oral |组卷积构建深度等变的封装网络

07.oral|Google推出分布式强化学习框架SEED，性能为“完爆”IMPALA，可扩展数千台机器，还很便宜

1、直播

01 .聚光灯|模型参数这么多，泛化能力为什么这么强？

02 .聚光灯|公平和准确一样重要！ CMU提出了学习公平的表示方法，实现算法的公平

03 .聚光灯|组合泛化能力太低？尝试在深度学习中融合组合求解器

04. Spotlight | 加速NAS，仅用0.1秒完成搜索

05. Spotlight |华盛顿大学：图像分类中的可攻击防御(视频解密) ) ) ) ) ) )。

Oral

01. Poster |华为：巧妙的思想，NAS和“对抗”结合在一起，速度提高了1.1倍

02. Poster |忽略卷积，多头自我注意力可以表现任何卷积操作

03. Poster | NAS太难了，搜索结果堪比随机采样！华为提出了六条建议

04. Poster |清华提NExT框架，通过“神经元执行树”学习可解释性

05.poster|Google最新研究：用“复合散度”量化模型合成泛化能力

06 .完胜poster|Bert，谷歌最佳NLP预培训模式开源，单卡培训仅4天

07. Poster | FSNet :利用卷积核综述压缩深度卷积神经网络

08. Poster |“同步平均教育”框架通过无监督学习提供稳健的假标签

09. Poster |高速神经网络自适应技术