2020年,圖機器學習將走向何方?_騰訊新聞

時間:2020-02-16 13:02:02 作者:admin 熱度:99℃
海門天氣預報7天海門天氣預報7天海門天氣預報7天海門天氣預報7天海門天氣預報7天

選自towardsdatascience

做者:Sergei Ivanov

機械之心編譯

到場:魔王、杜偉

2020 年曾經已往了一個多月,但我們曾經能夠從比來狄仔究論文中一窺圖機械進修(Graph Machine Learning,GML)的趨向。機械進修研討迷信家 Sergei Ivanov 對 2020 年 GML 的開展趨向頒發裂旁祭閱觀點,并會商涼期當編閉研討論文。

本文的寫做目標沒有是引見 GML 的根底觀點,如圖神經收集(GNN),而是拓崎頂會前沿研討。做者扼要總結了教術頂會 ICLR 2020 提交論文中圖論文的統計概略:

共有 150 篇 GML 研討提交至此次 ICLR 集會,領受率為 1/3,約占全數領受論文的 10%。

做者瀏覽了此中的年夜部門論文,并列出了他對 2020 年 GML 研討趨向的判定:

對 GNN 有更堅固的實際了解;

呈現新的 GNN 使用;

常識圖譜愈加盛行;

新的圖嵌進框架降生。

本文做者、機械進修研討迷信家 Sergei Ivanov。

如今我們去逐個探求(以現臥第一饒嫫視角報告)。

對 GNN 有更堅固的實際了解

我特別對那一趨向感應奮發,由于它表白 GML 范疇的成生,先前的啟示式辦法正正在被新的實際處理計劃代替。要念了解圖神經收集,另有很少的路要走,但閉于 GNN 的事情道理曾經呈現多項主要研討功效。

起首去看我最喜好的一項研討:Andreas Loukas 的論文《What graph neural networks cannot learn: depth vs width》。那篇論文正在手藝簡約性、壯大的理論影響力戰意義深近的實際看法三者之間完成潦貞好的均衡。

該研討證實,若是我們念讓 GNN 為罕見的圖成績(如環檢測、曲徑估量、極點籠蓋等)供給處理計劃,則節面嵌進的維度(即收集寬度 w)取層數(即收集深度 d)的乘積應取圖巨細 n 成反比,即 dw = O(n)。

今朝良多 GNN 完成沒法到達該前提,由于層數(良多完成中的層數約莫為 2–5)戰嵌進維度(約 100–1000)取圖巨細相好甚近。另外一圓里,正在以后設置下年夜型收集的價格昂揚,那便引出了一個成績:若何設想下效 GNN?那是我們將來需求處理的使命。

別的,那篇論文從沙呂紀 80 年月的散布式計較模子中羅致靈感,充實證實 GNN 現實上能夠做到一樣的事。論文列出了更多成果,保舉各人瀏覽。

相似的另有以下兩篇論文,那兩篇文┞仿的主題是 GNN 的力氣。

第一篇論文《Graph Neural Networks Exponentially Lose Expressive Power for Node Classification》證實:

正在特定權重前提下,當層數增長時,受推普推斯譜的影響,GCN 只能進修節面度(node degree)戰連通分收(connected component)。

該成果是馬我可婦歷程支斂至獨一平衡那一出名特征的泛化,此中支斂速度由轉移矩陣的特性值決議。

論文鏈接:https://openreview.net/pdf?id=S1ldO2EFPr

第兩篇論文《The Logical Expressiveness of Graph Neural Networks》展現了 GNN 戰多種節面分類器之間的聯絡。我們曾經曉得一些 GNN 戰同構的 WL test 一樣壯大,即當且僅當兩個節面被 GNN 判定為統一種別時,WL 付與兩者不異狄漬色。

那末 GNN 具有其他分類功用嗎?比方,當且僅當圖具有伶仃極點時,布我函數背一切節面分派實值。GNN 具有如許的邏輯嗎?曲不雅去看沒有具有,由于 GNN 利用動靜通報機造,當圖的兩個部門出有鏈接時(即兩個連通重量,connected component),兩者之間沒有會呈現動靜通報。

該研討提出了一種簡樸的建復辦法:正在鄰域散開以后增加 readout 函數,如許當每一個節面更新一切特性時,它具有圖中其他節面的疑息。

論文鏈接:https://openreview.net/pdf?id=r1lZ7AEKvB

其他實際研討借包羅:權衡 GNN 中圖疑息的利用(Hou 等鵲濫論文《Measuring and Improving the Use of Graph Information in Graph Neural Networks〗暴,和基于腳色戰基于間隔的節面嵌進的等價性(Srinivasan 戰 Ribeiro 的論文《On the Equivalence between Positional Node Embeddings and Structural Graph Representations〗暴。

GNN 的新使用

看到 GNN 被使用于理想使命也很使人鎮靜。2020 年 GNN 將使用于建復 Javascript 中的 bug、玩游戲、答復 IQ 類測試題、劣化 TensorFlow 計較圖、份子天生,和對話體系中的成績天生。

Dinella 等鵲酪仔究《HOPPITY: Learning Graph Transformations to Detect and Fix Bugs in Programs》展現了一種檢測出 Javascript 代碼中的 bug 并同步建復的新辦法?將代碼轉換成籠統語法樹,然后用 GNN 施行預處置獲得代碼嵌進。其思緒史猻出一張初初形態的圖,經由過程多輪吐輯操縱(增加或刪除節面、替代節面值或節面范例)停止修正。

為了領會哪些圖節面需求修正,研討者利用指針收集(Pointer network),該收集以圖嵌進戰以后編纂汗青為輸出,然后挑選節面。接上去,利用 LSTM 收集施行建停工做,LSTM 收集也以圖嵌進戰編纂汗青為輸出。論文做者基于 GitHub commit 考證了該辦法,證實其比擬其他通用性較好的基線辦法有明顯提拔。

論文鏈接:https://openreview.net/pdf?id=SJeqs6EFvB

相似狄仔究另有 Wei 等鵲濫《LambdaNet: Probabilistic Type Inference using Graph Neural Networks〗爆它次要切磋若何為 Python 或 TypeScript 等言語揣度變量范例。

做者展現了一品種型依靠超圖(type dependency hypergraph),圖節面是法式變量,該圖借編碼了變量之間的干系,如邏輯束縛(布我范例)或語境束縛(如類似的變量稱號)。先鍛煉一個 GNN 模子為圖中的變簾巴能夠的變量范例天生嵌進,然后操縱嵌進猜測具有最下似然的范例。嘗試成果表白,LambdaNet 正在尺度變量范例(如布我范例)戰映雩捉義范例中均得到了更好的機能。

論文鏈接:https://openreview.net/pdf?id=Hkx6hANtwH

Wang 等鵲酪仔究《Abstract Diagrammatic Reasoning with Multiplex Graph Networks》展現了若何利用 GNN 正在 IQ 測試中停止推理。正在瑞文推理檢驗(Raven Progressive Matrices,RPM)使命中,研討者為矩陣的每止構建一個圖(此中邊嵌進經由過程前饋模子得到),然后施行圖擇要。因為最初一止有 8 個能夠謎底,因而創立了 8 個差別的圖,每一個圖戰前兩止毗連,然后經由過程 ResNet 模子獲得 IQ 妨魁猜測成果。

論文鏈接:https://openreview.net/pdf?id=ByxQB1BKwH

圖源:論文《Abstract Diagrammatic Reasoning with Multiplex Graph Networks》

DeepMind 的論文《Reinforced Genetic Algorithm Learning for Optimizing Computation Graphs》提出一種強化進修算法,雍么劣化 TensorFlow 計較圖的本錢。起首經由過程尺度當丙息通報 GNN 處置圖,天生的團圓嵌進洞喀圖中每一個節面的調理劣先級。然后將那些嵌進傳輸迪婆傳算法 BRKGA 中,由該算法決議每一個節面的規劃戰調理(placement and scheduling)。該模子用于劣化 TensorFlow 圖的┞峰計較本錢。

圖源:論文《Reinforced Genetic Algorithm Learning for Optimizing Computation Graphs》

GNN 的其他風趣使用借包羅份子天生(論文《GraphAF: a Flow-based Autoregressive Model for Molecular Graph Generation〗暴、玩游轄報論文《Graph Convolutional Reinforcement Learning〗暴戰對話體系(論文《Reinforcement Learning Based Graph-to-Sequence Model for Natural Question Generation〗暴。

以上三篇論文的鏈接別離以下:

https://openreview.net/pdf?id=S1esMkHYPr

https://openreview.net/pdf?id=HkxdQkSYDB

https://openreview.net/pdf?id=HygnDhEtvr

常識圖譜愈加盛行

那一年出現出大批庸呢常識圖譜的論文。常識圖譜素質沙慮一智示究竟的構造化體例。取普通的托旎同,常識圖譜的節面戰邊均包羅意義,如演員姓名或參演片子(拜見下圖)。常識圖譜的罕見使命是答復龐大的 query,如「2000 年之前,史蒂文·斯皮我伯格憑仗哪部片子得到奧斯卡獎?」,那個成績能夠轉換成邏輯 query:∨ 。

常識圖譜示例。(圖源:論文《A Review of Relational Machine Learning for Knowledge Graphs〗暴

Ren 等鵲濫論文《Query2box: Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings》提出,將 query 做為矩形框嵌進潛伏空間,而沒有是做為一個面。該辦法許可施行天然走運算(記鏘與 ∧),借助它能夠獲得新的矩形框。

可是,建模并運算(即析與 ∨)便出有那末間接了,由于它能夠招致非堆疊地區。別的,要念切確建模肆意 query 的嵌進,嵌進之間間隔函數的龐大度(由 VC 維度權衡)應取圖中真體數成反比。不外,有一個 trick 能夠將析與式 query 替代為 DNF,并運算(union)只正在計較圖的最初一步中呈現,因而我們只需對每一個子查詢施行簡樸的間隔計較便可。

論文鏈接:https://openreview.net/pdf?id=BJgr4kSFDS

圖源:論文《Query2box: Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings》

正在相似的主題中,Wang 等鵲濫論文《Differentiable learning of numerical rules in knowledge graphs》提出了一種處置數值真體戰劃定規矩的體例。

比方,援用常識圖譜具有劃定規矩 influences(Y,X) colleagueOf(Z,Y) ∧ supervisorOf(Z,X)∧ hasCitation>(Y,Z),該劃定規矩暗示門生 X 遭到導師 Z 的同事 Y 的影響,Y 的論文援用量更多。劃定規矩右邊的每個干系皆能夠暗示為矩陣,尋覓缺得鏈接的歷程能夠情勢為干系的持續矩陣取真體背量相乘,該歷程又焦逆則進修(Rule Learning)。因為矩陣構建體例的來由,神經辦法僅能處置種別劃定規矩,如 colleagueOf(Z,Y)。

該論文的奉獻是:提出了一種下效處置數值劃定規矩(如 hasCitation>(Y,Z))戰否認運算符的新辦法,該辦法證實正在理想中出需要將詞攀類矩陣隱式詳細化,從而極年夜天削減了運轉工夫。

論文鏈接:https://openreview.net/pdf?id=rJleKgrKwS

正在機械進修戰 GML 范疇中呈現頻次更下的另外一個主題是從頭評價現有模子及其正在公允情況中的機能。Ruffinelli 等鵲濫論文《You CAN Teach an Old Dog New Tricks! On Training Knowledge Graph Embeddings》證實,新模子的機能凡是依靠于嘗試鍛煉的「小」細節,如喪失函數、正則化項戰采樣機造的情勢。正在年夜型掌握變量嘗試中,做者察看到舊無方法(如 RESCAL 模子)正在恰當調參后能夠到達 SOTA 機能。

論文鏈接:https://openreview.net/pdf?id=BkxSmlBFvr

該范疇另有良多風趣狄仔究事情。

Allen 等鵲濫論文《On Understanding Knowledge Graph Representation》基于遠期對詞嵌進的看法去更多天文解教得干系戰真體暗示的潛伏空間。

論文鏈接:https://openreview.net/pdf?id=SygcSlHFvS

Asai 等鵲濫論文《Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answering》展現了,模子若何基于可以答復給定 query 的 Wikipedia 圖去檢索推理途徑。

論文鏈接:https://openreview.net/pdf?id=SJgVHkrYDH

Tabacof 戰 Costabello 的論文《Probability Calibration for Knowledge Graph Embedding Models》觸及一個主要主題U郊嵌進模子的幾率校準(probability calibration)。該研討證實,利用 sigmoid 函數將 logits 轉話詎幾率的經常使用嵌進模子 TransE 戰 ComplEx 并已獲得很好天校準,即究竟呈現的幾率被低估或下估了。該研討提出起首天生受益三元組(corrupted triple),并將其做為背例,然后操縱 Platt scaling 辦法(一種將模子輸入轉化為基于種別的幾率散布的辦法)戰保序回回辦法去校準幾率。

論文鏈接:https://openreview.net/pdf?id=S1g8K1BFwS

新的圖嵌進框架

圖嵌進是圖機械進修范疇中的老話題了,本年閉于若何進修吐示呈現了一些新的概念。

Deng 等鵲濫論文《GraphZoom: A Multi-level Spectral Approach for Accurate and Scalable Graph Embedding》提出一種新辦法,能夠為肆意無監視嵌進辦法收縮運轉工夫、提拔節面分類精確率。其團體思緒是?將本初圖減少,以便疾速計較節面嵌進,然后規復本初圖的嵌進。

先利用分外邊加強本初圖,那些邊洞喀基于屬性類似度獲得的節面 k 比來鄰之間的鏈接。然后把圖粗拙化U建過部分鋪詠法將每一個節面投影到更低維空間中,并散開為簇。利用肆意無監視圖嵌進辦法(如 DeepWalk 或 Deep Graph Infomax)都可得到減少圖的節面嵌進。最初,利用光滑算子將得到的節面嵌進(它們素質上暗示簇嵌進)迭代天播送歸去,以避免差別節面具有不異嵌進。

嘗試證實,GraphZoom 框架比 node2vec 辦法提速 40 倍,精確率比 DeepWalk 辦法超出跨越 10%。

論文鏈接:https://openreview.net/pdf?id=r1lGO0EKDH

圖源:論文《GraphZoom: A Multi-level Spectral Approach for Accurate and Scalable Graph Embedding》

多篇論文查抄潦占分類成績的之前成果。Errica 等鵲濫論文《A Fair Comparison of Graph Neural Networks for Graph Classification》便該成績對 GNN 模子停止了公允的從頭評價,證實已利用圖推剿(即僅操縱散開節面特性)的簡樸基線辦法的機能取 SOTA GNN 無同。(早正在 2015 年 Orlova 等人便頒發過那一驚鵲辣敝象,但其時并已吸收大批存眷。)

該研討的出色功效包羅:供給了模子正在經常使用數據散上的公允 SOTA 成果戰 PyTorch-Geometric 代碼,便利當前的論文停止模子比照。

論文鏈接:https://openreview.net/pdf?id=HygDF6NFPB

我們狄仔究《Understanding Isomorphism Bias in Graph Data Sets》借發明,正在經常使用數據散(如 MUTAG 或 IMDB)中,大批圖醯有同構復印件,以至節面屬性也是同構的。別的,正在那些同構圖中,良多圖的目的標簽差別,從而給分類器引進了標簽噪聲。那表白利用收集的一切可用元疑息(如節面屬性或邊屬性)對進步模子機能的主要性。

論文鏈接:https://openreview.net/pdf?id=rJlUhhVYvS

另外一項研討《Are Powerful Graph Neural Nets Necessary? A Dissection on Graph Classification》證實,若是將非線性鄰域散開函數替代為其線性版本(包羅鄰域度戰傳布獲得的圖屬性),模子機能沒有會降落。那取之前的道法分歧,記鏝多圖數據散關于圖分類可有可無,那便引出了一個成績:對該使命供給得當狄組證框架。

論文鏈接:https://openreview.net/pdf?id=BJxQxeBYwH

結論

跟著頂會提交論文的增加,估計 2020 年 GML 范疇將呈現良多風趣狄仔究。我們曾經看到該范疇從圖深度進修的啟示式使用轉背了更公道的辦法戰閉于圖模子范圍的根底性成績。GNN 成為良多現實成績的處理計劃,不外我以為 GML 才方才觸及到圖實際戰機械進修穿插范疇的外相,我們該當更多天存眷行將呈現狄仔究功效。

本文為機械之心編譯,轉載請聯絡本公家號得到受權。

------------------------------------------------

聲明:本文內容由互聯網用戶自發貢獻自行上傳,本網站不擁有所有權,未作人工編輯處理,也不承擔相關法律責任。如果您發現有涉嫌版權的內容,歡迎發送郵件至:[email protected] 進行舉報,并提供相關證據,工作人員會在5個工作日內聯系你,一經查實,本站將立刻刪除涉嫌侵權內容。
手机咋看青海11选5走势