圖神經(jīng)網(wǎng)絡(luò)好發(fā)論文嗎

大家好！今天讓小編來大家介紹下關(guān)于圖神經(jīng)網(wǎng)絡(luò)好發(fā)論文嗎的問題，以下是小編對(duì)此問題的歸納整理，讓我們一起來看看吧。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，相關(guān)業(yè)務(wù)請(qǐng)撥打電話：175-8598-2043，或添加微信：1454722008

文章目錄列表:

• 1、圖神經(jīng)網(wǎng)絡(luò)是怎么煉成的：GNN基本原理簡介

• 2、人工智能論文哪個(gè)方向好寫

• 3、圖神經(jīng)網(wǎng)絡(luò)和超圖神經(jīng)網(wǎng)絡(luò)在多標(biāo)簽分類中的優(yōu)勢(shì)對(duì)比

• 4、我是控制理論與控制工程的研究生 研究生期間 要發(fā)論文 我該怎么寫 因?yàn)槲覀儗I(yè)接觸的東西多但是不精，

一、圖神經(jīng)網(wǎng)絡(luò)是怎么煉成的：GNN基本原理簡介

此文算是對(duì)Google Research這篇 A Gentle Introduction to Graph Neural Networks 神作的閱讀筆記.

十多年來，研究人員開發(fā)了一種稱之為圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Networks，GNNs）的技術(shù)，旨在將如今在深度學(xué)習(xí)的諸多任務(wù)中摧枯拉朽的神經(jīng)網(wǎng)絡(luò)，應(yīng)用到圖結(jié)構(gòu)之上，從而讓神經(jīng)網(wǎng)絡(luò)捕捉到更錯(cuò)綜復(fù)雜的交叉特征，以期待在一些任務(wù)上取得更佳的效果。鑒于操作圖數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性，盡管已經(jīng)發(fā)展了十幾年，它在實(shí)際應(yīng)用中卻剛剛起步，即時(shí)是google也才開始研究將其被應(yīng)用到藥品研發(fā)、物理模擬、假新聞檢測(cè)、交通預(yù)測(cè)和推薦系統(tǒng)等領(lǐng)域。

盡管GNN是一個(gè)新興的研究領(lǐng)域，但圖結(jié)構(gòu)的數(shù)據(jù)其實(shí)在我們身邊無處不在。那么什么是圖呢？

這個(gè)理科生應(yīng)該都清楚，圖有點(diǎn)(Vertex)和邊(Edge)兩部分組成，一個(gè)圖就代表了各個(gè)實(shí)體節(jié)點(diǎn)（node）之間的關(guān)系（edge）：

每個(gè)節(jié)點(diǎn)或者邊都可以包含它的一些屬性信息，比如如果一個(gè)節(jié)點(diǎn)表示一個(gè)人，那么就可以包含這個(gè)人的姓名、性別、身高、體重之類的..我們研究需要的信息。

而這些信息，都可以用通用的向量的形式存入其中：

還有別忘了一點(diǎn)，邊是可以有方向的，按此我們還能分為有向圖或是無向圖。邊的方向代表了信息的傳遞方向，例如a是b的微信好友，那b也是a的微信好友，好友關(guān)系自然是沒方向的，而比如a是b的爹，那顯然b就不是a的爹，此時(shí)叫爹的關(guān)系就是有有方向的。

圖結(jié)構(gòu)的構(gòu)建是非常靈活的，可以根據(jù)個(gè)人的設(shè)計(jì)構(gòu)建出各種不一樣的圖。而作為開發(fā)者顯然要結(jié)合實(shí)際解決的問題來構(gòu)建合適的圖。

正如前面所提到的，圖無處不在。你可能已經(jīng)熟悉例如知識(shí)圖譜、社交網(wǎng)絡(luò)之類的圖數(shù)據(jù)。當(dāng)時(shí)顯然，圖是一種極其強(qiáng)大的通用數(shù)據(jù)表示，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中用到的歐式空間的數(shù)據(jù)，同樣可以用圖來表示，例如可以將圖像和文本建模為圖結(jié)構(gòu)數(shù)據(jù)。

比如，我們可以將一張圖片的每個(gè)像素作為圖的節(jié)點(diǎn)，再將相鄰的像素用邊連接起來，就構(gòu)造了一個(gè)該圖像的圖。

如上圖展示了一個(gè)5*5的圖片的鄰接矩陣表示和圖表示。

我們將每個(gè)單詞作為節(jié)點(diǎn)，并將每個(gè)節(jié)點(diǎn)連接到下一個(gè)節(jié)點(diǎn)，就得到了一個(gè)文本的圖：

當(dāng)然，在實(shí)踐中我們并不會(huì)這樣來編碼文本和圖像，因?yàn)樗械膱D和文本都是非常規(guī)則的結(jié)構(gòu)，表示成圖就多此一舉了。

我們?cè)賮砜匆恍├?，這些數(shù)據(jù)的結(jié)構(gòu)更加復(fù)雜，除了圖之外很難用其他方式來表達(dá)。

分子是構(gòu)成物質(zhì)的基石，我們可以用節(jié)點(diǎn)來表示它的原子和電子，用邊來表示共價(jià)鍵，這樣便將一個(gè)分子表示成了一個(gè)圖：

不同的圖可以表示出不同的分子結(jié)構(gòu)：

都說社會(huì)是一個(gè)大熔爐，身處其中的人和事物之間會(huì)發(fā)生極其復(fù)雜的關(guān)系。這種關(guān)系的表示用普通的表格數(shù)據(jù)是很難表示的，而圖卻能很好的展現(xiàn)。

下圖是將莎士比亞歌劇《奧賽羅》中的任務(wù)關(guān)系表示成圖：

怎么樣，如果沒看過歌劇能推測(cè)出那些是主角嗎？

下面是將一個(gè)空手道競標(biāo)賽的對(duì)戰(zhàn)關(guān)系構(gòu)建為圖：

類似的可以表示為圖的數(shù)據(jù)還有很多很多，比如論文的引用之類統(tǒng)統(tǒng)都可以表示為圖，下面是現(xiàn)實(shí)世界中不同規(guī)模的數(shù)據(jù)圖表示的統(tǒng)計(jì)數(shù)據(jù)：

可見，各種各樣規(guī)模的數(shù)據(jù)都可以輕松的用圖來表示。

在上面我們列舉了這么多的圖，那么我們?cè)搶?duì)這些圖數(shù)據(jù)執(zhí)行什么任務(wù)呢？

圖上的預(yù)測(cè)任務(wù)一般分為三類：

下面我們通過具體的示例來說明GNN怎么來解決上述的三個(gè)級(jí)別的預(yù)測(cè)問題。

在圖級(jí)別的任務(wù)中，我們的目標(biāo)是預(yù)測(cè)整個(gè)圖的屬性。例如我們通過分子圖，來預(yù)測(cè)該分子的氣味或是者它是否是與某些疾病有關(guān)的受體。

它的輸入是完整的圖：

輸出是圖的分類：

節(jié)點(diǎn)級(jí)任務(wù)一般就是預(yù)測(cè)每個(gè)節(jié)點(diǎn)的類型。

一個(gè)經(jīng)典的例子就是Zach的空手道俱樂部。該數(shù)據(jù)集市一個(gè)單一的社交網(wǎng)絡(luò)圖，猶豫政治分歧，講師Hi先生和管理員John之間不和導(dǎo)致空手道俱樂部分裂，其中的學(xué)員一部分效忠于Hi先生，一部分效忠于John。每個(gè)節(jié)點(diǎn)代表空手道聯(lián)系著，邊代表空手道之外這些成員的互動(dòng)，預(yù)測(cè)問題就是判斷這些節(jié)點(diǎn)是效忠于誰的。

邊級(jí)任務(wù)其實(shí)就是預(yù)測(cè)每個(gè)邊的屬性.

在目標(biāo)檢測(cè)的語義分割任務(wù)中,我們也許不止要識(shí)別每個(gè)目標(biāo)的類型,還需要預(yù)測(cè)各個(gè)目標(biāo)之間的關(guān)系.我們可以將其描述為邊級(jí)別的分類任務(wù):給定表示圖像中的對(duì)象的節(jié)點(diǎn)，我們希望預(yù)測(cè)哪些節(jié)點(diǎn)共享一條邊，或者該邊的值是多少。如果我們希望發(fā)現(xiàn)實(shí)體之間的連接，我們可以考慮圖是完全連通的，并根據(jù)它們的預(yù)測(cè)值修剪邊來得到一個(gè)稀疏圖。

用圖表示就是這樣的過程:

那么我們要如何使用神經(jīng)網(wǎng)絡(luò)來處理上述各種類型的任務(wù)呢?

首先要考慮的是如何將圖結(jié)構(gòu)數(shù)據(jù)適配到神經(jīng)網(wǎng)絡(luò).

回想一下啊,傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)輸入的往往是矩陣形式的數(shù)據(jù),那么要如何把圖作為輸入呢?

圖表示有四種類型的信息:節(jié)點(diǎn)(nodes),邊(edges),全局上下文(global-context),聯(lián)通性(connectivity).對(duì)于前三種信息,有一個(gè)非常簡單的方案,比如將節(jié)點(diǎn)排序,然后每個(gè)節(jié)點(diǎn)表示為一個(gè)向量,所有節(jié)點(diǎn)就得到了一個(gè)節(jié)點(diǎn)的矩陣,同理,邊和上下文也可以這么搞.

但是要標(biāo)識(shí)連通性就沒有這么簡單了,也許你會(huì)想到用臨街矩陣來表示,但是這樣表示會(huì)有明顯的缺陷,因?yàn)楣?jié)點(diǎn)數(shù)的規(guī)模往往是巨大的,對(duì)于一個(gè)數(shù)百萬節(jié)點(diǎn)的圖,那將耗費(fèi)大量的空間,而且得到的矩陣往往也十分的稀疏,可以說空間利用率會(huì)很低.

當(dāng)然,你也許會(huì)想,可以用稀疏矩陣來存儲(chǔ),這樣就只需要存儲(chǔ)連通的情況,空間利用率將大大提升,但是我們還要考慮到一點(diǎn),就是稀疏矩陣的高性能計(jì)算一直是個(gè)艱難的,尤其是在用到GPU的情況.

并且,使用鄰接矩陣還有一個(gè)問題就是各種不同的鄰接矩陣可以標(biāo)識(shí)相同的連通性,而這些矩陣并不能保證在神經(jīng)網(wǎng)絡(luò)中取的相同的效果.比如,同樣的連通性,通過調(diào)換列的順序,就能得到不同的鄰接矩陣:

現(xiàn)在，我們成功的將圖結(jié)構(gòu)成功表示成了置換不變的矩陣格式，終于可以使用圖形神經(jīng)網(wǎng)絡(luò)（GNN）來做圖形預(yù)測(cè)任務(wù)了。

GNN是對(duì)保持圖對(duì)稱性(置換不變性)的圖的所有屬性(節(jié)點(diǎn)、邊、全局上下文)的可優(yōu)化變換。

我們將使用Gilmer等人提出的“消息傳遞神經(jīng)網(wǎng)絡(luò)”框架構(gòu)建GNN,并使用Battaglia等人介紹的圖網(wǎng)絡(luò)網(wǎng)絡(luò)架構(gòu)示意圖。GNNS采用“圖輸入，圖輸出”架構(gòu)，這意味著這些模型類型接受圖作為輸入，其中包含節(jié)點(diǎn)，邊和全局上下文的信息，并逐步地轉(zhuǎn)換這些圖嵌入，而不會(huì)更改輸入的連接圖結(jié)構(gòu)。

我們使用最開始提到的那個(gè)圖來構(gòu)建一個(gè)最簡單的GNN,輸入的圖是相應(yīng)節(jié)點(diǎn),邊,全局信息的向量,我們針對(duì)每個(gè)向量使用一個(gè)MLP層來作變換,于是得到一個(gè)新的圖.

針對(duì)上述構(gòu)建的最簡單的GNN，我們?nèi)绾卧谏厦婷枋龅娜魏稳蝿?wù)中進(jìn)行預(yù)測(cè)呢?這里我們僅僅考慮二進(jìn)制分類的情況，但這個(gè)框架可以很容易地?cái)U(kuò)展到多類或回歸的情況。

如果是對(duì)節(jié)點(diǎn)分類,我們只要在最后一層接一個(gè)線性類器就可以了:

但是上面的預(yù)測(cè)過程有點(diǎn)過于簡單了,完全沒有用到圖的結(jié)構(gòu)信息,我們?cè)诖嘶A(chǔ)上增加一個(gè)pooling操作,以增加它的邊緣信息:

具體操作是把待預(yù)測(cè)節(jié)點(diǎn)的鄰居節(jié)點(diǎn)以及全局的信息進(jìn)行聚合再做預(yù)測(cè),即將這些embedding向量加到一起得到一個(gè)新的向量,再輸入到最后的線性分類器.

同理,如果我們只有節(jié)點(diǎn)相應(yīng)邊的信息的話,也可以用類似的方式pooling,然后得到節(jié)點(diǎn)的向量表示再輸入分類器:

反之,如果我們只有節(jié)點(diǎn)的信息,那么也可以用邊所連接的兩個(gè)節(jié)點(diǎn)來pooling出邊的向量,然后將器輸入到分類器預(yù)測(cè)邊的類型:

顯然,不管是哪種任務(wù),整個(gè)GNN的推理過程都是一樣的,可以表示為這樣一個(gè)端到端的過程:

不過,顯而易見的,這個(gè)簡單的GNN在分類前只是對(duì)每個(gè)向量進(jìn)行了一個(gè)變換,而沒有用到圖結(jié)構(gòu)的任何信息,雖然在最后做預(yù)測(cè)的時(shí)候做了一些pooling的聚合,但也始終沒有用到adjacency的信息,因此這個(gè)GNN的作用相當(dāng)有限,但是它為我們提供了一個(gè)圖結(jié)構(gòu)層變換和堆疊的基本思路.

針對(duì)上面最簡單GNN的不足,我們可以在其中根據(jù)連通性增加更加復(fù)雜的變換從而引入整個(gè)圖結(jié)構(gòu)的信息,我們將這個(gè)過程稱之為信息傳遞.

信息傳遞包含三個(gè)步驟:

這個(gè)過程有點(diǎn)類似于卷積操作,每個(gè)節(jié)點(diǎn)匯聚了其鄰居的節(jié)點(diǎn),經(jīng)過多個(gè)層的變換,它將涵蓋全圖的信息.

于是我們可以將這個(gè)節(jié)點(diǎn)信息傳遞應(yīng)用到上述的圖變換過程中:

然后,我們發(fā)現(xiàn)它并沒用用上邊的信息,于是可以把邊信息也加上,變成這樣:

既然把邊的信息加上了,那怎么可以漏掉全局信息呢,于是完整的信息傳遞就可以表示成這樣:

以上,我們梳理了最簡單的GNNs是怎么完成的,你應(yīng)該已經(jīng)對(duì)GNN有了一個(gè)基本的了解,就像學(xué)會(huì)了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中最簡單的全連接網(wǎng)絡(luò)類似,關(guān)于GNN還有更多不同種類的更復(fù)雜的圖需要取了解和學(xué)習(xí),但你只要掌握了以上的思想,學(xué)習(xí)起來也是十分容易的.

二、人工智能論文哪個(gè)方向好寫

人工智能與機(jī)器人研究這本期刊的領(lǐng)域有這些：智能機(jī)器人、模式識(shí)別與智能系統(tǒng)、虛擬現(xiàn)實(shí)技術(shù)與應(yīng)用、系統(tǒng)仿真技術(shù)與應(yīng)用、工業(yè)過程建模與智能控制、智能計(jì)算與機(jī)器博弈、人工智能理論、語音識(shí)別與合成、機(jī)器翻譯、圖像處理與計(jì)算機(jī)視覺、計(jì)算機(jī)感知、計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)、知識(shí)發(fā)現(xiàn)與機(jī)器學(xué)習(xí)、建筑智能化技術(shù)與應(yīng)用、人智能其他學(xué)科人工智能與機(jī)器人研究這本期刊的領(lǐng)域，你可以參考下：智能機(jī)器人、模式識(shí)別與智能系統(tǒng)、虛擬現(xiàn)實(shí)技術(shù)與應(yīng)用、系統(tǒng)仿真技術(shù)與應(yīng)用、工業(yè)過程建模與智能控制、智能計(jì)算與機(jī)器博弈、人工智能理論、語音識(shí)別與合成、機(jī)器翻譯、圖像處理與計(jì)算機(jī)視覺、計(jì)算機(jī)感知、計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)、知識(shí)發(fā)現(xiàn)與機(jī)器學(xué)習(xí)、建筑智能化技術(shù)與應(yīng)用、人智能其他學(xué)科

三、圖神經(jīng)網(wǎng)絡(luò)和超圖神經(jīng)網(wǎng)絡(luò)在多標(biāo)簽分類中的優(yōu)勢(shì)對(duì)比

在目前的基于圖結(jié)構(gòu)的多標(biāo)簽圖像分類方法中，圖神經(jīng)網(wǎng)絡(luò)和超圖神經(jīng)網(wǎng)絡(luò)都是用于學(xué)習(xí)多標(biāo)簽之間的標(biāo)簽依賴關(guān)系的方法。那么這兩種方法在學(xué)習(xí)標(biāo)簽之間的依賴關(guān)系上有什么對(duì)比優(yōu)勢(shì)？本文嘗試簡要分析。

首先需要簡單介紹圖神經(jīng)網(wǎng)絡(luò)和超圖神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)：

1.圖神經(jīng)網(wǎng)絡(luò)

對(duì)于每個(gè)標(biāo)簽類別，首先通過外部知識(shí)（通常是通過詞向量模型）獲取初始的詞向量，每個(gè)標(biāo)簽類別作為圖中的一個(gè)結(jié)點(diǎn)，結(jié)點(diǎn)的初始表示就是對(duì)應(yīng)的標(biāo)簽的詞向量。然后，通過公式：

超圖神經(jīng)網(wǎng)絡(luò)與圖神經(jīng)網(wǎng)絡(luò)很不同的一點(diǎn)是他的結(jié)構(gòu)表示。超圖的矩陣表示和圖不一樣，不再是結(jié)點(diǎn)和結(jié)點(diǎn)的關(guān)系，而是邊和結(jié)點(diǎn)的關(guān)系。即每條邊有幾個(gè)結(jié)點(diǎn)，或者說當(dāng)前結(jié)點(diǎn)屬于哪幾條邊。而且，超圖神經(jīng)網(wǎng)絡(luò)的卷積過程相比圖神經(jīng)網(wǎng)絡(luò)的復(fù)雜：

四、我是控制理論與控制工程的研究生 研究生期間 要發(fā)論文 我該怎么寫 因?yàn)槲覀儗I(yè)接觸的東西多但是不精，

在這里提一點(diǎn)點(diǎn)建議，希望能幫到你?？刂茖I(yè)雖然學(xué)的東西很廣，但是每個(gè)人都有自己的研究方向，比如決策分析，智能控制，嵌入式等等。先確定自己的研究對(duì)象，然后寫文章當(dāng)然也就是這一塊了。我是智能控制方向的，所以主要研究模糊控制，神經(jīng)網(wǎng)絡(luò)，專家控制需要大量的實(shí)踐操作經(jīng)驗(yàn)，不好辦。第二，就是寫文章的一些小技巧，主要用于普通期刊，在寫文章中要有創(chuàng)新，但是作為研究生，不可能要國內(nèi)外那些專家，提出某某算法，發(fā)明某某東西，這樣的話，創(chuàng)新就有了更為寬泛的解釋，就是同一個(gè)對(duì)象，不同的方法，如果你選擇的控制算法比別人的所達(dá)到的控制效果要好，那么恭喜你。還有一個(gè)就是，同樣的控制策略，不同的控制對(duì)象，如果別人沒有實(shí)現(xiàn)對(duì)這樣對(duì)象的控制，而你做了，效果滿意，那么也恭喜你。所以研究生論文，第一要確定你的研究方向，不要想著都學(xué)都研究，不合實(shí)際，研究嵌入式比較有前（錢）途，但是比較難，研究PLC的話以后工作出差的可能性比較大，也比較辛苦，單片機(jī)什么的，比較廣，但是競爭壓力大。自己好好把握。第二要學(xué)習(xí)兩到三中控制算法，精通兩種，這是寫文章的理論支持，第三要找到有價(jià)值的控制對(duì)象，什么是有價(jià)值，就是這個(gè)東西在現(xiàn)實(shí)中常用而且很重要。記住一句話，相同的方法，不同的對(duì)象；相同的對(duì)象，不同的方法。

以上就是小編對(duì)于圖神經(jīng)網(wǎng)絡(luò)好發(fā)論文嗎問題和相關(guān)問題的解答了，如有疑問，可撥打網(wǎng)站上的電話，或添加微信。

推薦閱讀：

作圖神器（免費(fèi)作圖工具）

畫gpt神經(jīng)網(wǎng)絡(luò)（gin圖神經(jīng)網(wǎng)絡(luò)）

微商作圖神器永久免費(fèi)版

裝修最大的坑是什么

99手游排行榜（《99手游排行榜》）