-
讓品牌有溫度、有情感
專注品牌策劃15年
-
當前位置：首頁 > 創(chuàng)意學院 > 技術 > 專題列表 > 正文
人工神經網絡和深度神經網絡（人工神經網絡和深度神經網絡關系）
發(fā)布時間：2023-04-22 05:40:34
稿源：
創(chuàng)意嶺 閱讀：
67
大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關于人工神經網絡和深度神經網絡的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。
開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等
只需要輸入關鍵詞，就能返回你想要的內容，越精準，寫出的就越詳細，有微信小程序端、在線網頁版、PC客戶端
創(chuàng)意嶺作為行業(yè)內優(yōu)秀的企業(yè)，服務客戶遍布全球各地，如需了解SEO相關業(yè)務請撥打電話175-8598-2043，或添加微信：1454722008
本文目錄:
一、深度學習與神經網絡有什么區(qū)別
找深度學習和神經網絡的不同點，其實主要的就是：
原來多層神經網絡做的步驟是：特征映射到值。特征是人工挑選。
深度學習做的步驟是 信號->特征->值。 特征是由網絡自己選擇。
另外，深度學習作為機器學習的領域中一個新的研究方向，在被引進機器學習后，讓機器學習可以更加的接近最初的目標，也就是人工智能。
深度學習主要就是對樣本數據的內在規(guī)律還有表示層次的學習，這些學習過程中獲得的信息對諸如文字，圖像和聲音等數據的解釋有很大的幫助。它的最終目標是讓機器能夠像人一樣具有分析學習能力，能夠識別文字、圖像和聲音等數據。 深度學習是一個復雜的機器學習算法，在語音和圖像識別方面取得的效果，遠遠超過先前相關技術。
深度學習在搜索技術，數據挖掘，機器學習，機器翻譯，自然語言處理，多媒體學習，語音，推薦和個性化技術，以及其他相關領域都取得了很多成果。深度學習使機器模仿視聽和思考等人類的活動，解決了很多復雜的模式識別難題，使得人工智能相關技術取得了很大進步。
而神經網絡則是可以分為兩種，一種是生物神經網絡，而另一種則是人工神經網絡。
生物神經網絡就是生物的大腦神經元、主要是由細胞以及觸點組成的，主要的作用就是讓生物產生意識，或者是幫助生物實現思考還有行動的目的。
神經網絡可以指向兩種，一個是生物神經網絡，一個是人工神經網絡。
人工神經網絡（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經網絡（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡依靠系統(tǒng)的復雜程度，通過調整內部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的。
人工神經網絡：是一種應用類似于大腦神經突觸聯(lián)接的結構進行信息處理的數學模型。在工程與學術界也常直接簡稱為“神經網絡”或類神經網絡。
二、人工智能，機器學習與深度學習，到底是什么關系
有人說，人工智能（AI）是未來，人工智能是科幻，人工智能也是我們日常生活中的一部分。這些評價可以說都是正確的，就看你指的是哪一種人工智能。
今年早些時候，Google DeepMind的AlphaGo打敗了韓國的圍棋大師李世乭九段。在媒體描述DeepMind勝利的時候，將人工智能（AI）、機器學習（machine learning）和深度學習（deep learning）都用上了。這三者在AlphaGo擊敗李世乭的過程中都起了作用，但它們說的并不是一回事。
今天我們就用最簡單的方法——同心圓，可視化地展現出它們三者的關系和應用。
向左轉|向右轉
如上圖，人工智能是最早出現的，也是最大、最外側的同心圓；其次是機器學習，稍晚一點；最內側，是深度學習，當今人工智能大爆炸的核心驅動。
五十年代，人工智能曾一度被極為看好。之后，人工智能的一些較小的子集發(fā)展了起來。先是機器學習，然后是深度學習。深度學習又是機器學習的子集。深度學習造成了前所未有的巨大的影響。
從概念的提出到走向繁榮
1956年，幾個計算機科學家相聚在達特茅斯會議（Dartmouth Conferences），提出了“人工智能”的概念。其后，人工智能就一直縈繞于人們的腦海之中，并在科研實驗室中慢慢孵化。之后的幾十年，人工智能一直在兩極反轉，或被稱作人類文明耀眼未來的預言；或者被當成技術瘋子的狂想扔到垃圾堆里。坦白說，直到2012年之前，這兩種聲音還在同時存在。
過去幾年，尤其是2015年以來，人工智能開始大爆發(fā)。很大一部分是由于GPU的廣泛應用，使得并行計算變得更快、更便宜、更有效。當然，無限拓展的存儲能力和驟然爆發(fā)的數據洪流（大數據）的組合拳，也使得圖像數據、文本數據、交易數據、映射數據全面海量爆發(fā)。
讓我們慢慢梳理一下計算機科學家們是如何將人工智能從最早的一點點苗頭，發(fā)展到能夠支撐那些每天被數億用戶使用的應用的。
| 人工智能（Artificial Intelligence）——為機器賦予人的智能
向左轉|向右轉
早在1956年夏天那次會議，人工智能的先驅們就夢想著用當時剛剛出現的計算機來構造復雜的、擁有與人類智慧同樣本質特性的機器。這就是我們現在所說的“強人工智能”（General AI）。這個無所不能的機器，它有著我們所有的感知（甚至比人更多），我們所有的理性，可以像我們一樣思考。
人們在電影里也總是看到這樣的機器：友好的，像星球大戰(zhàn)中的C-3PO；邪惡的，如終結者。強人工智能現在還只存在于電影和科幻小說中，原因不難理解，我們還沒法實現它們，至少目前還不行。
我們目前能實現的，一般被稱為“弱人工智能”（Narrow AI）。弱人工智能是能夠與人一樣，甚至比人更好地執(zhí)行特定任務的技術。例如，Pinterest上的圖像分類；或者Facebook的人臉識別。
這些是弱人工智能在實踐中的例子。這些技術實現的是人類智能的一些具體的局部。但它們是如何實現的？這種智能是從何而來？這就帶我們來到同心圓的里面一層，機器學習。
| 機器學習—— 一種實現人工智能的方法
向左轉|向右轉
機器學習最基本的做法，是使用算法來解析數據、從中學習，然后對真實世界中的事件做出決策和預測。與傳統(tǒng)的為解決特定任務、硬編碼的軟件程序不同，機器學習是用大量的數據來“訓練”，通過各種算法從數據中學習如何完成任務。
機器學習直接來源于早期的人工智能領域。傳統(tǒng)算法包括決策樹學習、推導邏輯規(guī)劃、聚類、強化學習和貝葉斯網絡等等。眾所周知，我們還沒有實現強人工智能。早期機器學習方法甚至都無法實現弱人工智能。
機器學習最成功的應用領域是計算機視覺，雖然也還是需要大量的手工編碼來完成工作。人們需要手工編寫分類器、邊緣檢測濾波器，以便讓程序能識別物體從哪里開始，到哪里結束；寫形狀檢測程序來判斷檢測對象是不是有八條邊；寫分類器來識別字母“ST-O-P”。使用以上這些手工編寫的分類器，人們總算可以開發(fā)算法來感知圖像，判斷圖像是不是一個停止標志牌。
這個結果還算不錯，但并不是那種能讓人為之一振的成功。特別是遇到云霧天，標志牌變得不是那么清晰可見，又或者被樹遮擋一部分，算法就難以成功了。這就是為什么前一段時間，計算機視覺的性能一直無法接近到人的能力。它太僵化，太容易受環(huán)境條件的干擾。
隨著時間的推進，學習算法的發(fā)展改變了一切。
| 深度學習——一種實現機器學習的技術
向左轉|向右轉
人工神經網絡（Artificial Neural Networks）是早期機器學習中的一個重要的算法，歷經數十年風風雨雨。神經網絡的原理是受我們大腦的生理結構——互相交叉相連的神經元啟發(fā)。但與大腦中一個神經元可以連接一定距離內的任意神經元不同，人工神經網絡具有離散的層、連接和數據傳播的方向。
例如，我們可以把一幅圖像切分成圖像塊，輸入到神經網絡的第一層。在第一層的每一個神經元都把數據傳遞到第二層。第二層的神經元也是完成類似的工作，把數據傳遞到第三層，以此類推，直到最后一層，然后生成結果。
每一個神經元都為它的輸入分配權重，這個權重的正確與否與其執(zhí)行的任務直接相關。最終的輸出由這些權重加總來決定。
我們仍以停止（Stop）標志牌為例。將一個停止標志牌圖像的所有元素都打碎，然后用神經元進行“檢查”：八邊形的外形、救火車般的紅顏色、鮮明突出的字母、交通標志的典型尺寸和靜止不動運動特性等等。神經網絡的任務就是給出結論，它到底是不是一個停止標志牌。神經網絡會根據所有權重，給出一個經過深思熟慮的猜測——“概率向量”。
這個例子里，系統(tǒng)可能會給出這樣的結果：86%可能是一個停止標志牌；7%的可能是一個限速標志牌；5%的可能是一個風箏掛在樹上等等。然后網絡結構告知神經網絡，它的結論是否正確。
即使是這個例子，也算是比較超前了。直到前不久，神經網絡也還是為人工智能圈所淡忘。其實在人工智能出現的早期，神經網絡就已經存在了，但神經網絡對于“智能”的貢獻微乎其微。主要問題是，即使是最基本的神經網絡，也需要大量的運算。神經網絡算法的運算需求難以得到滿足。
不過，還是有一些虔誠的研究團隊，以多倫多大學的Geoffrey Hinton為代表，堅持研究，實現了以超算為目標的并行算法的運行與概念證明。但也直到GPU得到廣泛應用，這些努力才見到成效。
我們回過頭來看這個停止標志識別的例子。神經網絡是調制、訓練出來的，時不時還是很容易出錯的。它最需要的，就是訓練。需要成百上千甚至幾百萬張圖像來訓練，直到神經元的輸入的權值都被調制得十分精確，無論是否有霧，晴天還是雨天，每次都能得到正確的結果。
只有這個時候，我們才可以說神經網絡成功地自學習到一個停止標志的樣子；或者在Facebook的應用里，神經網絡自學習了你媽媽的臉；又或者是2012年吳恩達（Andrew Ng）教授在Google實現了神經網絡學習到貓的樣子等等。
吳教授的突破在于，把這些神經網絡從基礎上顯著地增大了。層數非常多，神經元也非常多，然后給系統(tǒng)輸入海量的數據，來訓練網絡。在吳教授這里，數據是一千萬YouTube視頻中的圖像。吳教授為深度學習（deep learning）加入了“深度”（deep）。這里的“深度”就是說神經網絡中眾多的層。
現在，經過深度學習訓練的圖像識別，在一些場景中甚至可以比人做得更好：從識別貓，到辨別血液中癌癥的早期成分，到識別核磁共振成像中的腫瘤。Google的AlphaGo先是學會了如何下圍棋，然后與它自己下棋訓練。它訓練自己神經網絡的方法，就是不斷地與自己下棋，反復地下，永不停歇。
| 深度學習，給人工智能以璀璨的未來
深度學習使得機器學習能夠實現眾多的應用，并拓展了人工智能的領域范圍。深度學習摧枯拉朽般地實現了各種任務，使得似乎所有的機器輔助功能都變?yōu)榭赡堋o人駕駛汽車，預防性醫(yī)療保健，甚至是更好的電影推薦，都近在眼前，或者即將實現。
人工智能就在現在，就在明天。有了深度學習，人工智能甚至可以達到我們暢想的科幻小說一般。你的C-3PO我拿走了，你有你的終結者就好了。
三、神經網絡優(yōu)缺點，
優(yōu)點：
（1）具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網絡，網絡就會通過自學習功能，慢慢學會識別類似的圖像。
自學習功能對于預測有特別重要的意義。預期未來的人工神經網絡計算機將為人類提供經濟預測、市場預測、效益預測，其應用前途是很遠大的。
（2）具有聯(lián)想存儲功能。用人工神經網絡的反饋網絡就可以實現這種聯(lián)想。
（3）具有高速尋找優(yōu)化解的能力。尋找一個復雜問題的優(yōu)化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經網絡，發(fā)揮計算機的高速運算能力，可能很快找到優(yōu)化解。
缺點：
（1）最嚴重的問題是沒能力來解釋自己的推理過程和推理依據。
（2）不能向用戶提出必要的詢問，而且當數據不充分的時候，神經網絡就無法進行工作。
（3）把一切問題的特征都變?yōu)閿底?，把一切推理都變?yōu)閿抵涤嬎?，其結果勢必是丟失信息。
（4）理論和學習算法還有待于進一步完善和提高。
擴展資料：
神經網絡發(fā)展趨勢
人工神經網絡特有的非線性適應性信息處理能力，克服了傳統(tǒng)人工智能方法對于直覺，如模式、語音識別、非結構化信息處理方面的缺陷，使之在神經專家系統(tǒng)、模式識別、智能控制、組合優(yōu)化、預測等領域得到成功應用。
人工神經網絡與其它傳統(tǒng)方法相結合，將推動人工智能和信息處理技術不斷發(fā)展。近年來，人工神經網絡正向模擬人類認知的道路上更加深入發(fā)展，與模糊系統(tǒng)、遺傳算法、進化機制等結合，形成計算智能，成為人工智能的一個重要方向，將在實際應用中得到發(fā)展。
將信息幾何應用于人工神經網絡的研究，為人工神經網絡的理論研究開辟了新的途徑。神經計算機的研究發(fā)展很快，已有產品進入市場。光電結合的神經計算機為人工神經網絡的發(fā)展提供了良好條件。
神經網絡在很多領域已得到了很好的應用，但其需要研究的方面還很多。其中，具有分布存儲、并行處理、自學習、自組織以及非線性映射等優(yōu)點的神經網絡與其他技術的結合以及由此而來的混合方法和混合系統(tǒng)，已經成為一大研究熱點。
由于其他方法也有它們各自的優(yōu)點，所以將神經網絡與其他方法相結合，取長補短，繼而可以獲得更好的應用效果。目前這方面工作有神經網絡與模糊邏輯、專家系統(tǒng)、遺傳算法、小波分析、混沌、粗集理論、分形理論、證據理論和灰色系統(tǒng)等的融合。
參考資料：百度百科-人工神經網絡
四、Nature 論文：探索深度神經網絡之間的個體差異
深度神經網絡（DNNs）是 AI 領域的重要成果，但它的 “存在感” 已經不僅僅限于該領域。
一些前沿生物醫(yī)學研究，也正被這一特別的概念所吸引。特別是計算神經科學家。
在以前所未有的任務性能徹底改變計算機視覺之后，相應的 DNNs 網絡很快就被用以試著解釋大腦信息處理的能力，并日益被用作靈長類動物大腦神經計算的建模框架。經過任務優(yōu)化的深度神經網絡，已經成為預測靈長類動物視覺皮層多個區(qū)域活動的最佳模型類型之一。
用神經網絡模擬大腦或者試圖讓神經網絡更像大腦正成為主流方向的當下，有研究小組卻選擇用神經生物學的方法重新審視計算機學界發(fā)明的DNNs。
而他們發(fā)現，諸如改變初始權重等情況就能改變網絡的最終訓練結果。這對使用單個網絡來窺得生物神經信息處理機制的普遍做法提出了新的要求：如果沒有將具有相同功能的深度神經網絡具有的差異性納入考慮的話，借助這類網絡進行生物大腦運行機制建模將有可能出現一些隨機的影響。要想盡量避免這種現象，從事 DNNs 研究的計算神經科學家，可能需要將他們的推論建立在多個網絡實例組的基礎上，即嘗試去研究多個相同功能的神經網絡的質心，以此克服隨機影響。
而對于 AI 領域的研究者，團隊也希望這種表征一致性的概念能幫助機器學習研究人員了解在不同任務性能水平下運行的深度神經網絡之間的差異。
人工神經網絡由被稱為 “感知器”、相互連接的單元所建立，感知器則是生物神經元的簡化數字模型。人工神經網絡至少有兩層感知器，一層用于輸入層，另一層用于輸出層。在輸入和輸出之間夾上一個或多個 “隱藏” 層，就得到了一個 “深層” 神經網絡，這些層越多，網絡越深。
深度神經網絡可以通過訓練來識別數據中的特征，就比如代表貓或狗圖像的特征。訓練包括使用一種算法來迭代地調整感知器之間的連接強度（權重系數），以便網絡學會將給定的輸入（圖像的像素）與正確的標簽（貓或狗）相關聯(lián)。理想狀況是，一旦經過訓練，深度神經網絡應該能夠對它以前沒有見過的同類型輸入進行分類。
但在總體結構和功能上，深度神經網絡還不能說是嚴格地模仿人類大腦，其中對神經元之間連接強度的調整反映了學習過程中的關聯(lián)。
一些神經科學家常常指出深度神經網絡與人腦相比存在的局限性：單個神經元處理信息的范圍可能比 “失效” 的感知器更廣，例如，深度神經網絡經常依賴感知器之間被稱為反向傳播的通信方式，而這種通信方式似乎并不存在于人腦神經系統(tǒng)。
然而，計算神經科學家會持不同想法。有的時候，深度神經網絡似乎是建模大腦的最佳選擇。
例如，現有的計算機視覺系統(tǒng)已經受到我們所知的靈長類視覺系統(tǒng)的影響，尤其是在負責識別人、位置和事物的路徑上，借鑒了一種被稱為腹側視覺流的機制。
對人類來說，腹側神經通路從眼睛開始，然后進入丘腦的外側膝狀體，這是一種感覺信息的中繼站。外側膝狀體連接到初級視覺皮層中稱為 V1 的區(qū)域，在 V1 和 V4 的下游是區(qū)域 V2 和 V4，它們最終通向下顳葉皮層。非人類靈長類動物的大腦也有類似的結構（與之相應的背部視覺流是一條很大程度上獨立的通道，用于處理看到運動和物體位置的信息）。
這里所體現的神經科學見解是，視覺信息處理的分層、分階段推進的：早期階段先處理視野中的低級特征（如邊緣、輪廓、顏色和形狀），而復雜的表征，如整個對象和面孔，將在之后由顳葉皮層接管。
如同人的大腦，每個 DNN 都有獨特的連通性和表征特征，既然人的大腦會因為內部構造上的差異而導致有的人可能記憶力或者數學能力更強，那訓練前初始設定不同的神經網絡是否也會在訓練過程中展現出性能上的不同呢？
換句話說，功能相同，但起始條件不同的神經網絡間究竟有沒有差異呢？
這個問題之所以關鍵，是因為它決定著科學家們應該在研究中怎樣使用深度神經網絡。
在之前 Nature 通訊發(fā)布的一篇論文中，由英國劍橋大學 MRC 認知及腦科學研究組、美國哥倫比亞大學 Zuckerman Institute 和荷蘭拉德堡大學的 Donders 腦科學及認知與行為學研究中心的科學家組成的一支科研團隊，正試圖回答這個問題。論文題目為《Individual differences among deep neural network models》。
根據這篇論文，初始條件不同的深度神經網絡，確實會隨著訓練進行而在表征上表現出越來越大的個體差異。
此前的研究主要是采用線性典范相關性分析（CCA，linear canonical correlation analysis）和 centered-kernel alignment（CKA）來比較神經網絡間的內部網絡表征差異。
這一次，該團隊的研究采用的也是領域內常見的分析手法 —— 表征相似性分析（RSA，representational similarity analysis）。
該分析法源于神經科學的多變量分析方法，常被用于將計算模型生產的數據與真實的大腦數據進行比較，在原理上基于通過用 “雙（或‘對’）” 反饋差異表示系統(tǒng)的內部刺激表征（Inner stimulus representation）的表征差異矩陣（RDMs，representational dissimilarity matrices），而所有雙反饋組所組成的幾何則能被用于表示高維刺激空間的幾何排布。
兩個系統(tǒng)如果在刺激表征上的特點相同（即表征差異矩陣的相似度高達一定數值），就被認為是擁有相似的系統(tǒng)表征。
表征差異矩陣的相似度計算在有不同維度和來源的源空間（source spaces）中進行，以避開定義 “系統(tǒng)間的映射網絡”。本研究的在這方面上的一個特色就是，使用神經科學研究中常用的網絡實例比較分析方法對網絡間的表征相似度進行比較，這使得研究結果可被直接用于神經科學研究常用的模型。
最終，對比的結果顯示，僅在起始隨機種子上存在不同的神經網絡間存在明顯個體差異。
該結果在采用不同網絡架構，不同訓練集和距離測量的情況下都成立。團隊分析認為，這種差異的程度與 “用不同輸入訓練神經網絡” 所產生的差異相當。
如上圖所示，研究團隊通過計算對應 RDM 之間的所有成對距離，比較 all-CNN-C 在所有網絡實例和層、上的表示幾何。
再通過 MDS 將 a 中的數據點（每個點對應一個層和實例）投影到二維。各個網絡實例的層通過灰色線連接。雖然早期的代表性幾何圖形高度相似，但隨著網絡深度的增加，個體差異逐漸顯現。
在證明了深度神經網絡存在的顯著個體差異之后，團隊繼續(xù)探索了這些差異存在的解釋。
隨后，研究者再通過在訓練和測試階段使用 Bernoulli dropout 方法調查了網絡正則化（network regularization）對結果能造成的影響，但發(fā)現正則化雖然能在一定程度上提升 “采用不同起始隨機種子的網絡之表征” 的一致性，但并不能修正這些網絡間的個體差異。
最后，通過分析網絡的訓練軌跡與個體差異出現的過程并將這一過程可視化，團隊在論文中表示，神經網絡的性能與表征一致性間存在強負相關性，即網絡間的個體差異會在訓練過程中被加劇。
總而言之，這項研究主要調查了多個神經網絡在最少的實驗干預條件下是否存在個體差異，即在訓練開始前為網絡設置不同權重的隨機種子，但保持其他條件一致，并以此拓展了此前與 “神經網絡間相關性” 有關的研究。
除了這篇 這篇 研究以外，“深度學習三巨頭” 之一、著名 AI 學者 Hinton 也有過與之相關的研究，論文名為《Similarity of Neural Network Representations Revisited》，文章探討了測量深度神經網絡表示相似性的問題，感興趣的讀者可以一并進行閱讀。
Refrence：
[1]https://www.nature.com/articles/s41467-020-19632-w#citeas
[2]https://www.quantamagazine.org/deep-neural-networks-help-to-explain-living-brains-20201028/
以上就是關于人工神經網絡和深度神經網絡相關問題的回答。希望能幫到你，如有更多相關問題，您也可以聯(lián)系我們的客服進行咨詢，客服也會為您講解更多精彩的知識和內容。
推薦閱讀：
贛公網安備 50019002502384號
