正文

dnn深度神經網絡原理（深度神經網絡dnn是誰開發(fā)的）

發(fā)布時間：2023-04-17 18:00:57 稿源：創(chuàng)意嶺閱讀： 50

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關于dnn深度神經網絡原理的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關鍵詞，就能返回你想要的內容，越精準，寫出的就越詳細，有微信小程序端、在線網頁版、PC客戶端

官網：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內優(yōu)秀的企業(yè)，服務客戶遍布全球各地，如需了解SEO相關業(yè)務請撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、深度神經網絡是什么意思？
2、一文搞懂DNN反向傳播！
3、卷積神經網絡和深度神經網絡的區(qū)別是什么
4、CNN、RNN、DNN的內部網絡結構有什么區(qū)別？

dnn深度神經網絡原理（深度神經網絡dnn是誰開發(fā)的）

一、深度神經網絡是什么意思？

深度神經網絡是機器學習(ML, Machine Learning)領域中一種技術。

在監(jiān)督學習中，以前的多層神經網絡的問題是容易陷入局部極值點。如果訓練樣本足夠充分覆蓋未來的樣本，那么學到的多層權重可以很好的用來預測新的測試樣本。但是很多任務難以得到足夠多的標記樣本，在這種情況下，簡單的模型，比如線性回歸或者決策樹往往能得到比多層神經網絡更好的結果（更好的泛化性，更差的訓練誤差）。

擴展資料：

非監(jiān)督學習中，以往沒有有效的方法構造多層網絡。多層神經網絡的頂層是底層特征的高級表示，比如底層是像素點，上一層的結點可能表示橫線，三角。

而頂層可能有一個結點表示人臉。一個成功的算法應該能讓生成的頂層特征最大化的代表底層的樣例。如果對所有層同時訓練，時間復雜度會太高；如果每次訓練一層，偏差就會逐層傳遞。這會面臨跟上面監(jiān)督學習中相反的問題，會嚴重欠擬合。

二、一文搞懂DNN反向傳播！

本文主要整理自下面的幾篇博客：

1、深度神經網絡（DNN）反向傳播算法(BP)： https://www.cnblogs.com/pinard/p/6422831.html

2、機器學習中的矩陣、向量求導。 https://download.csdn.net/download/weixin_42074867/10405246

1、推導BPNN前需要了解的矩陣求導知識

1.1 矩陣／向量值函數對實數的導數

1.2 實值函數對矩陣／向量的導數

1.3 向量值函數對向量的求導(雅可比矩陣)

1.4 變量多次出現的求導法則

規(guī)則：若在函數表達式中，某個變量出現了多次，可以單獨計算函數對自變量的每一次出現的導數，再把結果加起來。

1.5 向量求導的鏈式法則

1.6 一一對應關系下的矩陣求導

1.7 幾個重要的結論

掌握了上面的一些基本知識之后，我們就可以順利推導出神經網絡的反向傳播算法。

2、反向傳播的推導

具體的推導過程可以參考文章開頭給出的博客，下圖是我手動推導的過程：

贊賞支持

鏈接：https://www.jianshu.com/p/ee08ed75844b

來源：

三、卷積神經網絡和深度神經網絡的區(qū)別是什么

沒有卷積神經網絡的說法，只有卷積核的說法。

電腦圖像處理的真正價值在于：一旦圖像存儲在電腦上，就可以對圖像進行各種有效的處理。如減小像素的顏色值，可以解決曝光過度的問題，模糊的圖像也可以進行銳化處理，清晰的圖像可以使用模糊處理模擬攝像機濾色鏡產生的柔和效果。

用Photoshop等圖像處理軟件，施展的魔法幾乎是無止境的。四種基本圖像處理效果是模糊、銳化、浮雕和水彩。ß這些效果是不難實現的，它們的奧妙部分是一個稱為卷積核的小矩陣。這個3*3的核含有九個系數。為了變換圖像中的一個像素，首先用卷積核中心的系數乘以這個像素值，再用卷積核中其它八個系數分別乘以像素周圍的八個像素，最后把這九個乘積相加，結果作為這個像素的值。對圖像中的每個像素都重復這一過程，對圖像進行了過濾。采用不同的卷積核，就可以得到不同的處理效果。ß用PhotoshopCS6，可以很方便地對圖像進行處理。

模糊處理——模糊的卷積核由一組系數構成，每個系數都小于1，但它們的和恰好等于1，每個像素都吸收了周圍像素的顏色，每個像素的顏色分散給了它周圍的像素，最后得到的圖像中，一些刺目的邊緣變得柔和。

銳化卷積核中心的系數大于1，周圍八個系數和的絕對值比中間系數小1，這將擴大一個像素與之周圍像素顏色之間的差異，最后得到的圖像比原來的圖像更清晰。

浮雕卷積核中的系數累加和等于零，背景像素的值為零，非背景像素的值為非零值。照片上的圖案好像金屬表面的浮雕一樣，輪廓似乎凸出于其表面。

要進行水彩處理，首先要對圖像中的色彩進行平滑處理，把每個像素的顏色值和它周圍的二十四個相鄰的像素顏色值放在一個表中，然后由小到大排序，把表中間的一個顏色值作為這個像素的顏色值。然后用銳化卷積核對圖像中的每個像素進行處理，以使得輪廓更加突出，最后得到的圖像很像一幅水彩畫。

我們把一些圖像處理技術結合起來使用，就能產生一些不常見的光學效果，例如光暈等等。

希望我能幫助你解疑釋惑。

四、CNN、RNN、DNN的內部網絡結構有什么區(qū)別？

從廣義上來說，NN(或是更美的DNN)確實可以認為包含了CNN、RNN這些具體的變種形式。在實際應用中，所謂的深度神經網絡DNN，往往融合了多種已知的結構，包括卷積層或是LSTM單元。但是就題主的意思來看，這里的DNN應該特指全連接的神經元結構，并不包含卷積單元或是時間上的關聯。

因此，題主一定要將DNN、CNN、RNN等進行對比，也未嘗不可。其實，如果我們順著神經網絡技術發(fā)展的脈絡，就很容易弄清這幾種網絡結構發(fā)明的初衷，和他們之間本質的區(qū)別。神經網絡技術起源于上世紀五、六十年代，當時叫感知機(perceptron)，擁有輸入層、輸出層和一個隱含層。輸入的特征向量通過隱含層變換達到輸出層，在輸出層得到分類結果。

早期感知機的推動者是Rosenblatt。(扯一個不相關的：由于計算技術的落后，當時感知器傳輸函數是用線拉動變阻器改變電阻的方法機械實現的，腦補一下科學家們扯著密密麻麻的導線的樣子…)但是，Rosenblatt的單層感知機有一個嚴重得不能再嚴重的問題，即它對稍復雜一些的函數都無能為力(比如最為典型的“異或”操作)。

連異或都不能擬合，你還能指望這貨有什么實際用途么。隨著數學的發(fā)展，這個缺點直到上世紀八十年代才被Rumelhart、Williams、Hinton、LeCun等人(反正就是一票大牛)發(fā)明的多層感知機(multilayer perceptron)克服。多層感知機，顧名思義，就是有多個隱含層的感知機。

dnn深度神經網絡原理（深度神經網絡dnn是誰開發(fā)的）