-
當(dāng)前位置:首頁(yè) > 創(chuàng)意學(xué)院 > 技術(shù) > 專題列表 > 正文
BP神經(jīng)網(wǎng)絡(luò)算法基本原理(bp神經(jīng)網(wǎng)絡(luò)算法基本原理及應(yīng)用)
大家好!今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于BP神經(jīng)網(wǎng)絡(luò)算法基本原理的問(wèn)題,以下是小編對(duì)此問(wèn)題的歸納整理,讓我們一起來(lái)看看吧。
開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具,一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等
只需要輸入關(guān)鍵詞,就能返回你想要的內(nèi)容,越精準(zhǔn),寫(xiě)出的就越詳細(xì),有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端
官網(wǎng):https://ai.de1919.com。
創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè),服務(wù)客戶遍布全球各地,如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043,或添加微信:1454722008
本文目錄:
一、神經(jīng)網(wǎng)絡(luò)權(quán)值怎么算
net.iw{1,1}=W0;net.b{1}=B0;
net.iw{1,1}=W0;輸入層和隱層間的權(quán)值,net.b{1}=B0輸入層和隱層間的閾值.
BP(back propagation)神經(jīng)網(wǎng)絡(luò)是1986年由Rumelhart和McClelland為首的科學(xué)家提出的概念,是一種按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò),是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)。
BP神經(jīng)網(wǎng)絡(luò)具有任意復(fù)雜的模式分類能力和優(yōu)良的多維函數(shù)映射能力,解決了簡(jiǎn)單感知器不能解決的異或(Exclusive OR,XOR)和一些其他問(wèn)題。從結(jié)構(gòu)上講,BP網(wǎng)絡(luò)具有輸入層、隱藏層和輸出層;
從本質(zhì)上講,BP算法就是以網(wǎng)絡(luò)誤差平方為目標(biāo)函數(shù)、采用梯度下降法來(lái)計(jì)算目標(biāo)函數(shù)的最小值。
擴(kuò)展資料:
BP神經(jīng)網(wǎng)絡(luò)無(wú)論在網(wǎng)絡(luò)理論還是在性能方面已比較成熟。其突出優(yōu)點(diǎn)就是具有很強(qiáng)的非線性映射能力和柔性的網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)絡(luò)的中間層數(shù)、各層的神經(jīng)元個(gè)數(shù)可根據(jù)具體情況任意設(shè)定,并且隨著結(jié)構(gòu)的差異其性能也有所不同。但是BP神經(jīng)網(wǎng)絡(luò)也存在以下的一些主要缺陷。
①學(xué)習(xí)速度慢,即使是一個(gè)簡(jiǎn)單的問(wèn)題,一般也需要幾百次甚至上千次的學(xué)習(xí)才能收斂。
②容易陷入局部極小值。
③網(wǎng)絡(luò)層數(shù)、神經(jīng)元個(gè)數(shù)的選擇沒(méi)有相應(yīng)的理論指導(dǎo)。
④網(wǎng)絡(luò)推廣能力有限。
對(duì)于上述問(wèn)題,目前已經(jīng)有了許多改進(jìn)措施,研究最多的就是如何加速網(wǎng)絡(luò)的收斂速度和盡量避免陷入局部極小值的問(wèn)題。
參考資料來(lái)源:百度百科-BP神經(jīng)網(wǎng)絡(luò)
二、bp代表什么呀
BP神經(jīng)網(wǎng)絡(luò) BP (Back Propagation)神經(jīng)網(wǎng)絡(luò)是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法,全稱基于誤差反向傳播算法的人工神經(jīng)網(wǎng)絡(luò)。
如圖所示拓?fù)浣Y(jié)構(gòu)的單隱層前饋網(wǎng)絡(luò),一般稱為三層前饋網(wǎng)或三層感知器,即:輸入層、中間層(也稱隱層)和輸出層。它的特點(diǎn)是:各層神經(jīng)元僅與相鄰層神經(jīng)元之間相互全連接,同層內(nèi)神經(jīng)元之間無(wú)連接,各層神經(jīng)元之間無(wú)反饋連接,夠成具有層次結(jié)構(gòu)的前饋型神經(jīng)網(wǎng)絡(luò)系統(tǒng)。單計(jì)算層前饋神經(jīng)網(wǎng)絡(luò)只能求解線性可分問(wèn)題,能夠求解非線性問(wèn)題的網(wǎng)絡(luò)必須是具有隱層的多層神經(jīng)網(wǎng)絡(luò)。
在人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史中,很長(zhǎng)一段時(shí)間里沒(méi)有找到隱層的連接權(quán)值調(diào)整問(wèn)題的有效算法。直到誤差反向傳播算法(BP算法)的提出,成功地解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡(luò)權(quán)重調(diào)整問(wèn)題。
BP (Back Propagation)神經(jīng)網(wǎng)絡(luò),即誤差反傳誤差反向傳播算法的學(xué)習(xí)過(guò)程,由信息的正向傳播和誤差的反向傳播兩個(gè)過(guò)程組成。輸入層各神經(jīng)元負(fù)責(zé)接收來(lái)自外界的輸入信息,并傳遞給中間層各神經(jīng)元;中間層是內(nèi)部信息處理層,負(fù)責(zé)信息變換,根據(jù)信息變化能力的需求,中間層可以設(shè)計(jì)為單隱層或者多隱層結(jié)構(gòu);最后一個(gè)隱層傳遞到輸出層各神經(jīng)元的信息,經(jīng)進(jìn)一步處理后,完成一次學(xué)習(xí)的正向傳播處理過(guò)程,由輸出層向外界輸出信息處理結(jié)果。當(dāng)實(shí)際輸出與期望輸出不符時(shí),進(jìn)入誤差的反向傳播階段。誤差通過(guò)輸出層,按誤差梯度下降的方式修正各層權(quán)值,向隱層、輸入層逐層反傳。周而復(fù)始的信息正向傳播和誤差反向傳播過(guò)程,是各層權(quán)值不斷調(diào)整的過(guò)程,也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過(guò)程,此過(guò)程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度,或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。
神經(jīng)網(wǎng)絡(luò)
神經(jīng)網(wǎng)絡(luò)是:
思維學(xué)普遍認(rèn)為,人類大腦的思維分為抽象(邏輯)思維、形象(直觀)思維和靈感(頓悟)思維三種基本方式。
邏輯性的思維是指根據(jù)邏輯規(guī)則進(jìn)行推理的過(guò)程;它先將信息化成概念,并用符號(hào)表示,然后,根據(jù)符號(hào)運(yùn)算按串行模式進(jìn)行邏輯推理;這一過(guò)程可以寫(xiě)成串行的指令,讓計(jì)算機(jī)執(zhí)行。然而,直觀性的思維是將分布式存儲(chǔ)的信息綜合起來(lái),結(jié)果是忽然間產(chǎn)生想法或解決問(wèn)題的辦法。這種思維方式的根本之點(diǎn)在于以下兩點(diǎn):1.信息是通過(guò)神經(jīng)元上的興奮模式分布儲(chǔ)在網(wǎng)絡(luò)上;2.信息處理是通過(guò)神經(jīng)元之間同時(shí)相互作用的動(dòng)態(tài)過(guò)程來(lái)完成的。
人工神經(jīng)網(wǎng)絡(luò)就是模擬人思維的第二種方式。這是一個(gè)非線性動(dòng)力學(xué)系統(tǒng),其特色在于信息的分布式存儲(chǔ)和并行協(xié)同處理。雖然單個(gè)神經(jīng)元的結(jié)構(gòu)極其簡(jiǎn)單,功能有限,但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)的行為卻是極其豐富多彩的。
神經(jīng)網(wǎng)絡(luò)的研究?jī)?nèi)容相當(dāng)廣泛,反映了多學(xué)科交叉技術(shù)領(lǐng)域的特點(diǎn)。目前,主要的研究工作集中在以下幾個(gè)方面:
(1)生物原型研究。從生理學(xué)、心理學(xué)、解剖學(xué)、腦科學(xué)、病理學(xué)等生物科學(xué)方面研究神經(jīng)細(xì)胞、神經(jīng)網(wǎng)絡(luò)、神經(jīng)系統(tǒng)的生物原型結(jié)構(gòu)及其功能機(jī)理。
(2)建立理論模型。根據(jù)生物原型的研究,建立神經(jīng)元、神經(jīng)網(wǎng)絡(luò)的理論模型。其中包括概念模型、知識(shí)模型、物理化學(xué)模型、數(shù)學(xué)模型等。
(3)網(wǎng)絡(luò)模型與算法研究。在理論模型研究的基礎(chǔ)上構(gòu)作具體的神經(jīng)網(wǎng)絡(luò)模型,以實(shí)現(xiàn)計(jì)算機(jī)饃擬或準(zhǔn)備制作硬件,包括網(wǎng)絡(luò)學(xué)習(xí)算法的研究。這方面的工作也稱為技術(shù)模型研究。
(4)人工神經(jīng)網(wǎng)絡(luò)應(yīng)用系統(tǒng)。在網(wǎng)絡(luò)模型與算法研究的基礎(chǔ)上,利用人工神經(jīng)網(wǎng)絡(luò)組成實(shí)際的應(yīng)用系統(tǒng),例如,完成某種信號(hào)處理或模式識(shí)別的功能、構(gòu)作專家系統(tǒng)、制成機(jī)器人等等。
縱觀當(dāng)代新興科學(xué)技術(shù)的發(fā)展歷史,人類在征服宇宙空間、基本粒子,生命起源等科學(xué)技術(shù)領(lǐng)域的進(jìn)程中歷經(jīng)了崎嶇不平的道路。我們也會(huì)看到,探索人腦功能和神經(jīng)網(wǎng)絡(luò)的研究將伴隨著重重困難的克服而日新月異。
【人工神經(jīng)網(wǎng)絡(luò)的工作原理】
人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí),然后才能工作?,F(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對(duì)手寫(xiě)“A”、“B”兩個(gè)字母的識(shí)別為例進(jìn)行說(shuō)明,規(guī)定當(dāng)“A”輸入網(wǎng)絡(luò)時(shí),應(yīng)該輸出“1”,而當(dāng)輸入為“B”時(shí),輸出為“0”。
所以網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)則應(yīng)該是:如果網(wǎng)絡(luò)作出錯(cuò)誤的的判決,則通過(guò)網(wǎng)絡(luò)的學(xué)習(xí),應(yīng)使得網(wǎng)絡(luò)減少下次犯同樣錯(cuò)誤的可能性。首先,給網(wǎng)絡(luò)的各連接權(quán)值賦予(0,1)區(qū)間內(nèi)的隨機(jī)值,將“A”所對(duì)應(yīng)的圖象模式輸入給網(wǎng)絡(luò),網(wǎng)絡(luò)將輸入模式加權(quán)求和、與門(mén)限比較、再進(jìn)行非線性運(yùn)算,得到網(wǎng)絡(luò)的輸出。在此情況下,網(wǎng)絡(luò)輸出為“1”和“0”的概率各為50%,也就是說(shuō)是完全隨機(jī)的。這時(shí)如果輸出為“1”(結(jié)果正確),則使連接權(quán)值增大,以便使網(wǎng)絡(luò)再次遇到“A”模式輸入時(shí),仍然能作出正確的判斷。
如果輸出為“0”(即結(jié)果錯(cuò)誤),則把網(wǎng)絡(luò)連接權(quán)值朝著減小綜合輸入加權(quán)值的方向調(diào)整,其目的在于使網(wǎng)絡(luò)下次再遇到“A”模式輸入時(shí),減小犯同樣錯(cuò)誤的可能性。如此操作調(diào)整,當(dāng)給網(wǎng)絡(luò)輪番輸入若干個(gè)手寫(xiě)字母“A”、“B”后,經(jīng)過(guò)網(wǎng)絡(luò)按以上學(xué)習(xí)方法進(jìn)行若干次學(xué)習(xí)后,網(wǎng)絡(luò)判斷的正確率將大大提高。這說(shuō)明網(wǎng)絡(luò)對(duì)這兩個(gè)模式的學(xué)習(xí)已經(jīng)獲得了成功,它已將這兩個(gè)模式分布地記憶在網(wǎng)絡(luò)的各個(gè)連接權(quán)值上。當(dāng)網(wǎng)絡(luò)再次遇到其中任何一個(gè)模式時(shí),能夠作出迅速、準(zhǔn)確的判斷和識(shí)別。一般說(shuō)來(lái),網(wǎng)絡(luò)中所含的神經(jīng)元個(gè)數(shù)越多,則它能記憶、識(shí)別的模式也就越多。
“人腦是如何工作的?”
“人類能否制作模擬人腦的人工神經(jīng)元?”
多少年以來(lái),人們從醫(yī)學(xué)、生物學(xué)、生理學(xué)、哲學(xué)、信息學(xué)、計(jì)算機(jī)科學(xué)、認(rèn)知學(xué)、組織協(xié)同學(xué)等各個(gè)角度企圖認(rèn)識(shí)并解答上述問(wèn)題。在尋找上述問(wèn)題答案的研究過(guò)程中,近年來(lái)逐漸形成了一個(gè)新興的多學(xué)科交叉技術(shù)領(lǐng)域,稱之為“神經(jīng)網(wǎng)絡(luò)”。神經(jīng)網(wǎng)絡(luò)的研究涉及眾多學(xué)科領(lǐng)域,這些領(lǐng)域互相結(jié)合、相互滲透并相互推動(dòng)。不同領(lǐng)域的科學(xué)家又從各自學(xué)科的興趣與特色出發(fā),提出不同的問(wèn)題,從不同的角度進(jìn)行研究。
心理學(xué)家和認(rèn)知科學(xué)家研究神經(jīng)網(wǎng)絡(luò)的目的在于探索人腦加工、儲(chǔ)存和搜索信息的機(jī)制,弄清人腦功能的機(jī)理,建立人類認(rèn)知過(guò)程的微結(jié)構(gòu)理論。
生物學(xué)、醫(yī)學(xué)、腦科學(xué)專家試圖通過(guò)神經(jīng)網(wǎng)絡(luò)的研究推動(dòng)腦科學(xué)向定量、精確和理論化體系發(fā)展,同時(shí)也寄希望于臨床醫(yī)學(xué)的新突破;信息處理和計(jì)算機(jī)科學(xué)家研究這一問(wèn)題的目的在于尋求新的途徑以解決目前不能解決或解決起來(lái)有極大困難的大量問(wèn)題,構(gòu)造更加逼近人腦功能的新一代計(jì)算機(jī)。
人工神經(jīng)網(wǎng)絡(luò)是由大量的簡(jiǎn)單基本元件——神經(jīng)元相互聯(lián)接而成的自適應(yīng)非線性動(dòng)態(tài)系統(tǒng)。每個(gè)神經(jīng)元的結(jié)構(gòu)和功能比較簡(jiǎn)單,但大量神經(jīng)元組合產(chǎn)生的系統(tǒng)行為卻非常復(fù)雜。
人工神經(jīng)網(wǎng)絡(luò)反映了人腦功能的若干基本特性,但并非生物系統(tǒng)的逼真描述,只是某種模仿、簡(jiǎn)化和抽象。
與數(shù)字計(jì)算機(jī)比較,人工神經(jīng)網(wǎng)絡(luò)在構(gòu)成原理和功能特點(diǎn)等方面更加接近人腦,它不是按給定的程序一步一步地執(zhí)行運(yùn)算,而是能夠自身適應(yīng)環(huán)境、總結(jié)規(guī)律、完成某種運(yùn)算、識(shí)別或過(guò)程控制。
人工神經(jīng)元的研究起源于腦神經(jīng)元學(xué)說(shuō)。19世紀(jì)末,在生物、生理學(xué)領(lǐng)域,Waldeger等人創(chuàng)建了神經(jīng)元學(xué)說(shuō)。人們認(rèn)識(shí)到復(fù)雜的神經(jīng)系統(tǒng)是由數(shù)目繁多的神經(jīng)元組合而成。大腦皮層包括有100億個(gè)以上的神經(jīng)元,每立方毫米約有數(shù)萬(wàn)個(gè),它們互相聯(lián)結(jié)形成神經(jīng)網(wǎng)絡(luò),通過(guò)感覺(jué)器官和神經(jīng)接受來(lái)自身體內(nèi)外的各種信息,傳遞至中樞神經(jīng)系統(tǒng)內(nèi),經(jīng)過(guò)對(duì)信息的分析和綜合,再通過(guò)運(yùn)動(dòng)神經(jīng)發(fā)出控制信息,以此來(lái)實(shí)現(xiàn)機(jī)體與內(nèi)外環(huán)境的聯(lián)系,協(xié)調(diào)全身的各種機(jī)能活動(dòng)。
神經(jīng)元也和其他類型的細(xì)胞一樣,包括有細(xì)胞膜、細(xì)胞質(zhì)和細(xì)胞核。但是神經(jīng)細(xì)胞的形態(tài)比較特殊,具有許多突起,因此又分為細(xì)胞體、軸突和樹(shù)突三部分。細(xì)胞體內(nèi)有細(xì)胞核,突起的作用是傳遞信息。樹(shù)突是作為引入輸入信號(hào)的突起,而軸突是作為輸出端的突起,它只有一個(gè)。
樹(shù)突是細(xì)胞體的延伸部分,它由細(xì)胞體發(fā)出后逐漸變細(xì),全長(zhǎng)各部位都可與其他神經(jīng)元的軸突末梢相互聯(lián)系,形成所謂“突觸”。在突觸處兩神經(jīng)元并未連通,它只是發(fā)生信息傳遞功能的結(jié)合部,聯(lián)系界面之間間隙約為(15~50)×10米。突觸可分為興奮性與抑制性兩種類型,它相應(yīng)于神經(jīng)元之間耦合的極性。每個(gè)神經(jīng)元的突觸數(shù)目正常,最高可達(dá)10個(gè)。各神經(jīng)元之間的連接強(qiáng)度和極性有所不同,并且都可調(diào)整、基于這一特性,人腦具有存儲(chǔ)信息的功能。利用大量神經(jīng)元相互聯(lián)接組成人工神經(jīng)網(wǎng)絡(luò)可顯示出人的大腦的某些特征。下面通過(guò)人工神經(jīng)網(wǎng)絡(luò)與通用的計(jì)算機(jī)工作特點(diǎn)來(lái)對(duì)比一下:
若從速度的角度出發(fā),人腦神經(jīng)元之間傳遞信息的速度要遠(yuǎn)低于計(jì)算機(jī),前者為毫秒量級(jí),而后者的頻率往往可達(dá)幾百兆赫。但是,由于人腦是一個(gè)大規(guī)模并行與串行組合處理系統(tǒng),因而,在許多問(wèn)題上可以作出快速判斷、決策和處理,其速度則遠(yuǎn)高于串行結(jié)構(gòu)的普通計(jì)算機(jī)。人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦,具有并行處理特征,可以大大提高工作速度。
人腦存貯信息的特點(diǎn)為利用突觸效能的變化來(lái)調(diào)整存貯內(nèi)容,也即信息存貯在神經(jīng)元之間連接強(qiáng)度的分布上,存貯區(qū)與計(jì)算機(jī)區(qū)合為一體。雖然人腦每日有大量神經(jīng)細(xì)胞死亡 (平均每小時(shí)約一千個(gè)),但不影響大腦的正常思維活動(dòng)。
普通計(jì)算機(jī)是具有相互獨(dú)立的存貯器和運(yùn)算器,知識(shí)存貯與數(shù)據(jù)運(yùn)算互不相關(guān),只有通過(guò)人編出的程序使之溝通,這種溝通不能超越程序編制者的預(yù)想。元器件的局部損壞及程序中的微小錯(cuò)誤都可能引起嚴(yán)重的失常。
人類大腦有很強(qiáng)的自適應(yīng)與自組織特性,后天的學(xué)習(xí)與訓(xùn)練可以開(kāi)發(fā)許多各具特色的活動(dòng)功能。如盲人的聽(tīng)覺(jué)和觸覺(jué)非常靈敏;聾啞人善于運(yùn)用手勢(shì);訓(xùn)練有素的運(yùn)動(dòng)員可以表現(xiàn)出非凡的運(yùn)動(dòng)技巧等等。
普通計(jì)算機(jī)的功能取決于程序中給出的知識(shí)和能力。顯然,對(duì)于智能活動(dòng)要通過(guò)總結(jié)編制程序?qū)⑹掷щy。
人工神經(jīng)網(wǎng)絡(luò)也具有初步的自適應(yīng)與自組織能力。在學(xué)習(xí)或訓(xùn)練過(guò)程中改變突觸權(quán)重值,以適應(yīng)周圍環(huán)境的要求。同一網(wǎng)絡(luò)因?qū)W習(xí)方式及內(nèi)容不同可具有不同的功能。人工神經(jīng)網(wǎng)絡(luò)是一個(gè)具有學(xué)習(xí)能力的系統(tǒng),可以發(fā)展知識(shí),以致超過(guò)設(shè)計(jì)者原有的知識(shí)水平。通常,它的學(xué)習(xí)訓(xùn)練方式可分為兩種,一種是有監(jiān)督或稱有導(dǎo)師的學(xué)習(xí),這時(shí)利用給定的樣本標(biāo)準(zhǔn)進(jìn)行分類或模仿;另一種是無(wú)監(jiān)督學(xué)習(xí)或稱無(wú)為導(dǎo)師學(xué)習(xí),這時(shí),只規(guī)定學(xué)習(xí)方式或某些規(guī)則,則具體的學(xué)習(xí)內(nèi)容隨系統(tǒng)所處環(huán)境 (即輸入信號(hào)情況)而異,系統(tǒng)可以自動(dòng)發(fā)現(xiàn)環(huán)境特征和規(guī)律性,具有更近似人腦的功能。
人工神經(jīng)網(wǎng)絡(luò)早期的研究工作應(yīng)追溯至本世紀(jì)40年代。下面以時(shí)間順序,以著名的人物或某一方面突出的研究成果為線索,簡(jiǎn)要介紹人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史。
1943年,心理學(xué)家W·Mcculloch和數(shù)理邏輯學(xué)家W·Pitts在分析、總結(jié)神經(jīng)元基本特性的基礎(chǔ)上首先提出神經(jīng)元的數(shù)學(xué)模型。此模型沿用至今,并且直接影響著這一領(lǐng)域研究的進(jìn)展。因而,他們兩人可稱為人工神經(jīng)網(wǎng)絡(luò)研究的先驅(qū)。
1945年馮·諾依曼領(lǐng)導(dǎo)的設(shè)計(jì)小組試制成功存儲(chǔ)程序式電子計(jì)算機(jī),標(biāo)志著電子計(jì)算機(jī)時(shí)代的開(kāi)始。1948年,他在研究工作中比較了人腦結(jié)構(gòu)與存儲(chǔ)程序式計(jì)算機(jī)的根本區(qū)別,提出了以簡(jiǎn)單神經(jīng)元構(gòu)成的再生自動(dòng)機(jī)網(wǎng)絡(luò)結(jié)構(gòu)。但是,由于指令存儲(chǔ)式計(jì)算機(jī)技術(shù)的發(fā)展非常迅速,迫使他放棄了神經(jīng)網(wǎng)絡(luò)研究的新途徑,繼續(xù)投身于指令存儲(chǔ)式計(jì)算機(jī)技術(shù)的研究,并在此領(lǐng)域作出了巨大貢獻(xiàn)。雖然,馮·諾依曼的名字是與普通計(jì)算機(jī)聯(lián)系在一起的,但他也是人工神經(jīng)網(wǎng)絡(luò)研究的先驅(qū)之一。
50年代末,F(xiàn)·Rosenblatt設(shè)計(jì)制作了“感知機(jī)”,它是一種多層的神經(jīng)網(wǎng)絡(luò)。這項(xiàng)工作首次把人工神經(jīng)網(wǎng)絡(luò)的研究從理論探討付諸工程實(shí)踐。當(dāng)時(shí),世界上許多實(shí)驗(yàn)室仿效制作感知機(jī),分別應(yīng)用于文字識(shí)別、聲音識(shí)別、聲納信號(hào)識(shí)別以及學(xué)習(xí)記憶問(wèn)題的研究。然而,這次人工神經(jīng)網(wǎng)絡(luò)的研究高潮未能持續(xù)很久,許多人陸續(xù)放棄了這方面的研究工作,這是因?yàn)楫?dāng)時(shí)數(shù)字計(jì)算機(jī)的發(fā)展處于全盛時(shí)期,許多人誤以為數(shù)字計(jì)算機(jī)可以解決人工智能、模式識(shí)別、專家系統(tǒng)等方面的一切問(wèn)題,使感知機(jī)的工作得不到重視;其次,當(dāng)時(shí)的電子技術(shù)工藝水平比較落后,主要的元件是電子管或晶體管,利用它們制作的神經(jīng)網(wǎng)絡(luò)體積龐大,價(jià)格昂貴,要制作在規(guī)模上與真實(shí)的神經(jīng)網(wǎng)絡(luò)相似是完全不可能的;另外,在1968年一本名為《感知機(jī)》的著作中指出線性感知機(jī)功能是有限的,它不能解決如異感這樣的基本問(wèn)題,而且多層網(wǎng)絡(luò)還不能找到有效的計(jì)算方法,這些論點(diǎn)促使大批研究人員對(duì)于人工神經(jīng)網(wǎng)絡(luò)的前景失去信心。60年代末期,人工神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了低潮。
另外,在60年代初期,Widrow提出了自適應(yīng)線性元件網(wǎng)絡(luò),這是一種連續(xù)取值的線性加權(quán)求和閾值網(wǎng)絡(luò)。后來(lái),在此基礎(chǔ)上發(fā)展了非線性多層自適應(yīng)網(wǎng)絡(luò)。當(dāng)時(shí),這些工作雖未標(biāo)出神經(jīng)網(wǎng)絡(luò)的名稱,而實(shí)際上就是一種人工神經(jīng)網(wǎng)絡(luò)模型。
隨著人們對(duì)感知機(jī)興趣的衰退,神經(jīng)網(wǎng)絡(luò)的研究沉寂了相當(dāng)長(zhǎng)的時(shí)間。80年代初期,模擬與數(shù)字混合的超大規(guī)模集成電路制作技術(shù)提高到新的水平,完全付諸實(shí)用化,此外,數(shù)字計(jì)算機(jī)的發(fā)展在若干應(yīng)用領(lǐng)域遇到困難。這一背景預(yù)示,向人工神經(jīng)網(wǎng)絡(luò)尋求出路的時(shí)機(jī)已經(jīng)成熟。美國(guó)的物理學(xué)家Hopfield于1982年和1984年在美國(guó)科學(xué)院院刊上發(fā)表了兩篇關(guān)于人工神經(jīng)網(wǎng)絡(luò)研究的論文,引起了巨大的反響。人們重新認(rèn)識(shí)到神經(jīng)網(wǎng)絡(luò)的威力以及付諸應(yīng)用的現(xiàn)實(shí)性。隨即,一大批學(xué)者和研究人員圍繞著 Hopfield提出的方法展開(kāi)了進(jìn)一步的工作,形成了80年代中期以來(lái)人工神經(jīng)網(wǎng)絡(luò)的研究熱潮。
三、請(qǐng)問(wèn)誰(shuí)能用簡(jiǎn)單通俗的幾句話講清楚bp算法(神經(jīng)網(wǎng)絡(luò)中的)是個(gè)什么算法?
相似歸類。例如認(rèn)定A是個(gè)好人,A其具有那些特點(diǎn),B如果具有這些特點(diǎn),B就是好人。
四、MATLAB中BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法具體是怎么樣的
BP算法的基本思想是,學(xué)習(xí)過(guò)程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過(guò)程組成。正向傳播時(shí),輸入樣本從輸入層傳入,經(jīng)各隱層逐層處理后,傳向輸出層。若輸出層的實(shí)際輸出與期望的輸出(教師信號(hào))不符,則轉(zhuǎn)入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過(guò)隱層向輸入層逐層反傳,并將誤差分?jǐn)偨o各層的所有單元,從而獲得各層單元的誤差信號(hào),此誤差信號(hào)即作為修正各單元權(quán)值的依據(jù)。這種信號(hào)正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過(guò)程,是周而復(fù)始地進(jìn)行的。權(quán)值不斷調(diào)整的過(guò)程,也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程。此過(guò)程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可接受的程度,或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。
1)正向傳播:輸入樣本->輸入層->各隱層(處理)->輸出層
注1:若輸出層實(shí)際輸出與期望輸出(教師信號(hào))不符,則轉(zhuǎn)入2)(誤差反向傳播過(guò)程)
2)誤差反向傳播:輸出誤差(某種形式)->隱層(逐層)->輸入層
其主要目的是通過(guò)將輸出誤差反傳,將誤差分?jǐn)偨o各層所有單元,從而獲得各層單元的誤差信號(hào),進(jìn)而修正各單元的權(quán)值(其過(guò)程,是一個(gè)權(quán)值調(diào)整的過(guò)程)。
注2:權(quán)值調(diào)整的過(guò)程,也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程(學(xué)習(xí)也就是這么的由來(lái),權(quán)值調(diào)整)。
具體的公式和推導(dǎo)請(qǐng)參閱相關(guān)教材,這里很難表述公式。
以上就是關(guān)于BP神經(jīng)網(wǎng)絡(luò)算法基本原理相關(guān)問(wèn)題的回答。希望能幫到你,如有更多相關(guān)問(wèn)題,您也可以聯(lián)系我們的客服進(jìn)行咨詢,客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。
推薦閱讀:
bpi設(shè)計(jì)公司(bpi照明設(shè)計(jì)公司)
杭州網(wǎng)紅直播公寓Gbp(杭州網(wǎng)紅主播公寓)
浙江醫(yī)學(xué)雜志好發(fā)表嗎(浙江醫(yī)學(xué)雜志屬于幾類)
二季度手機(jī)銷量排行榜(二季度手機(jī)銷量排行榜最新)
猜你喜歡
快手信息流廣告優(yōu)化(快手信息流廣告優(yōu)化方案)
2022自然指數(shù)年度榜單(2022自然指數(shù)年度榜單學(xué)科)
四個(gè)人帶著兩頂黑帽子(四個(gè)人帶著兩頂黑帽子打一成語(yǔ))
愛(ài)站seo查詢軟件(愛(ài)站seo查詢軟件官網(wǎng))
seo面試常見(jiàn)問(wèn)題及答案(seo面試常見(jiàn)問(wèn)題及答案大全)
新聞自由度排名中國(guó)倒數(shù)(新聞自由度全球排名)
市場(chǎng)競(jìng)爭(zhēng)戰(zhàn)略主要內(nèi)容(市場(chǎng)競(jìng)爭(zhēng)戰(zhàn)略主要內(nèi)容有哪些)