神經(jīng)網(wǎng)絡(luò)綜述

人工智能、機(jī)器學(xué)習(xí)與深度學(xué)習(xí)關(guān)系如圖 1所示。在深度學(xué)習(xí)中，這些分層表示幾乎總是通過叫作神經(jīng)網(wǎng)絡(luò)（ neural network）的模型來學(xué)習(xí)得到的。以下主要討論神經(jīng)網(wǎng)絡(luò)的分類? ? ?

??

圖 1. 人工智能、機(jī)器學(xué)習(xí)與深度學(xué)習(xí)

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）簡稱神經(jīng)網(wǎng)絡(luò)(NN)，是基于生物學(xué)中神經(jīng)網(wǎng)絡(luò)的基本原理，在理解和抽象了人腦結(jié)構(gòu)和外界刺激響應(yīng)機(jī)制后，以網(wǎng)絡(luò)拓?fù)渲R(shí)為理論基礎(chǔ)，模擬人腦的神經(jīng)系統(tǒng)對復(fù)雜信息的處理機(jī)制的一種數(shù)學(xué)模型。該模型以并行分布的處理能力、高容錯(cuò)性、智能化和自學(xué)習(xí)等能力為特征，將信息的加工和存儲(chǔ)結(jié)合在一起，以其獨(dú)特的知識(shí)表示方式和智能化的自適應(yīng)學(xué)習(xí)能力，引起各學(xué)科領(lǐng)域的關(guān)注。它實(shí)際上是一個(gè)有大量簡單元件相互連接而成的復(fù)雜網(wǎng)絡(luò)，具有高度的非線性，能夠進(jìn)行復(fù)雜的邏輯作和非線性關(guān)系實(shí)現(xiàn)的系統(tǒng)。

?

可以從不同的角度對人工神經(jīng)網(wǎng)絡(luò)進(jìn)行分類

?

所謂單層前向網(wǎng)絡(luò)是指擁有的計(jì)算節(jié)點(diǎn)（神經(jīng)元）是“單層”的，如圖 2所示。這里表示源節(jié)點(diǎn)個(gè)數(shù)的“輸入層”被看做一層神經(jīng)元，因?yàn)樵摗拜斎雽印辈痪哂袌?zhí)行計(jì)算的功能。

圖 2. 單層前向網(wǎng)絡(luò)

?

?

前饋神經(jīng)網(wǎng)絡(luò)(feedforward neural network，F(xiàn)NN)，如圖 3所示。

圖 3. 多層前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

多層前向網(wǎng)絡(luò)與單層前向網(wǎng)絡(luò)的區(qū)別在于：多層前向網(wǎng)絡(luò)含有一個(gè)或更多的隱含層，其中計(jì)算節(jié)點(diǎn)被相應(yīng)地稱為隱含神經(jīng)元或隱含單元，如圖 4所示

圖 4. 多層前向網(wǎng)絡(luò)

?

感知器（Perceptron）由兩層神經(jīng)元組成。如圖 5所示，輸入層接收外界輸入信號(hào)后傳遞給輸出層，輸出層是M-P神經(jīng)元，也稱為“閾值邏輯單元”。 主要用于分類。

?

?

圖 5. 兩個(gè)輸入神經(jīng)元的感知機(jī)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

優(yōu)點(diǎn)：感知器模型簡單易于實(shí)現(xiàn)。

缺點(diǎn)：僅能解決線性可分問題。

徑向基函數(shù) RBF 神經(jīng)網(wǎng)絡(luò)（(Radial Basis Function，RBF）是一個(gè)只有一個(gè)隱藏層的三層前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它與前向網(wǎng)絡(luò)相比最大的不同在于，隱藏層得轉(zhuǎn)換函數(shù)是局部響應(yīng)的高斯函數(shù)，而以前的前向網(wǎng)絡(luò)、轉(zhuǎn)換函數(shù)都是全局響應(yīng)的函數(shù)。由于這樣的不同，如果要實(shí)現(xiàn)同一個(gè)功能，RBF 網(wǎng)絡(luò)的神經(jīng)元個(gè)數(shù)就可能要比前向 BP 網(wǎng)絡(luò)的神經(jīng)元個(gè)數(shù)要多。 但是，RBF 網(wǎng)絡(luò)所需要的訓(xùn)練時(shí)間卻比前向 BP 網(wǎng)絡(luò)的要少。

主要功能：圖像處理，語音識(shí)別，時(shí)間系列預(yù)測，雷達(dá)原點(diǎn)定位，醫(yī)療診斷，錯(cuò)誤處理檢測，模式識(shí)別等。RBF網(wǎng)絡(luò)用得最多之處是用于分類，在分類之中，最廣的還是模式識(shí)別問題，次之是時(shí)間序列分析問題。

神經(jīng)網(wǎng)絡(luò)有很強(qiáng)的非線性擬合能力，可映射任意復(fù)雜的非線性關(guān)系，而且學(xué)習(xí)規(guī)則簡單，便于計(jì)算機(jī)實(shí)現(xiàn)。具有很強(qiáng)的魯棒性、記憶能力、非線性映射能力以及強(qiáng)大的自學(xué)習(xí)能力，因此有很大的應(yīng)用市場。

優(yōu)點(diǎn)：

局限性：

4.2.1.1 廣義回歸神經(jīng)網(wǎng)絡(luò)(General Regression Neural Network，GPNN)

徑向基神經(jīng)元和線性神經(jīng)元可以建立廣義回歸神經(jīng)網(wǎng)絡(luò)（圖 6），它是徑RBF網(wǎng)絡(luò)的一種變化形式，經(jīng)常用于函數(shù)逼近。在某些方面比RBF網(wǎng)絡(luò)更具優(yōu)勢。GRNN與PNN一樣也是一個(gè)四層的網(wǎng)絡(luò)結(jié)構(gòu):輸入層、模式層、求和層、輸出層。

圖 6. 廣義回歸神經(jīng)網(wǎng)絡(luò)

?

?

4.2.1.2 概率神經(jīng)網(wǎng)絡(luò)(Probabilistic Neural Network，PNN)

徑向基神經(jīng)元和競爭神經(jīng)元還可以組成概率神經(jīng)網(wǎng)絡(luò)。PNN也是RBF的一種變化形式，結(jié)構(gòu)簡單訓(xùn)練快捷，特別適合于模式分類問題的解決。理論基礎(chǔ)是貝葉斯最小風(fēng)險(xiǎn)準(zhǔn)則，即是貝葉斯決策理論。

結(jié)構(gòu)：由輸入層、隱含層、求和層、輸出層組成。也把隱含層稱為模式層，把求和層叫做競爭層，如圖 7所示。

?

圖 7. PNN網(wǎng)絡(luò)結(jié)構(gòu)

?

第一層為輸入層，用于接收來自訓(xùn)練樣本的值，將數(shù)據(jù)傳遞給隱含層，神經(jīng)元個(gè)數(shù)與輸入向量長度相等。

第二層隱含層是徑向基層，每一個(gè)隱含層的神經(jīng)元節(jié)點(diǎn)擁有一個(gè)中心，該層接收輸入層的樣本輸入，計(jì)算輸入向量與中心的距離，最后返回一個(gè)標(biāo)量值，神經(jīng)元個(gè)數(shù)與輸入訓(xùn)練樣本個(gè)數(shù)相同。

?

強(qiáng)化多層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，必須引入算法，其中最成功的是誤差逆?zhèn)鞑ニ惴ǎ˙ack Propagation，簡稱BP算法）。BP算法不僅用于多層前饋神經(jīng)網(wǎng)絡(luò)，還可以用于訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)。解決了多層神經(jīng)網(wǎng)絡(luò)隱含層連接權(quán)學(xué)習(xí)問題，并在數(shù)學(xué)上給出了完整推導(dǎo)。人們把采用這種算法進(jìn)行誤差校正的多層前饋網(wǎng)絡(luò)稱為BP神經(jīng)網(wǎng)絡(luò)。

BP神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)主要四個(gè)方面的應(yīng)用：

優(yōu)點(diǎn)

局限性

全連接神經(jīng)網(wǎng)絡(luò)(fully connected neural network)，顧名思義，就是相鄰兩層之間任意兩個(gè)節(jié)點(diǎn)之間都有連接。全連接神經(jīng)網(wǎng)絡(luò)是最為普通的一種模型（比如和CNN相比），由于是全連接，所以會(huì)有更多的權(quán)重值和連接，因此也意味著占用更多的內(nèi)存和計(jì)算。

如定義了一個(gè)兩層的全連接神經(jīng)網(wǎng)絡(luò)。

?

圖 8. 兩層全連接神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)CNN（Convolutional Neural Networks, CNN）可以應(yīng)用在場景分類，圖像分類，現(xiàn)在還可以應(yīng)用到自然語言處理(NLP)方面的很多問題，比如句子分類等。

優(yōu)點(diǎn)：

線性神經(jīng)網(wǎng)絡(luò)最典型的例子是自適應(yīng)線性元件（Adaptive Linear Element，Adaline）。自適應(yīng)線性元件 20 世紀(jì) 50 年代末由 Widrow 和 Hoff 提出，主要用途是通過線性逼近一個(gè)函數(shù)式而進(jìn)行模式聯(lián)想以及信號(hào)濾波、預(yù)測、模型識(shí)別和控制等。

?

主要功能：

?

優(yōu)點(diǎn)：線性神經(jīng)網(wǎng)絡(luò)只能反應(yīng)輸入和輸出樣本向量空間的線性映射關(guān)系。由于線性神經(jīng)網(wǎng)絡(luò)的誤差曲面是一個(gè)多維拋物面，所以在學(xué)習(xí)速率足夠小的情況下，對于基于最小二乘梯度下降原理進(jìn)行訓(xùn)練的神經(jīng)網(wǎng)絡(luò)總是可以找到一個(gè)最優(yōu)解。

局限性：線性神經(jīng)網(wǎng)絡(luò)的訓(xùn)練并不能一定總能達(dá)到零誤差。線性神經(jīng)網(wǎng)絡(luò)的訓(xùn)練性能要受到網(wǎng)絡(luò)規(guī)模、訓(xùn)練集大小的限制。

?

線性神經(jīng)網(wǎng)絡(luò)與感知器的主要區(qū)別：

?

?

圖 9. 線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

?

若網(wǎng)絡(luò)中包含多個(gè)神經(jīng)元節(jié)點(diǎn)，就能形成多個(gè)輸出，這種線性神經(jīng)網(wǎng)絡(luò)叫Madaline神經(jīng)網(wǎng)絡(luò)。

?

圖 10. Madaline結(jié)構(gòu)圖

Madaline 可以用一種間接的方式解決線性不可分的問題，方法是用多個(gè)線性函數(shù)對區(qū)域進(jìn)行劃分，然后對各個(gè)神經(jīng)元的輸出做邏輯運(yùn)算。如圖所示，Madaline 用兩條直線實(shí)現(xiàn)了異或邏輯。

反饋網(wǎng)絡(luò)是指在網(wǎng)絡(luò)中至少含有一個(gè)反饋回路的神經(jīng)網(wǎng)絡(luò)。反饋網(wǎng)絡(luò)可以包含一個(gè)單層神經(jīng)元，其中每個(gè)神經(jīng)元將自身的輸出信號(hào)反饋給其他所有神經(jīng)元的輸入反饋神經(jīng)網(wǎng)絡(luò)中神經(jīng)元不但可以接收其他神經(jīng)元的信號(hào)，而且可以接收自己的反饋信號(hào)。和前饋神經(jīng)網(wǎng)絡(luò)相比，反饋神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元具有記憶功能，在不同時(shí)刻具有不同的狀態(tài)。反饋神經(jīng)網(wǎng)絡(luò)中的信息傳播可以是單向也可以是雙向傳播，因此可以用一個(gè)有向循環(huán)圖或者無向圖來表示。

?

與前饋神經(jīng)網(wǎng)絡(luò)不同"遞歸神經(jīng)網(wǎng)絡(luò)" (recurrent neural networks)允許網(wǎng)絡(luò)中出現(xiàn)環(huán)形結(jié)構(gòu)，從而可讓一些神經(jīng)元的輸出反饋回來作為輸入信號(hào).這樣的結(jié)構(gòu)與信息反饋過程，使得網(wǎng)絡(luò)在 t 時(shí)刻的輸出狀態(tài)不僅與 t 時(shí)刻的輸入有關(guān)，還與 t - 1 時(shí)刻的網(wǎng)絡(luò)狀態(tài)有關(guān)，從而能處理與時(shí)間有關(guān)的動(dòng)態(tài)變化。

?

?

圖 11. Elman網(wǎng)絡(luò)結(jié)構(gòu)

基本的Elman伸進(jìn)網(wǎng)絡(luò)由輸入層、隱含層、連接層、輸出層組成。與BP網(wǎng)絡(luò)相比，在結(jié)構(gòu)上了多了一個(gè)連接層，用于構(gòu)成局部反饋。

特點(diǎn)

?

主要應(yīng)用：Elman網(wǎng)絡(luò)主要用于信號(hào)檢測和預(yù)測方面

優(yōu)點(diǎn)：

???

一種基于能量的模型（Energy Based Model，EBM）——可用作聯(lián)想存儲(chǔ)的互連網(wǎng)絡(luò)，稱該模型為 Hopfield 網(wǎng)絡(luò)。

主要應(yīng)用：Hopfield網(wǎng)絡(luò)主要用于聯(lián)想記憶、聚類以及優(yōu)化計(jì)算等方面。

?

根據(jù)其激活函數(shù)的不同，Hopfield 神經(jīng)網(wǎng)絡(luò)有兩種：

從圖 12中可以看出每個(gè)神經(jīng)元的輸出都成為其他神經(jīng)元的輸入，每個(gè)神經(jīng)元的輸入又都來自其他神經(jīng)元。神經(jīng)元輸出的數(shù)據(jù)經(jīng)過其他神經(jīng)元之后最終又反饋給自己。

?

圖 12. Hopfield網(wǎng)絡(luò)的網(wǎng)狀結(jié)構(gòu)

局限性：

輸出值只能取0或1，分別表示神經(jīng)元的抑制和興奮狀態(tài)。如圖 13所示輸出神經(jīng)元的取值為0/1或-1/1。對于中間層，任意兩個(gè)神經(jīng)元間的連接權(quán)值為wij = wji ,神經(jīng)元的連接是對稱的。如果wij等于0，即神經(jīng)元自身無連接，則成為無自反饋的Hopfield網(wǎng)絡(luò)，如果wij != 0,則成為有自反饋的Hopfield網(wǎng)絡(luò)。但是出于穩(wěn)定性考慮，一般避免使用有自反饋的網(wǎng)絡(luò)。

?

圖 13. 離散Hopfield網(wǎng)絡(luò)

連續(xù)的Hopfield網(wǎng)絡(luò)結(jié)構(gòu)和離散的Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)相同，不同之處在于傳輸函數(shù)不是階躍函數(shù)或符號(hào)函數(shù)，而是S型的連續(xù)函數(shù)，如sigmoid函數(shù)。每個(gè)神經(jīng)元由一個(gè)運(yùn)算放大器和相關(guān)的元件組成，其輸入一方面由輸出的反饋形成，另一方面也有以電流形式從外界連接過來的輸入。

?

5.3 盒中腦模型（BSB）

盒中腦（Brain-State-in-a-Box,BSB）模型是一種節(jié)點(diǎn)之間存在橫向連接和節(jié)點(diǎn)自反饋的單層網(wǎng)絡(luò)，可以用作自聯(lián)想最鄰近分類器，并可存儲(chǔ)任何模擬向量模式。該模型是一種神經(jīng)動(dòng)力學(xué)模型，可以看作是一個(gè)有幅度限制的正反饋系統(tǒng)。 ?????

特點(diǎn)：BSB模型實(shí)際上是一種梯度下降法，在迭代的過程中，使得能量函數(shù)達(dá)到最小。

?

6 自組織神經(jīng)網(wǎng)絡(luò)

6.1 競爭神經(jīng)網(wǎng)絡(luò)

競爭型學(xué)習(xí)（compaetitive learning）是神經(jīng)網(wǎng)絡(luò)的中一種常用的無監(jiān)督學(xué)習(xí)策略，在使用該策略時(shí)，網(wǎng)絡(luò)的輸出神經(jīng)元相互競爭，每一時(shí)刻僅有一個(gè)獲勝的神經(jīng)元被激活，其他神經(jīng)元的狀態(tài)被抑制，中級(jí)機(jī)制也別稱為"勝者通吃"原則。

特點(diǎn)：

?

圖 14. 最簡單的競爭神經(jīng)網(wǎng)絡(luò)-Hamming網(wǎng)絡(luò)

自適應(yīng)諧振理論網(wǎng)絡(luò)(Adaptive Resonance Theory，ART)是一種競爭學(xué)習(xí)型神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)由比較層、識(shí)別層、識(shí)別閾和重要模塊構(gòu)成。其中，比較層負(fù)責(zé)接受輸入樣本，并將其傳遞給識(shí)別層神經(jīng)元。識(shí)別曾每個(gè)神經(jīng)元對應(yīng)一個(gè)模式類，神經(jīng)元數(shù)目可在訓(xùn)練過程中動(dòng)態(tài)增長以增加新的模式類。

?

優(yōu)點(diǎn)：課進(jìn)行增量學(xué)習(xí)（incremental Learning）或者在線學(xué)習(xí)（online learning）

?

SOM（Self-Organizing Map,自組織映射）網(wǎng)絡(luò)，是一種競爭學(xué)習(xí)型的無監(jiān)督神經(jīng)網(wǎng)絡(luò),它能將高維輸入數(shù)據(jù)映射到低維空間（通常是二維），同時(shí)保持輸入數(shù)據(jù)在高維空間的拓?fù)浣Y(jié)構(gòu)，即將高維空間中想死的樣本點(diǎn)映射到網(wǎng)絡(luò)輸出層中的鄰近神經(jīng)元。

如圖所示， SOM 網(wǎng)絡(luò)中的輸出層神經(jīng)元以矩陣方式排列在二維空間中，每個(gè)神經(jīng)元都擁有一個(gè)權(quán)向量，網(wǎng)絡(luò)在接收輸入向量后，將會(huì)確定輸出層獲勝神經(jīng)元，它決定了該輸入向量在低維空間中的位置.

?

圖 15. SOM網(wǎng)絡(luò)結(jié)構(gòu)

?

SOM的訓(xùn)練目標(biāo)：每個(gè)輸出層神經(jīng)元找到合適的權(quán)向量，以達(dá)到保持拓?fù)浣Y(jié)構(gòu)的目的

?

SOM訓(xùn)練過程：在接收到一個(gè)訓(xùn)練樣本后.每個(gè)輸出層神經(jīng)局會(huì)計(jì)算該樣本與自身攜帶的權(quán)向量之間的距離，距離最近的神經(jīng)兀成為競爭獲勝者，稱為最佳匹配單元 (best matching unit). 然后，最佳匹配單元及其鄰近神經(jīng)

元的權(quán)向量將被調(diào)整，以使得這些權(quán)向量與當(dāng)前輸入樣本的距離縮小.這個(gè)過程不斷迭代，直至收斂.

與競爭神經(jīng)網(wǎng)絡(luò)的區(qū)別和聯(lián)系

聯(lián)系

區(qū)別

一般的神經(jīng)網(wǎng)絡(luò)模型通常假定 網(wǎng)絡(luò)結(jié)構(gòu)是事先固定的，訓(xùn)練的目的是利用訓(xùn)練樣本來確定合適的連接權(quán)、 闕值等參數(shù).與此不同， 結(jié)構(gòu)自適應(yīng)網(wǎng)絡(luò)則將網(wǎng)絡(luò)結(jié)構(gòu)也當(dāng)作學(xué)習(xí)的目標(biāo)之 一，并希望能在訓(xùn)練過程中找到最利合數(shù)據(jù)特點(diǎn)的網(wǎng)絡(luò)結(jié)構(gòu)

?

級(jí)聯(lián)相關(guān) (Cascade-Correlation) 網(wǎng)絡(luò)是結(jié)構(gòu)自適應(yīng)網(wǎng)絡(luò)的重要代表。級(jí)聯(lián)相關(guān)網(wǎng)絡(luò)有兩個(gè)主要成分"級(jí)聯(lián)"和"相關(guān)" 級(jí)聯(lián)是指建立層次連接的層級(jí)結(jié)構(gòu).在開始訓(xùn)練時(shí)，網(wǎng)絡(luò)只有輸入層和輸出層，處于最小拓?fù)浣Y(jié)構(gòu);隨著訓(xùn)練的進(jìn)行，如圖 16所示，新的隱層神經(jīng)元逐漸加入，從而創(chuàng)建起層級(jí)結(jié)構(gòu). 當(dāng)新的隱層神經(jīng)元加入時(shí)，其輸入端連接權(quán)值是凍結(jié)固 定的相關(guān)是指通過最大化新神經(jīng)元的輸出與網(wǎng)絡(luò)誤差之間的相關(guān)性(correlation)來訓(xùn)練相關(guān)的參數(shù).

?

圖 16. 級(jí)聯(lián)相關(guān)網(wǎng)絡(luò)的訓(xùn)練過程。新的隱結(jié)點(diǎn)加入時(shí)，紅色連接權(quán)通過最大化新結(jié)占的輸出與網(wǎng)終誤差之間的相關(guān)性來講行訓(xùn)練。

優(yōu)缺點(diǎn)：與一般的前饋神經(jīng)網(wǎng)絡(luò)相比，級(jí)聯(lián)相關(guān)網(wǎng)絡(luò)無需設(shè)置網(wǎng)絡(luò)層數(shù)、隱層神經(jīng)元數(shù)目，且訓(xùn)練速度較快，但其在數(shù)據(jù)較小時(shí)易 陷入過擬合

?

對抗神經(jīng)網(wǎng)絡(luò)其實(shí)是兩個(gè)網(wǎng)絡(luò)的組合，可以理解為一個(gè)網(wǎng)絡(luò)生成模擬數(shù)據(jù)，另一個(gè)網(wǎng)絡(luò)判斷生成的數(shù)據(jù)是真實(shí)的還是模擬的。生成模擬數(shù)據(jù)的網(wǎng)絡(luò)要不斷優(yōu)化自己讓判別的網(wǎng)絡(luò)判斷不出來，判別的網(wǎng)絡(luò)也要不斷優(yōu)化自己讓判斷的更加精確。兩者的關(guān)系形成對抗，因此叫對抗神經(jīng)網(wǎng)絡(luò)。

結(jié)構(gòu)：GAN由generator（生成模型）和discriminator（判別式模型）兩部分構(gòu)成。 二者結(jié)合之后，經(jīng)過大量次數(shù)的迭代訓(xùn)練會(huì)使generator盡可能模擬出以假亂真的樣本，而discrimator會(huì)有更精確的鑒別真?zhèn)螖?shù)據(jù)的能力，最終整個(gè)GAN會(huì)達(dá)到所謂的納什均衡，即discriminator對于generator的數(shù)據(jù)鑒別結(jié)果為正確率和錯(cuò)誤率各占50%。

?

圖 17. GAN結(jié)構(gòu)

舉例：如果用到圖片生成上，則訓(xùn)練完成后，G可以從一段隨機(jī)數(shù)中生成逼真的圖像。G， D的主要功能是：

?

圖 18. 模型結(jié)構(gòu)如下圖所示。圖的左側(cè)是生成網(wǎng)絡(luò)，右側(cè)是判別網(wǎng)絡(luò)。

?

隨機(jī)神經(jīng)網(wǎng)絡(luò)是對神經(jīng)網(wǎng)絡(luò)引入隨機(jī)機(jī)制，認(rèn)為神經(jīng)元是按照概率的原理進(jìn)行工作的，這就是說，每個(gè)神經(jīng)元的興奮或抑制具有隨機(jī)性，其概率取決于神經(jīng)元的輸入。

?

在Hopfield網(wǎng)絡(luò)中引入隨機(jī)機(jī)制，提出了Boltzmann機(jī)，這是第一個(gè)由統(tǒng)計(jì)力學(xué)導(dǎo)出的多層學(xué)習(xí)機(jī)，可以對給定數(shù)據(jù)集的固有概率分布進(jìn)行建模，可以用于模式識(shí)別等領(lǐng)域。得此名的原因是，它將模擬退火算法反復(fù)更新網(wǎng)絡(luò)狀態(tài)，網(wǎng)絡(luò)狀態(tài)出現(xiàn)的概率服從Boltzmann分布，即最下能量狀態(tài)的概率最高，能量越大，出現(xiàn)的概率越低。

由隨機(jī)神經(jīng)元組成，神經(jīng)元分為可見神經(jīng)元和隱藏神經(jīng)元，與輸入/輸出有關(guān)的神經(jīng)元為可見神經(jīng)元，隱藏神經(jīng)元需要通過可見神經(jīng)元才能與外界交換信息。

特點(diǎn)：Boltzmann機(jī)學(xué)習(xí)的主要目的在于產(chǎn)生一個(gè)神經(jīng)網(wǎng)絡(luò)，根據(jù)Bolazmann分布對輸入模型進(jìn)行正確建模，訓(xùn)練挽留過的權(quán)值，當(dāng)其導(dǎo)出的可見神經(jīng)元狀態(tài)的概率分布和被約束時(shí)完全相同時(shí)，訓(xùn)練就完成了。

Boltzmann 機(jī)的訓(xùn)練過程：將每個(gè)訓(xùn)練樣本視為一個(gè)狀態(tài)向量，使其出現(xiàn)的概率盡可能大.標(biāo)準(zhǔn)的 Boltzmann 機(jī)是一個(gè)全連接圖，訓(xùn)練網(wǎng)絡(luò)的復(fù)雜度很高，這使其難以用于解決現(xiàn)實(shí)任務(wù). 現(xiàn)實(shí)中 常采用受限Boltzmann機(jī)(Restricted Boltzmann Machine，簡稱 RBM) . 如圖 19所示，受限 Boltzmann 機(jī)僅保留顯層與隱層之間的連接 從而將 Boltzmann 機(jī)結(jié)構(gòu)由完全圖簡化為二部圖。

?

圖 19. Boltzmann機(jī)與受限Boltzmann機(jī)