TensorFlow如何實現(xiàn)批量歸一化-創(chuàng)新互聯(lián)

小編這次要給大家分享的是TensorFlow如何實現(xiàn)批量歸一化，文章內(nèi)容豐富，感興趣的小伙伴可以來了解一下，希望大家閱讀完這篇文章之后能夠有所收獲。

創(chuàng)新互聯(lián)成立于2013年，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項目成都網(wǎng)站設(shè)計、成都網(wǎng)站建設(shè)網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元赤坎做網(wǎng)站,已為上家服務(wù),為赤坎各地企業(yè)和個人服務(wù),聯(lián)系電話:028-86922220

批量歸一化

在對神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法中，有一種使用十分廣泛的方法——批量歸一化，使得神經(jīng)網(wǎng)絡(luò)的識別準確度得到了極大的提升。

在網(wǎng)絡(luò)的前向計算過程中，當輸出的數(shù)據(jù)不再同一分布時，可能會使得loss的值非常大，使得網(wǎng)絡(luò)無法進行計算。產(chǎn)生梯度爆炸的原因是因為網(wǎng)絡(luò)的內(nèi)部協(xié)變量轉(zhuǎn)移，即正向傳播的不同層參數(shù)會將反向訓練計算時參照的數(shù)據(jù)樣本分布改變。批量歸一化的目的，就是要大限度地保證每次的正向傳播輸出在同一分布上，這樣反向計算時參照的數(shù)據(jù)樣本分布就會與正向計算時的數(shù)據(jù)分布一樣了，保證分布的統(tǒng)一。

了解了原理，批量正則化的做法就會變得簡單，即將每一層運算出來的數(shù)據(jù)都歸一化成均值為0方差為1的標準高斯分布。這樣就會在保留樣本分布特征的同時，又消除層與層間的分布差異。在實際的應(yīng)用中，批量歸一化的收斂非常快，并且有很強的泛化能力，在一些情況下，完全可以代替前面的正則化，dropout。

批量歸一化的定義

在TensorFlow中有自帶的BN函數(shù)定義：

tf.nn.batch_normalization(x,
             maen,
             variance,
             offset,
             scale,
             variance_epsilon)

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

名稱欄目：TensorFlow如何實現(xiàn)批量歸一化-創(chuàng)新互聯(lián)
標題URL：http://bm7419.com/article0/hcgio.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、虛擬主機、響應(yīng)式網(wǎng)站、網(wǎng)站導航、微信公眾號、營銷型網(wǎng)站建設(shè)

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容