大數(shù)據(jù)開發(fā)中欠擬合、過擬合的示例分析

小編給大家分享一下大數(shù)據(jù)開發(fā)中欠擬合、過擬合的示例分析，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

創(chuàng)新互聯(lián)服務(wù)項(xiàng)目包括班戈網(wǎng)站建設(shè)、班戈網(wǎng)站制作、班戈網(wǎng)頁制作以及班戈網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，班戈網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到班戈省份的部分城市，未來相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

前言

這里先介紹一個(gè)名詞，模型容量：通俗的講，模型的容量或表達(dá)能力，是指模型擬合復(fù)雜函數(shù)的能力。當(dāng)模型的容量越大時(shí)，函數(shù)的假設(shè)空間就越大，就越有可能找到一個(gè)函數(shù)更逼近真實(shí)分布的函數(shù)模型。
注：在卷積神經(jīng)網(wǎng)絡(luò)中，模型容量通常由網(wǎng)絡(luò)層數(shù)、待優(yōu)化參數(shù)的量來衡量。

欠擬合、過擬合

（1）當(dāng)模型的容量過大時(shí)，網(wǎng)絡(luò)模型除了學(xué)習(xí)到訓(xùn)練集數(shù)據(jù)的模態(tài)之外，還把額外的觀測(cè)誤差也學(xué)習(xí)進(jìn)來，導(dǎo)致學(xué)習(xí)的模型在訓(xùn)練集上面表現(xiàn)較好，但是在未見的樣本上表現(xiàn)不佳，也就是泛化能力偏弱，我們把這種現(xiàn)象叫做過擬合(Overfitting)。
（2）當(dāng)模型的容量過小時(shí)，模型不能夠很好的學(xué)習(xí)到訓(xùn)練集數(shù)據(jù)的模態(tài)，導(dǎo)致訓(xùn)練集上表現(xiàn)不佳，同時(shí)在未見的樣本上表現(xiàn)也不佳，我們把這種現(xiàn)象叫做欠擬合(Underfitting)。

奧卡姆剃刀原理

那么在深度學(xué)習(xí)過程中，如何去選擇合適的模型的容量呢？

統(tǒng)計(jì)學(xué)習(xí)理論很難給出神經(jīng)網(wǎng)絡(luò)所需要的最小容量，但是我們卻可以根據(jù)奧卡姆剃刀原理(Occam’s razor)來指導(dǎo)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)（也就是模型容量的選擇）。

奧卡姆剃刀原理是由 14 世紀(jì)邏輯學(xué)家、圣方濟(jì)各會(huì)修士奧卡姆的威廉(William of Occam)提出的一個(gè)解決問題的法則 。用在神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)過程中，也就是說，如果兩層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)能夠很好的表達(dá)真實(shí)模型，那么三層的神經(jīng)網(wǎng)絡(luò)也能夠很好的表達(dá)，但是我們應(yīng)該優(yōu)先選擇使用更簡單的兩層神經(jīng)網(wǎng)絡(luò)，因?yàn)樗膮?shù)量更少，更容易訓(xùn)練、更容易通過較少的訓(xùn)練樣本獲得不錯(cuò)的泛化誤差。

模型設(shè)計(jì)

通過驗(yàn)證集可以判斷網(wǎng)絡(luò)模型是否過擬合或者欠擬合，從而為調(diào)整網(wǎng)絡(luò)模型的容量提供判斷依據(jù)。
對(duì)于神經(jīng)網(wǎng)絡(luò)來說，網(wǎng)絡(luò)的層數(shù)和參數(shù)量是網(wǎng)絡(luò)容量很重要的參考指標(biāo)。
因此，在模型設(shè)計(jì)過程中，解決過（欠）擬合的一般方法是：
（1）當(dāng)發(fā)現(xiàn)模型過擬合時(shí)，需要減小網(wǎng)絡(luò)的容量。可以通過減少網(wǎng)絡(luò)的層數(shù)，減少每層中網(wǎng)絡(luò)參數(shù)量的規(guī)模實(shí)現(xiàn)。
（2）當(dāng)發(fā)現(xiàn)模型欠擬合時(shí)，需要增大網(wǎng)絡(luò)的容量。可以通過增加網(wǎng)絡(luò)的層數(shù)，減少每層網(wǎng)絡(luò)參數(shù)來實(shí)現(xiàn)。

為了演示網(wǎng)絡(luò)層數(shù)對(duì)網(wǎng)絡(luò)容量的影響，我們做了一個(gè)可視化的決策邊界的而分類實(shí)驗(yàn)，實(shí)驗(yàn)效果如下：

實(shí)驗(yàn)結(jié)論：
如圖中所示，可以看到，隨著網(wǎng)絡(luò)層數(shù)的加深，學(xué)習(xí)到的模型決策邊界越來越逼近訓(xùn)練樣本，出現(xiàn)了過擬合現(xiàn)象。對(duì)于此任務(wù)，2 層的神經(jīng)網(wǎng)絡(luò)即可獲得不錯(cuò)的泛化能力，更深層數(shù)的網(wǎng)絡(luò)并沒有提升性能，反而過擬合，泛化能力變差，同時(shí)計(jì)算代價(jià)更高。

以上是“大數(shù)據(jù)開發(fā)中欠擬合、過擬合的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

文章題目：大數(shù)據(jù)開發(fā)中欠擬合、過擬合的示例分析
標(biāo)題URL：http://bm7419.com/article46/pceohg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供搜索引擎優(yōu)化、域名注冊(cè)、Google、定制開發(fā)、網(wǎng)站制作、品牌網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)