機(jī)器學(xué)習(xí)中的交叉熵-創(chuàng)新互聯(lián)

文章目錄
  • 一、背景
  • 二、概率論基礎(chǔ)知識(shí)
  • 三、熵≈信息熵（應(yīng)用領(lǐng)域不同）、相對(duì)熵=KL散度、交叉熵、softmax、sigmoid、交叉熵?fù)p失
  • 四、圖像分割如何理解CrossEntropyLoss()
  • 參考資料

10年積累的成都做網(wǎng)站、網(wǎng)站設(shè)計(jì)經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問(wèn)題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先網(wǎng)站設(shè)計(jì)后付款的網(wǎng)站建設(shè)流程，更有豐滿免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。一、背景

學(xué)習(xí)機(jī)器學(xué)習(xí)過(guò)程中，總是會(huì)遇到交叉熵這個(gè)名詞。通過(guò)交叉熵?fù)p失作為損失函數(shù)來(lái)優(yōu)化模型也是學(xué)習(xí)過(guò)程中必然會(huì)遇到的場(chǎng)景。但是,每次當(dāng)和同門(mén)或者其它人遇到或者討論什么是交叉熵的時(shí)候，總是無(wú)法從0到1講出來(lái)，往往就是說(shuō)這句話：“衡量預(yù)測(cè)結(jié)果和標(biāo)簽之間的分布差異，從而優(yōu)化模型，使得我們的模型預(yù)測(cè)的結(jié)果能夠與真實(shí)結(jié)果同分布?！?/font>
本文出于此目的，想要把交叉熵從原理到機(jī)器學(xué)習(xí)中的應(yīng)用捋一遍，方便以后回顧以及和網(wǎng)上的你們進(jìn)行不斷的探討學(xué)習(xí)。

二、概率論基礎(chǔ)知識(shí)
  1. 隨機(jī)變量
    隨機(jī)變量，隨機(jī)變量可以取很多值，但和我們之前了解到的變量不同，隨機(jī)變量無(wú)法求解。隨機(jī)變量通常用大寫(xiě)字母表示，例如X，Y。這樣的目的可能就是為了和傳統(tǒng)的變量區(qū)分開(kāi)。但是我們將其稱之為變量又會(huì)對(duì)人誤導(dǎo)，它其實(shí)是一種函數(shù)，將隨機(jī)過(guò)程映射到實(shí)際數(shù)字中。比如說(shuō)我想量化一個(gè)隨機(jī)過(guò)程是，明天是否會(huì)下雨。你可以等到明天來(lái)看，也可以來(lái)量化。你可以定義一個(gè)隨機(jī)變量，如果明天下雨就是1，如果不下就是0，不一定賦值0或者1，只是0或者1更好用而已。我們可以賦值21和100，這取決于你如何定義。隨機(jī)變量和一般變量的差別要牢記，它并非傳統(tǒng)觀念意義上的變量，更像是從隨機(jī)過(guò)程（下雨或者不下雨這個(gè)隨機(jī)過(guò)程）映射到數(shù)值的函數(shù)，這個(gè)數(shù)值是隨機(jī)的，獲取我們知道概率的話，就可以將值映射為概率。
    在這里插入圖片描述
    在這里插入圖片描述
    隨機(jī)拋硬幣是一個(gè)隨機(jī)過(guò)程，每拋一次都是一次試驗(yàn)。隨機(jī)變量可以用來(lái)量化這個(gè)隨機(jī)試驗(yàn)。 簡(jiǎn)單來(lái)說(shuō)，隨機(jī)變量就是函數(shù)映射，這里講到的隨機(jī)變量的概念將會(huì)和概率結(jié)合起來(lái)，形成非常有用的知識(shí)架構(gòu)。對(duì)隨機(jī)變量的量化的意義就在這里。
    在這里插入圖片描述
    在這里插入圖片描述
    在這里插入圖片描述
    在這里插入圖片描述
    在這里插入圖片描述

離散型隨機(jī)變量X的概率分布=分布律=概率函數(shù)；
而離散型隨機(jī)變量的概率分布函數(shù)F(x)就是把概率函數(shù)累加，因此又稱之為累積概率函數(shù)；
在這里插入圖片描述

在這里插入圖片描述

三、熵≈信息熵（應(yīng)用領(lǐng)域不同）、相對(duì)熵=KL散度、交叉熵、softmax、sigmoid、交叉熵?fù)p失

在這里插入圖片描述
在這里插入圖片描述
在這里插入圖片描述
舉例加深對(duì)交叉熵的理解：
在這里插入圖片描述
從例子中可以看出，給出的正確預(yù)測(cè)概率值越高的那個(gè)預(yù)測(cè)，標(biāo)簽對(duì)預(yù)測(cè)結(jié)果的交叉熵其實(shí)是最小的。
在這里插入圖片描述
補(bǔ)充：0*任何數(shù)都是零；真是標(biāo)簽使用one hot編碼的意義就是，表示的是隨機(jī)變量（樣本）的概率分布；交叉熵對(duì)于連續(xù)變化的信號(hào)（連續(xù)型隨機(jī)變量的信號(hào)的效果是很差的，連續(xù)的一般用均方差），離散型一般用交叉熵，效果也較好。
在這里插入圖片描述
q ( c i ) q(c_i) q(ci?)代表預(yù)測(cè)為真實(shí)標(biāo)簽的概率。
在這里插入圖片描述
在這里插入圖片描述
在這里插入圖片描述

補(bǔ)充：（源自深度之眼：Line講解）
在這里插入圖片描述
在這里插入圖片描述
其中l(wèi)g和log在計(jì)算機(jī)中默認(rèn)是以10為底。

四、圖像分割如何理解CrossEntropyLoss()

其實(shí)就是像素級(jí)別的分類問(wèn)題，對(duì)每個(gè)像素分類結(jié)果求交叉熵之后，求和取平均。
參考內(nèi)容：pytorch語(yǔ)義分割中CrossEntropyLoss()損失函數(shù)的理解與分析

參考資料

bilibili一個(gè)視頻徹底搞懂交叉熵、信息熵、相對(duì)熵、KL散度、交叉熵?fù)p失、交叉熵?fù)p失函數(shù)、softmax

【公開(kāi)課-85集全】可汗學(xué)院：統(tǒng)計(jì)學(xué)（強(qiáng)烈推薦）

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級(jí)流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級(jí)服務(wù)器適合批量采購(gòu)，新人活動(dòng)首月15元起，快前往官網(wǎng)查看詳情吧

新聞名稱：機(jī)器學(xué)習(xí)中的交叉熵-創(chuàng)新互聯(lián)
分享地址：http://www.bm7419.com/article16/dgcpdg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、關(guān)鍵詞優(yōu)化、做網(wǎng)站、搜索引擎優(yōu)化、定制網(wǎng)站、標(biāo)簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)