pytorch梯度裁剪的原理是什么

本篇內(nèi)容主要講解“pytorch梯度裁剪的原理是什么”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學(xué)習(xí)“pytorch梯度裁剪的原理是什么”吧!

創(chuàng)新互聯(lián)公司公司2013年成立，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項目成都網(wǎng)站設(shè)計、成都網(wǎng)站制作網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元寶安做網(wǎng)站,已為上家服務(wù),為寶安各地企業(yè)和個人服務(wù),聯(lián)系電話:18982081108

既然在BP過程中會產(chǎn)生梯度消失/爆炸（就是偏導(dǎo)無限接近0，導(dǎo)致長時記憶無法更新），那么最簡單粗暴的方法，設(shè)定閾值，當梯度小于/大于閾值時，更新的梯度為閾值，如下圖所示：

1、梯度裁剪原理

優(yōu)點：簡單粗暴
缺點：很難找到滿意的閾值

2、nn.utils.clip_grad_norm(parameters, max_norm, norm_type=2)

這個函數(shù)是根據(jù)參數(shù)的范數(shù)來衡量的

Parameters:

• parameters(Iterable[Variable]) – 一個基于變量的迭代器，會進行歸一化（原文：an iterable of Variables that will have gradients normalized）

• max_norm(float or int) – 梯度的最大范數(shù)

• norm_type(float or int) – 規(guī)定范數(shù)的類型，默認為L2

Returns:參數(shù)的總體范數(shù)（作為單個向量來看）

到此，相信大家對“pytorch梯度裁剪的原理是什么”有了更深的了解，不妨來實際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進入相關(guān)頻道進行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

文章標題：pytorch梯度裁剪的原理是什么
網(wǎng)站鏈接：http://bm7419.com/article4/pcdsoe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)網(wǎng)站建設(shè)、做網(wǎng)站、小程序開發(fā)、靜態(tài)網(wǎng)站、移動網(wǎng)站建設(shè)、手機網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)