IBM人工智能芯片的新進(jìn)展-創(chuàng)新互聯(lián)

來源：內(nèi)容由半導(dǎo)體行業(yè)觀察（ID：icbank）編譯自「Venturebeat」

創(chuàng)新互聯(lián)公司長(zhǎng)期為千余家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為鄂州企業(yè)提供專業(yè)的網(wǎng)站制作、網(wǎng)站建設(shè)，鄂州網(wǎng)站改版等技術(shù)服務(wù)。擁有十年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。

本文約 1142字，建議閱讀 4分鐘。

本文介紹IBM蘇黎世實(shí)驗(yàn)室基于相變存儲(chǔ)器的技術(shù)，開發(fā)出了一種能同時(shí)能高實(shí)現(xiàn)能源效率和高精度的機(jī)器學(xué)習(xí)方案。

IBM蘇黎世實(shí)驗(yàn)室的研究人員本周在Nature Communications上發(fā)表了一篇論文。在文中他們聲稱，基于相變存儲(chǔ)器的技術(shù)，他們已經(jīng)開發(fā)出了一種能同時(shí)能高實(shí)現(xiàn)能源效率和高精度的機(jī)器學(xué)習(xí)方案。這是一種使用基于電阻的存儲(chǔ)設(shè)備來實(shí)現(xiàn)內(nèi)存內(nèi)計(jì)算的方法，它們的方法彌補(bǔ)了存儲(chǔ)和計(jì)算數(shù)據(jù)分開的方案的缺陷，并在此過程中大大降低了功耗。

文章表示，許多現(xiàn)有的AI推理方案在物理上拆分了內(nèi)存和處理單元，導(dǎo)致AI模型存儲(chǔ)在片外內(nèi)存中。這會(huì)增加計(jì)算開銷，因?yàn)楸仨氃诟鱾€(gè)單元之間對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)移，這會(huì)減慢處理速度并增加用電量。

IBM的技術(shù)表面上解決了相變存儲(chǔ)器的問題，相變存儲(chǔ)器是一種非易失性存儲(chǔ)器，比常用的閃存技術(shù)要快。這項(xiàng)工作如果被證明具有可擴(kuò)展性，則可以為在無人機(jī)，機(jī)器人，移動(dòng)設(shè)備和其他受計(jì)算限制的設(shè)備中運(yùn)行AI的強(qiáng)大硬件鋪平道路。

正如IBM團(tuán)隊(duì)所解釋的那樣，相變存儲(chǔ)設(shè)備面臨的挑戰(zhàn)是它趨向于引入計(jì)算誤差（computational inaccuracy）。那是因?yàn)樗举|(zhì)上是模擬的。由于可變性以及讀寫電導(dǎo)噪聲，其精度受到限制。

研究提出的解決方案需要在軟件中的AI模型訓(xùn)練期間注入額外的噪聲，以提高模型的彈性。結(jié)果表明它是成功的。在將訓(xùn)練后的權(quán)重（即，用于轉(zhuǎn)換輸入數(shù)據(jù)的參數(shù)）映射到相變存儲(chǔ)器組件后，加入額外噪音在流行的CIFAR-19 數(shù)據(jù)集可以把訓(xùn)練ResNet模型精度提升到93.7%，而ImageNet的精度可以做到71.6%.

此外，在將特定模型的權(quán)重映射到原型芯片中的723,444個(gè)相變存儲(chǔ)設(shè)備上之后，在單天的過測(cè)試程中，精度保持在92.6％以上。研究人員聲稱這是一個(gè)記錄。

為了進(jìn)一步提高精度隨時(shí)間的保持性，該研究的合著者還開發(fā)了一種補(bǔ)償技術(shù)，該技術(shù)可以在推理過程中定期校正激活函數(shù)（確定模型輸出的方程式）。他們說，這導(dǎo)致硬件精度提高到93.5％。

同時(shí)，該團(tuán)隊(duì)使用模擬相變存儲(chǔ)組件對(duì)訓(xùn)練機(jī)器學(xué)習(xí)模型進(jìn)行了實(shí)驗(yàn)。報(bào)告稱，他們使用混合精度架構(gòu)在幾種類型的小規(guī)模模型上實(shí)現(xiàn)了“軟件等效”的準(zhǔn)確性，這些模型包括多層感知器，卷積神經(jīng)網(wǎng)絡(luò)，長(zhǎng)期短期記憶網(wǎng)絡(luò)和生成對(duì)抗網(wǎng)絡(luò)。他們最近在《神經(jīng)科學(xué)前沿》上發(fā)表的一項(xiàng)研究中詳細(xì)介紹了訓(xùn)練實(shí)驗(yàn)。

IBM在該領(lǐng)域的最新工作是在引入用于AI訓(xùn)練的相變存儲(chǔ)芯片之后。但據(jù)報(bào)道,公司的這項(xiàng)技術(shù)仍處于研究階段的同時(shí)，公司研究人員證明了該系統(tǒng)可以將權(quán)重?cái)?shù)據(jù)存儲(chǔ)為電荷，每平方毫米的計(jì)算量是圖形卡的100倍，而功耗卻要低280倍。

IBM表示：“在一個(gè)越來越多應(yīng)用（包括物聯(lián)網(wǎng)電池供電的設(shè)備和自動(dòng)駕駛汽車）向AI邁進(jìn)的時(shí)代，快速，低功率且可靠的DNN推理引擎是非常有吸引力.

在一份聲明中他們表示。我們正在研究中的AI硬件加速器架構(gòu)在支持DNN訓(xùn)練和推理方面巨大潛力。”

—完—

/tupian/20230522/p

分享名稱：IBM人工智能芯片的新進(jìn)展-創(chuàng)新互聯(lián)
網(wǎng)站網(wǎng)址：http://bm7419.com/article32/cecjpc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供域名注冊(cè)、網(wǎng)站設(shè)計(jì)、商城網(wǎng)站、ChatGPT、營銷型網(wǎng)站建設(shè)、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)