Zephyr和TensorFlowLite中的I2S語音識(shí)別是什么

Zephyr和TensorFlow Lite中的I2S語音識(shí)別是什么，相信很多沒有經(jīng)驗(yàn)的人對(duì)此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個(gè)問題。

創(chuàng)新互聯(lián)建站于2013年創(chuàng)立，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目網(wǎng)站設(shè)計(jì)制作、網(wǎng)站設(shè)計(jì)網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元張灣做網(wǎng)站,已為上家服務(wù),為張灣各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:13518219792

機(jī)器學(xué)習(xí)主要仍然在云中完成，這在很多情況下可能會(huì)導(dǎo)致不必要的延遲、過度的功耗和對(duì)無線連接可用性的依賴。由于在微控制器和FPGA（Antmicro目前大力參與的領(lǐng)域）上的機(jī)器學(xué)習(xí)領(lǐng)域的最新發(fā)展，小型設(shè)備變得足夠強(qiáng)大，可以在本地執(zhí)行機(jī)器學(xué)習(xí)任務(wù)，如圖像或聲音識(shí)別。

機(jī)器學(xué)習(xí)和FPGA

我們?cè)跈C(jī)器學(xué)習(xí)方面的經(jīng)驗(yàn)，包括創(chuàng)建復(fù)雜的人工智能算法、構(gòu)建ML/AI加速器、設(shè)計(jì)專用驅(qū)動(dòng)程序，以及提供簡(jiǎn)化ML開發(fā)的工具。雖然我們的許多人工智能工作是在高端平臺(tái)，如NVIDIA Xavier NX、谷歌Coral或Xilinx UltraScale+，但越來越多的客戶也在考慮在更小的設(shè)備上實(shí)現(xiàn)ML。

在最近與谷歌的一次合作中，我們啟用了在基于軟SoC生成框架LiteX的FPGA平臺(tái)上，運(yùn)行他們的TensorFlow Lite機(jī)器學(xué)習(xí)框架。該項(xiàng)目首次將TF Lite引入了FPGA，這意味著一組全新的嵌入式和物聯(lián)網(wǎng)設(shè)備，現(xiàn)在可以從谷歌框架的功能中獲益，因?yàn)殚_發(fā)人員可以在這些設(shè)備上，部署用于手勢(shì)和語音識(shí)別、關(guān)鍵字檢測(cè)等的ML模型。它也為使用FPGA中的專用硬件加速器進(jìn)一步優(yōu)化ML應(yīng)用，打開了大門。在TF Lite博客上的一篇文章中，我們描述了這項(xiàng)工作，并演示了在開源模擬器Renode中運(yùn)行和測(cè)試ML框架。重要的是，作為這項(xiàng)工作的一部分，我們將TF Lite Micro與Zephyr實(shí)時(shí)操作系統(tǒng)集成在一起。隨著谷歌和Facebook成為白金會(huì)員，該RTOS正在經(jīng)歷一個(gè)前所未有的增長(zhǎng)時(shí)期。與Zephyr的集成使得可以相對(duì)快速地添加新的平臺(tái)和應(yīng)用程序，如本文所示。

設(shè)置和架構(gòu)概述

這一發(fā)展使得在運(yùn)行基于LiteX的軟SoC的系統(tǒng)中執(zhí)行語音識(shí)別成為可能。

作為例子使用的設(shè)置包括一個(gè)來自Digilent的Arty A7板和Pmod I2S2。

在演示中（說明可在GitHub上找到），Pmod上的ADC（模數(shù)轉(zhuǎn)換器）芯片收集模擬信號(hào)，對(duì)其進(jìn)行采樣，將其轉(zhuǎn)換為數(shù)字信號(hào)，然后通過I2S發(fā)送至FPGA，我們擴(kuò)展的基于LiteX的IP內(nèi)核將其以PCM格式接收。然后，Zephyr驅(qū)動(dòng)程序?qū)崟r(shí)從FIFO緩沖區(qū)讀取數(shù)據(jù)，并將其提供給執(zhí)行語音識(shí)別的TF Lite應(yīng)用程序。

LiteX通過Zephyr得到聲音

要實(shí)現(xiàn)上面描述的結(jié)果，首先我們必須擴(kuò)展LiteX中的I2S接口支持，以便將其配置為master，這使得接口不僅可以播放聲音，而且可以捕獲聲音。下一步，我們開發(fā)了一個(gè)Zephyr驅(qū)動(dòng)程序，它使I2S能夠與Pmod通信，并允許CPU處理接收到的數(shù)據(jù)。我們還在TF Lite語音識(shí)別演示中編寫了一個(gè)軟件接口，用于從Zephyr驅(qū)動(dòng)程序中提取聲音并將其傳遞給神經(jīng)網(wǎng)絡(luò)。

最初的基于LiteX的FPGA IP核心只支持每樣本24位的立體聲數(shù)據(jù)，因此，作為最后的工作，我們將其擴(kuò)展為語音識(shí)別演示所需的格式，例如mono 16位。神經(jīng)網(wǎng)絡(luò)能夠識(shí)別單詞“yes”和“no”，這是演示的重點(diǎn)，并驗(yàn)證了我們的FPGA/軟件設(shè)計(jì)。

看完上述內(nèi)容，你們掌握Zephyr和TensorFlow Lite中的I2S語音識(shí)別是什么的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

本文名稱：Zephyr和TensorFlowLite中的I2S語音識(shí)別是什么
文章源于：http://bm7419.com/article10/jjcsgo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)公司、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站收錄、定制網(wǎng)站、網(wǎng)站改版、企業(yè)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)