背景
使用的特定的設備進行深度學習模型的推理,該機器僅僅提供了C++封裝好的API進行模型的加載啟動與推理,模型的訓練依然是使用caffe,模型需要轉化成該設備支持的格式,模型的轉化這里就不在介紹。為了把模型的推理做成一種服務,只能上手C++,搭建HTTP服務,使得用戶通過http服務post一張圖片,服務器啟動模型推理,實現(xiàn)模型的預測,并把結果返回給客戶端。
整體框架
服務短的服務內容就是對接收的圖片進行預處理,然后進行模型的推理,目前需要做的一點就是引入HTTP服務
前期調研
對于一個C++新手,前期調研當然是先進行搜索,http server c++搜處理的結果也是五花八門,有的是教你如何通過實現(xiàn)一個http服務器,有的是一個用第三方庫,有的是直接懟一堆代碼。。。知道在stackoverflow上看到了:
why
not try NGINX with fcgi-function mapping?
實現(xiàn)步驟
nginx這個是做代理的神器,做負載均衡的時候也經(jīng)常用,只要我的客戶端的內容發(fā)送的nginx上,然后nginx把數(shù)據(jù)轉發(fā)給fcgi相關的應用就可以,我需要做的就是把fcgi和我的推理程序結合起來就可以。
nginx
簡單說nginx就是中間商,客戶端把請求發(fā)給中間商,中間商去貨源地把貨拿上,讓后給客戶回應:
客戶告訴nginx 我要購買**商品,nginx就去對于的服務提供商取出對于服務并把它返回給客戶。
目前需要的就是實現(xiàn)fcgi 部分,那么什么是fcgi?
cgi
通用網(wǎng)關接口(Common Gateway Interface/CGI)是一種重要的互聯(lián)網(wǎng)技術,可以讓一個客戶端,從網(wǎng)頁瀏覽器向執(zhí)行在網(wǎng)絡服務器上的程序請求數(shù)據(jù)。CGI描述了服務器和請求處理程序之間傳輸數(shù)據(jù)的一種標準。
這里的標準輸入輸出是對應的一些環(huán)境變量主要包含有與請求相關的環(huán)境變量,與服務器相關的環(huán)境變量,與客戶端相關的環(huán)境變量三大類。
fastcgi
FastCGI 實際上是增加了一些擴展功能的 CGI 、是 CGI 的改進,同樣也是描述客戶端和Web服務器程序之間傳輸數(shù)據(jù)的一種標準。
FastCGI 致力于減少Web服務器與CGI程序之間進行互動的開銷,從而使Web服務器可以同時處理更多的Web請求。與 CGI 為每個Web請求創(chuàng)建一個新的進程不同, FastCGI 使用持續(xù)的進程來處理一連串的Web請求,這些進程由FastCGI進程管理器管理,而不是Web服務器。
為什么說是減少了互動的開銷呢?這就要看兩種處理方式的區(qū)別!
cgi的工作流程:
每當客戶端發(fā)出一個新的請求,首先要創(chuàng)建一個cgi子進程,然后cgi處理完請求,有多少個連接就會有多少個cgi子進程啟動,當請求量大的時候會占用大量的系統(tǒng)資源。
fastcgi
fastcgi 是使用持續(xù)的進程處理一連串的請求,這些進程有fastcgi的進程管理器來進行管理具體流程如下所示:
也可以這樣比喻:
cgi在賣雞蛋灌餅,等到顧客要吃的時候,他開始點火,打雞蛋,攤餅,然后熄火。然后等待下一個顧客
fastcgi就是早餐店老版,雇傭了一幫服務員,專門做需要現(xiàn)場做的飯,老板只需要把訂單安排下去,服務員負責盛粥煎餅。
具體步驟
工欲善其事,必先利其器,首先搭建環(huán)境把!
通過閱讀不少的博客內容找到了最簡單的安裝步驟,好多都是通過下載源代碼,然后通過make進行編譯,不過對于這些比較常用的庫,軟件包中已經(jīng)集成了。
C++開發(fā)環(huán)境安裝
apt-get install build-essential
另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。
文章標題:利用nginx+fastcgi實現(xiàn)圖片識別服務器-創(chuàng)新互聯(lián)
鏈接URL:http://bm7419.com/article0/gohio.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供企業(yè)網(wǎng)站制作、網(wǎng)站排名、虛擬主機、微信公眾號、自適應網(wǎng)站、微信小程序
聲明:本網(wǎng)站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經(jīng)允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內容