背景
使用的特定的設(shè)備進(jìn)行深度學(xué)習(xí)模型的推理,該機(jī)器僅僅提供了C++封裝好的API進(jìn)行模型的加載啟動與推理,模型的訓(xùn)練依然是使用caffe,模型需要轉(zhuǎn)化成該設(shè)備支持的格式,模型的轉(zhuǎn)化這里就不在介紹。為了把模型的推理做成一種服務(wù),只能上手C++,搭建HTTP服務(wù),使得用戶通過http服務(wù)post一張圖片,服務(wù)器啟動模型推理,實(shí)現(xiàn)模型的預(yù)測,并把結(jié)果返回給客戶端。
整體框架
服務(wù)短的服務(wù)內(nèi)容就是對接收的圖片進(jìn)行預(yù)處理,然后進(jìn)行模型的推理,目前需要做的一點(diǎn)就是引入HTTP服務(wù)
前期調(diào)研
對于一個C++新手,前期調(diào)研當(dāng)然是先進(jìn)行搜索,http server c++搜處理的結(jié)果也是五花八門,有的是教你如何通過實(shí)現(xiàn)一個http服務(wù)器,有的是一個用第三方庫,有的是直接懟一堆代碼。。。知道在stackoverflow上看到了:
why
not try NGINX with fcgi-function mapping?
實(shí)現(xiàn)步驟
nginx這個是做代理的神器,做負(fù)載均衡的時(shí)候也經(jīng)常用,只要我的客戶端的內(nèi)容發(fā)送的nginx上,然后nginx把數(shù)據(jù)轉(zhuǎn)發(fā)給fcgi相關(guān)的應(yīng)用就可以,我需要做的就是把fcgi和我的推理程序結(jié)合起來就可以。
nginx
簡單說nginx就是中間商,客戶端把請求發(fā)給中間商,中間商去貨源地把貨拿上,讓后給客戶回應(yīng):
客戶告訴nginx 我要購買**商品,nginx就去對于的服務(wù)提供商取出對于服務(wù)并把它返回給客戶。
目前需要的就是實(shí)現(xiàn)fcgi 部分,那么什么是fcgi?
cgi
通用網(wǎng)關(guān)接口(Common Gateway Interface/CGI)是一種重要的互聯(lián)網(wǎng)技術(shù),可以讓一個客戶端,從網(wǎng)頁瀏覽器向執(zhí)行在網(wǎng)絡(luò)服務(wù)器上的程序請求數(shù)據(jù)。CGI描述了服務(wù)器和請求處理程序之間傳輸數(shù)據(jù)的一種標(biāo)準(zhǔn)。
這里的標(biāo)準(zhǔn)輸入輸出是對應(yīng)的一些環(huán)境變量主要包含有與請求相關(guān)的環(huán)境變量,與服務(wù)器相關(guān)的環(huán)境變量,與客戶端相關(guān)的環(huán)境變量三大類。
fastcgi
FastCGI 實(shí)際上是增加了一些擴(kuò)展功能的 CGI 、是 CGI 的改進(jìn),同樣也是描述客戶端和Web服務(wù)器程序之間傳輸數(shù)據(jù)的一種標(biāo)準(zhǔn)。
FastCGI 致力于減少Web服務(wù)器與CGI程序之間進(jìn)行互動的開銷,從而使Web服務(wù)器可以同時(shí)處理更多的Web請求。與 CGI 為每個Web請求創(chuàng)建一個新的進(jìn)程不同, FastCGI 使用持續(xù)的進(jìn)程來處理一連串的Web請求,這些進(jìn)程由FastCGI進(jìn)程管理器管理,而不是Web服務(wù)器。
為什么說是減少了互動的開銷呢?這就要看兩種處理方式的區(qū)別!
cgi的工作流程:
每當(dāng)客戶端發(fā)出一個新的請求,首先要創(chuàng)建一個cgi子進(jìn)程,然后cgi處理完請求,有多少個連接就會有多少個cgi子進(jìn)程啟動,當(dāng)請求量大的時(shí)候會占用大量的系統(tǒng)資源。
fastcgi
fastcgi 是使用持續(xù)的進(jìn)程處理一連串的請求,這些進(jìn)程有fastcgi的進(jìn)程管理器來進(jìn)行管理具體流程如下所示:
也可以這樣比喻:
cgi在賣雞蛋灌餅,等到顧客要吃的時(shí)候,他開始點(diǎn)火,打雞蛋,攤餅,然后熄火。然后等待下一個顧客
fastcgi就是早餐店老版,雇傭了一幫服務(wù)員,專門做需要現(xiàn)場做的飯,老板只需要把訂單安排下去,服務(wù)員負(fù)責(zé)盛粥煎餅。
具體步驟
工欲善其事,必先利其器,首先搭建環(huán)境把!
通過閱讀不少的博客內(nèi)容找到了最簡單的安裝步驟,好多都是通過下載源代碼,然后通過make進(jìn)行編譯,不過對于這些比較常用的庫,軟件包中已經(jīng)集成了。
C++開發(fā)環(huán)境安裝
apt-get install build-essential
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
文章標(biāo)題:利用nginx+fastcgi實(shí)現(xiàn)圖片識別服務(wù)器-創(chuàng)新互聯(lián)
鏈接URL:http://aaarwkj.com/article0/gohio.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供企業(yè)網(wǎng)站制作、網(wǎng)站排名、虛擬主機(jī)、微信公眾號、自適應(yīng)網(wǎng)站、微信小程序
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容