本文轉(zhuǎn)載自新智元

站在用戶的角度思考問(wèn)題，與客戶深入溝通，找到仙游網(wǎng)站設(shè)計(jì)與仙游網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：網(wǎng)站設(shè)計(jì)制作、成都做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、申請(qǐng)域名、網(wǎng)絡(luò)空間、企業(yè)郵箱。業(yè)務(wù)覆蓋仙游地區(qū)。

【導(dǎo)讀】FAIR何愷明團(tuán)隊(duì)最新論文提出“全景FPN”，聚焦于圖像的全景分割任務(wù)，將分別用于語(yǔ)義分割和實(shí)例分割的FCN和Mask R-CNN結(jié)合起來(lái)，設(shè)計(jì)了Panoptic FPN。該方法可能成為全景分割研究的強(qiáng)大baseline。

Facebook人工智能實(shí)驗(yàn)室(FAIR)何愷明等人團(tuán)隊(duì)在arXiv發(fā)布最新論文：Panoptic Feature Pyramid Networks。

論文聚焦于“全景分割”，在架構(gòu)級(jí)別將分別用于語(yǔ)義分割和實(shí)例分割的FCN和Mask R-CNN結(jié)合起來(lái)，設(shè)計(jì)了一個(gè)單一的網(wǎng)絡(luò)：Panoptic FPN。

作者表示，實(shí)驗(yàn)證明Panoptic FPN對(duì)語(yǔ)義分割和實(shí)例分割這兩個(gè)任務(wù)都有效，同時(shí)兼具穩(wěn)健性和準(zhǔn)確性。鑒于其有效性和概念的簡(jiǎn)單性，該方法有望成為一個(gè)強(qiáng)大的baseline，成為全景分割后續(xù)進(jìn)展的基礎(chǔ)。

雖然在概念上很簡(jiǎn)單，但設(shè)計(jì)一個(gè)在這兩個(gè)任務(wù)都能實(shí)現(xiàn)高精度的單一網(wǎng)絡(luò)是具有挑戰(zhàn)性的，因?yàn)檫@兩個(gè)任務(wù)的最佳性能方法存在許多差異。

Panoptic FPN在COCO和Cityscapes上的結(jié)果

對(duì)于語(yǔ)義分割，通過(guò)擴(kuò)張卷積(dilated convolutions)增強(qiáng)的FCN是最優(yōu)的。對(duì)于實(shí)例分割，具有特征金字塔(FPN)骨架的region-based Mask R-CNN在最近的圖像識(shí)別競(jìng)賽中被用作所有高分網(wǎng)絡(luò)的基礎(chǔ)。

考慮到這些方法在架構(gòu)上的差異，在為這兩個(gè)任務(wù)設(shè)計(jì)單個(gè)網(wǎng)絡(luò)時(shí)，可能需要在實(shí)例分割或語(yǔ)義分割上犧牲準(zhǔn)確性。但是，F(xiàn)AIR團(tuán)隊(duì)提出一種簡(jiǎn)單、靈活且有效的架構(gòu)，可以使用一個(gè)同時(shí)生成region-based輸出(實(shí)例分割)和dense-pixel輸出(語(yǔ)義分割)的單一網(wǎng)絡(luò)來(lái)保證這兩個(gè)任務(wù)的準(zhǔn)確性。

在對(duì)每個(gè)任務(wù)單獨(dú)進(jìn)行訓(xùn)練時(shí)，該方法在COCO和Cityscapes上的實(shí)例分割和語(yǔ)義分割都取得了很好的效果。實(shí)例分割接近Mask R-CNN，語(yǔ)義分割的精度與最新的DeepLabV3+相當(dāng)。

接下來(lái)，我們將具體介紹Panoptic FPN的架構(gòu)和實(shí)驗(yàn)結(jié)果。

全景特征金字塔網(wǎng)絡(luò)Panoptic FPN

Panoptic FPN是一個(gè)簡(jiǎn)單的、單網(wǎng)絡(luò)的baseline，它的目標(biāo)是在實(shí)例分割和語(yǔ)義分割以及它們的聯(lián)合任務(wù)：全景分割上實(shí)現(xiàn)最高性能。

設(shè)計(jì)原則是：從具有FPN的Mask R-CNN開(kāi)始，進(jìn)行最小的修改，生成一個(gè)語(yǔ)義分割的dense-pixel 輸出(如圖1所示)。

模型架構(gòu)

圖1：Panoptic FPN的架構(gòu) 

(a)特征金字塔網(wǎng)絡(luò) (b)實(shí)例分割分支 (c)語(yǔ)義分割分支

特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network)：首先簡(jiǎn)要回顧一下FPN。FPN采用一個(gè)具有多空間分辨率特征的標(biāo)準(zhǔn)網(wǎng)絡(luò)(如ResNet)，并添加一個(gè)具有橫向連接的自上而下的通道，如圖1a所示。自上而下的路徑從網(wǎng)絡(luò)的最深層開(kāi)始，并逐步向上采樣，同時(shí)添加自底向上路徑的高分辨率特性的轉(zhuǎn)換版本。FPN生成一個(gè)金字塔，通常具有1/32到1/4的分辨率，其中每個(gè)金字塔級(jí)別具有相同的通道維度(默認(rèn)是256)。

實(shí)例分割分支：FPN的設(shè)計(jì)，特別是對(duì)所有金字塔級(jí)別使用相同的通道維數(shù)，使得附加基于區(qū)域的對(duì)象檢測(cè)器變得很容易，比如Faster R-CNN。 為了輸出實(shí)例分段，我們使用Mask R-CNN，它通過(guò)添加FCN分支來(lái)預(yù)測(cè)每個(gè)候選區(qū)域的二進(jìn)制分段Mask，從而擴(kuò)展Faster R-CNN，見(jiàn)圖1b。

用于增加特征分辨率的骨架架構(gòu)

Panoptic FPN：如前所述，我們的方法是使用FPN對(duì)Mask R-CNN進(jìn)行修改，實(shí)現(xiàn)像素級(jí)語(yǔ)義分割預(yù)測(cè)。然而，為了實(shí)現(xiàn)準(zhǔn)確的預(yù)測(cè)，該任務(wù)所使用的特性應(yīng)該：

(1)具有適當(dāng)?shù)母叻直媛?，以捕獲精細(xì)的結(jié)構(gòu);

(2)編碼足夠豐富的語(yǔ)義，以準(zhǔn)確地預(yù)測(cè)類標(biāo)簽;

(3)雖然FPN是為目標(biāo)檢測(cè)而設(shè)計(jì)的，但是這些要求——高分辨率、豐富的、多尺度的特征——正好是FPN的特征。

因此，我們建議在FPN上附加一個(gè)簡(jiǎn)單而快速的語(yǔ)義分割分支。

圖3：語(yǔ)義分割分支

實(shí)驗(yàn)和結(jié)果

我們的目標(biāo)是證明我們的方法，Panoptic FPN，可以作為一個(gè)簡(jiǎn)單有效的單網(wǎng)絡(luò)baseline，用于實(shí)例分割、語(yǔ)義分割，以及他們的聯(lián)合任務(wù)全景分割。

因此，我們從測(cè)試語(yǔ)義分割方法(我們將這個(gè)單任務(wù)變體稱為Semantic FPN)開(kāi)始分析。令人驚訝的是，這個(gè)簡(jiǎn)單的模型在COCO和Cityscapes數(shù)據(jù)集上實(shí)現(xiàn)了具有競(jìng)爭(zhēng)力的語(yǔ)義分割結(jié)果。

接下來(lái)，我們分析了語(yǔ)義分割分支與Mask R-CNN的集成，以及聯(lián)合訓(xùn)練的效果。最后，我們?cè)俅卧贑OCO和Cityscapes數(shù)據(jù)集上展示了全景分割的結(jié)果。定性結(jié)果如表2和表6所示。

語(yǔ)義分割FPN

表1：語(yǔ)義分割FPN的結(jié)果

Cityscapes數(shù)據(jù)集：

我們首先將基線Semantic FPN與表1a中Cityscapes數(shù)據(jù)集上語(yǔ)義分割的現(xiàn)有方法進(jìn)行比較。我們的方法是FPN的一個(gè)最小擴(kuò)展，與DeepLabV3+[12]等經(jīng)過(guò)大量工程設(shè)計(jì)的系統(tǒng)相比，我們的方法能夠獲得強(qiáng)大的結(jié)果。

在我們的基線中，我們故意避免正交的架構(gòu)改進(jìn)，如Non-local或SE，這可能會(huì)產(chǎn)生進(jìn)一步的收益。在計(jì)算和內(nèi)存方面，Semantic FPN比典型的dilation model更輕量，同時(shí)能產(chǎn)生更高的分辨率特征(見(jiàn)圖4)。

圖4

COCO數(shù)據(jù)集：

我們的方法的一個(gè)早期版本贏得了2017年的COCO-Stuff 挑戰(zhàn)。結(jié)果見(jiàn)表1b。

多任務(wù)訓(xùn)練

我們的方法在單任務(wù)上表現(xiàn)非常好；對(duì)于語(yǔ)義分割，上一節(jié)的結(jié)果證明了這一點(diǎn)；對(duì)于實(shí)例分割，這是已知的，因?yàn)樵摲椒ɑ贛ask R-CNN。但是，我們是否可以在多任務(wù)環(huán)境中共同訓(xùn)練這兩項(xiàng)任務(wù)呢?

為了將我們的語(yǔ)義分割分支與Mask R-CNN中的實(shí)例分割分支結(jié)合起來(lái)，我們需要確定如何訓(xùn)練一個(gè)單一的、統(tǒng)一的網(wǎng)絡(luò)。以往的研究表明，多任務(wù)訓(xùn)練往往具有挑戰(zhàn)性，并可能導(dǎo)致結(jié)果精度下降。我們同樣觀察到，對(duì)于語(yǔ)義或?qū)嵗指睿砑虞o助任務(wù)與單任務(wù)基線相比會(huì)降低準(zhǔn)確性。

表2：多任務(wù)訓(xùn)練

表2中，ResNet-50-FPN的結(jié)果表明，使用一個(gè)簡(jiǎn)單的語(yǔ)義分割損失λs，或?qū)嵗指顡p失λi，結(jié)果可以改善單任務(wù)baseline的結(jié)果。具體來(lái)說(shuō)，適當(dāng)?shù)靥砑右粋€(gè)語(yǔ)義分割分支λs能改進(jìn)實(shí)例分割，反之亦然。這可以用來(lái)改進(jìn)單任務(wù)結(jié)果。然而，我們的主要目標(biāo)是同時(shí)解決這兩個(gè)任務(wù)，這將在下一節(jié)討論。

Panoptic FPN

測(cè)試Panoptic FPN對(duì)于全景分割的聯(lián)合任務(wù)的結(jié)果，其中網(wǎng)絡(luò)必須聯(lián)合并準(zhǔn)確的輸出 stuff和thing分割。

表3：Panoptic FPN的結(jié)果

主要結(jié)果：在表3a中，我們比較了使用相同骨架的Panoptic FPN分別訓(xùn)練的兩個(gè)網(wǎng)絡(luò)。Panoptic FPN具有相當(dāng)?shù)男阅?，但只需要一半的?jì)算量。

我們還通過(guò)比較兩個(gè)單獨(dú)的網(wǎng)絡(luò)，分別是Panoptic R101-FPN 和 R50-FPN×2，來(lái)平衡計(jì)算預(yù)算，見(jiàn)表3b。使用大致相等的計(jì)算預(yù)算，Panoptic FPN明顯優(yōu)于兩個(gè)獨(dú)立的網(wǎng)絡(luò)。

綜上所述，這些結(jié)果表明聯(lián)合方法是有益的，我們提出的Panoptic FPN方法可以作為聯(lián)合任務(wù)的可靠baseline。

論文地址：

https://arxiv.org/pdf/1901.02446.pdf

本文名稱：何愷明組又出神作！最新論文提出全景分割新方法-創(chuàng)新互聯(lián)
轉(zhuǎn)載來(lái)于：http://aaarwkj.com/article14/dppode.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動(dòng)網(wǎng)站建設(shè)、企業(yè)建站、自適應(yīng)網(wǎng)站、虛擬主機(jī)、用戶體驗(yàn)、動(dòng)態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)