引言

    è¡Œäººæª¢æ¸¬ä»»å‹™(wù)的目標(biāo)是在圖像中檢測行人并確定行人的位置。隨著人工智能技術(shù)的發(fā)展，越來越多的研究人員關(guān)注這項任務(wù)并且做了很多相關(guān)的研究工作。準(zhÇ”n)確的行人檢測方法可以應(yÄ«ng)用于很多領(lǐng)域，例如智能輔助駕駛，智能視頻監(jiān)控和智能機器人等。

    è¿‘年來，區(qÅ«)域卷積神經(jÄ«ng)網(wÇŽng)絡(luò)(R-CNN)模型被廣泛應(yÄ«ng)用于通用類物體檢測任務(wù)。有相關(guān)文獻提出了一種快速區(qÅ«)域卷積神經(jÄ«ng)網(wÇŽng)絡(luò)(FastR-CNN)模型，在21類的物體檢測任務(wù)中取得了顯著的效果。這種模型首先使用候選區(qÅ«)域框方法SelectiveSearch去預(yù)測物體可能存在的位置，然后再使用卷積神經(jÄ«ng)網(wÇŽng)絡(luò)對候選區(qÅ«)域框進行進一步的精細分類和定位。受這種模型在通用類檢測中的啟發(fā)，我們試圖將這種方法應(yÄ«ng)用于行人檢測。但是SelectiveSearch方法不是針對單一類的候選框提取方法，它會預(yù)測所有種類物體的可能位置，包括車輛，建筑等。因此生成的候選區(qÅ«)域框存在很多的冗余，降低訓(xùn)練的分類器的質(zhì)量。同時冗余的候選區(qÅ«)域框會消耗較多的計算資源，降低卷積神經(jÄ«ng)網(wÇŽng)絡(luò)的訓(xùn)練和測試的速度。在行人檢測中，只對行人類別生成候選區(qÅ«)域框，并使用這種候選框訓(xùn)練和測試卷積神經(jÄ«ng)網(wÇŽng)絡(luò)，理論上可以取得很好的檢測效果。

    å€™é¸å€(qÅ«)域框提取在一定程度可以看作對物體的粗糙檢測。我們可以對圖像提取特征，并訓(xùn)練一個判別行人的簡單分類器，使用分類器去生成候選區(qÅ«)域框。這樣就可以實現(xiàn)只針對行人類別提取候選區(qÅ«)域框的目的。基于這個思想，本文提出了一種適用于行人檢測的候選框提取方法。我們將這種候選框提取方法與卷積神經(jÄ«ng)網(wÇŽng)絡(luò)模型結(jié)合起來，并應(yÄ«ng)用于行人檢測。這種檢測方法主要分為兩步：1)使用候選框提取方法為每張圖像生成候選區(qÅ«)域框；2)將圖像和它的候選區(qÅ«)域框輸入到卷積神經(jÄ«ng)網(wÇŽng)絡(luò)中。網(wÇŽng)絡(luò)包含兩個輸出層。一個輸出行人類別的概率估計，另一個輸出四個實數(shù)表示行人邊界框的位置。

    æœ¬æ–‡çš„模型和其他行人檢測方法相比取得了很好的檢測效果。在INRIA，PKUå’ŒETH數(shù)æ“š(jù)集上分別實現(xiàn)了14.1%，15.3%å’Œ45.6%的漏檢率。實驗結(jié)果表明，在行人檢測任務(wù)中我們的候選框提取方法要比SelectiveSearch更有效。同時，我們的方法去除了冗余的候選區(qÅ«)域框，提高了卷積神經(jÄ«ng)網(wÇŽng)絡(luò)訓(xùn)練和測試的速度。

背景

1.現(xiàn)有行人檢測算法的分類

    ç¾(xiàn)有的行人檢測算法通常會被分為兩類。第一類稱為傳統(tÇ’ng)算法，這類方法從圖像中提取手工設(shè)計特征并訓(xùn)練一個支持向量機(SVM)或增強(boosting)作為分類器。這些手工設(shè)計特征包括哈爾，梯度直方圖和局部二值模式等，在行人檢測表現(xiàn)出很好的性能。DPM在檢測中考慮了局部的區(qÅ«)域特征以及區(qÅ«)域間的形變。有相關(guān)文獻將上下文信息加入到模型中。另外，聚合通道特征將梯度直方圖和LUV顏色空間特征融合到一起用于行人檢測。文獻提出了一種有效的特征變換方法去除了局部特征間的關(guān)聯(lián)。

    å¦ä¸€é¡žè¡Œäººæª¢æ¸¬æ–¹æ³•æ˜¯é‡‡æ¨£æ·±åº¦æ¨¡åž‹ã€‚深度模型可以從原圖像中學(xué)ç¿’(xí)特征，極大地提高了行人檢測算法的性能。從行人的不同身體部門學(xué)ç¿’(xí)特征來處理行人間的遮擋問題，卷積網(wÇŽng)絡(luò)方法采用卷積稀疏編碼無監(jiān)督地預(yù)訓(xùn)練卷積神經(jÄ«ng)網(wÇŽng)絡(luò)，通過語義的特征優(yōu)化行人檢測效果。

2.候選框提取方法

    ç”±äºŽç‰©é«”可能是任意尺寸并且可能出現(xiàn)在圖像的任一位置，因此需要搜索整幅圖像來完成分類和定位。滑動窗口方法可以獲得所有可能的物體位置，但是計算復(fù)雜度很高。最近，研究人員提出了其他幾種候選框提取方法，例如selectivesearch，bingå’Œedgeboxes。Selectivesearch通過分割和相似度計算的方式提取候選區(qÅ«)域框，區(qÅ«)域框的質(zhì)量較好但是速度很慢。Bing使用正則梯度信息和二分操作生成候選區(qÅ«)域框，速度較快但是質(zhì)量很差。Edgeboxes是在質(zhì)量和速度之間折中的一種算法。

    é€™é¡žæ–¹æ³•ç”Ÿæˆçš„候選區(qÅ«)域框包含了所有的種類，適用于通用類的檢測，但無法完成單一類的候選框提取。冗余的候選區(qÅ«)域框會降低卷積神經(jÄ«ng)網(wÇŽng)絡(luò)的性能，并消耗更多的計算資源。行人檢測問題只需要針對行人類別生成候選區(qÅ«)域框而無需其它物體的冗余信息，本文實現(xiàn)了一種基于行人檢測算法的候選區(qÅ«)域框提取方法。我們將這種優(yōu)化的候選區(qÅ«)域框提取方法和卷積神經(jÄ«ng)網(wÇŽng)絡(luò)結(jié)合起來，并將其應(yÄ«ng)用于行人檢測。

提出的方法

    1.方法概述

    æœ¬æ–‡æ‰€æå‡ºçš„方法包括兩部分。第一部分是候選區(qÅ«)域框的提取，第二部分是卷積神經(jÄ«ng)網(wÇŽng)絡(luò)模型。其中候選框提取方法采用聚合通道特征(ACF)，卷積神經(jÄ«ng)網(wÇŽng)絡(luò)模型基于文獻中的深度網(wÇŽng)絡(luò)結(jié)構(gòu)。網(wÇŽng)絡(luò)的輸入是原始的圖像和候選區(qÅ«)域框。模型首先通過卷積和池化提取圖像的卷積特征，經(jÄ«ng)由興趣區(qÅ«)域池化(RoI)層將候選區(qÅ«)域框的卷積特征映射為固定長度的特征向量并被傳入全連接層。全連接層后面有兩個平行的輸出層，輸出行人檢測框的置信分數(shù)和坐標(biāo)。

    2.候選區(qÅ«)域框提取

    è©²å€™é¸å€(qÅ«)域框算法從圖像中提取10個通道的手工設(shè)計特征并訓(xùn)練一個AdaBoost分類器。通道特征包括歸一化的梯度幅值，梯度方向(6bins)å’ŒLUV顏色通道。算法通過計算不同尺度下的通道特征構(gòu)建特征金字塔。不同尺寸下的特征不是直接計算，而是通過相鄰尺寸的特征近似計算獲得，其詳細過程如下文所述。

    å°äºŽåœ–像I，設(shè)為任意低層次旋轉(zhuÇŽn)不變特征計算方法，圖像的一個通道計算方法為。通道C是像素級別的特征，C中每個像素都是從對應(yÄ«ng)圖像I的圖像塊計算而來。設(shè)表示圖像I在s尺寸下的重采樣，，R表示采樣函數(shù)。當(dāng)計算多尺寸圖像特征時，首先將圖像I在尺寸s下重采樣，之后通過近似計算得到的通道特征。近似計算方法如下：

    æ˜¯ä¸åŒå°ºå¯¸é–“的變換因子，每種通道。征類型對應(yÄ«ng)一個。通用的特征金字塔方法通常是在每一個尺寸計算。這種近似計算的方法在框的提取速度。在候選區(qÅ«)域框提取過程中，本文首先對圖像提取10通道的特征，然后使用近似計算得到不同圖像尺寸下的特征構(gòu)建特征金字塔。最后訓(xùn)練了一個由2048個深度為2的分類樹組成的Adaboost分類器生成候選區(qÅ«)域框。為了獲得足夠的候選區(qÅ«)域框，我們降低了檢測的閾值。

圖1.卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)結(jié)構(gòu)

    åœ¨é€™ä¸€éƒ¨åˆ†ï¼Œæˆ‘們首先介紹采用的深度網(wÇŽng)絡(luò)模型的結(jié)構(gòu)，然后說明模型的損失函數(shù)。

    æœ¬æ–‡çš„網(wÇŽng)絡(luò)結(jié)構(gòu)如圖1所示。網(wÇŽng)絡(luò)包含5個卷積層。每個卷積層分別有96，256，384，384å’Œ256個核函數(shù)。采用線性整流函數(shù)(ReLU)作為網(wÇŽng)絡(luò)的激活函數(shù)。每個卷積層后面連接了一個空間最大池化層。網(wÇŽng)絡(luò)可以輸入任意尺寸的圖像。經(jÄ«ng)過卷積和池化，得到圖像的卷積特征。在卷積特征傳入全連接層之前，興趣區(qÅ«)域池化層會將卷積特征映射為固定長度的特征向量。分別使用標(biāo)準(zhÇ”n)差為0.01å’Œ0.001的高斯分布初始化用于分類和邊界框回歸的全連接層權(quán)重(weights)。偏置(bias)初始化為0。網(wÇŽng)絡(luò)的每一層權(quán)重的學(xué)ç¿’(xí)率為0.001，偏置的學(xué)ç¿’(xí)率為0.002。

    å…¨é€£æŽ¥å±¤åŽé¢é€£æŽ¥äº†å…©å€‹å¹³è¡Œè¼¸å‡ºå±¤ã€‚第一個輸出層輸出在行人和背景類上的概率值，用表示。其中和分別表示物體是背景和行人的概率值。通常，p通過在全連接層的兩個輸出加上softmax計算得到。第二個輸出層是在行人類上的邊界框回歸補償，使用表示。每個訓(xùn)練的候選區(qÅ«)域框都有一個類別標(biāo)定u和邊界框目標(biāo)v。我們使用了多任務(wù)損失函數(shù)L同時訓(xùn)練分類和邊界框回歸：

    å…¶ä¸­æ˜¯é¡žåˆ¥u的對數(shù)損失函數(shù)。第二個任務(wù)的損失函數(shù)是在類別u的邊界框上定義的，。當(dāng)時，艾弗森括號指示函數(shù)值為1，其他值為0。按照慣例，通用背景類被標(biāo)記為u=0。由于背景類的候選區(qÅ«)域框沒有特定的標(biāo)注，此時在損失函數(shù)中就將背景類的忽略不計。對于行人類的邊界回歸，使用如下?lián)p失函數(shù)：

    å…¶ä¸­åƒæ•¸(shù)控制兩個任務(wù)損失之間的平衡。標(biāo)注的回歸目標(biāo)v被歸一化為零均值和單位方差。在所有的實驗中，本文都設(shè)置。本文使用隨機梯度下降的方法最小化損失函數(shù)。

結(jié)束語

    æœ¬æ–‡æå‡ºäº†ä¸€ç¨®å–®ä¸€é¡žå€™é¸æ¡†æå–方法與卷積神經(jÄ«ng)網(wÇŽng)絡(luò)結(jié)合的模型。該候選框提取算法從圖像中提取手工設(shè)計特征，并訓(xùn)ç·´AdaBoost分類器。本文所提出的方法不同于通用的候選框提取方法，可以只為行人類別生成候選區(qÅ«)域框。本文還闡述了候選框提取算法的具體細節(jié)以及網(wÇŽng)絡(luò)的結(jié)構(gòu)。實驗的結(jié)果表明，本文的方法提高了候選框提取的質(zhì)量，在行人檢測上取得了很好的效果，同時縮短了網(wÇŽng)絡(luò)訓(xùn)練和測試的時間。