伴隨著經濟增長和城市化進程的加快，新的城市交通基礎設施不斷興建，車流量快速增長，相應的智能交通綜合系統也需一再擴容。在監控系統越來越龐大、監控信息越來越多的情況下，單純依賴有限的交管人力資源或是在原有的系統基礎之上做擴充來實現，幾乎是不可能的事情。為了應對當前經濟迅速增長和城市化進程加快過程中所凸顯出的道路擁堵、交通事故頻發、突發案件增多等狀況，借助于更便捷、更智能的科技手段，來加強安全防范和交通管理就顯得至關重要。

交通領域引進海量數據處理技術

針對交通行業的海量數據處理需求，北京博瑞凱誠等一批專注于智能交通領域的高科技企業紛紛利用當今最前沿的智能視頻技術，設計研制了智能交通綜合管理系統，解決了交通行業目前面臨的數據處理難題。本公司設計的智能交通管理系統可以在海量數據、惡劣網絡環境和復雜業務處理情況下，實現大量圖片、車輛數據、視頻數據的時時網絡傳輸和快速持久化存儲，同時對任意站點的圖像進行顯示，對任意站點的視頻進行流暢播放、實時進行比對報警，快速進行多條件檢索，并且將各類多媒體數據和車輛數據合二為一。系統實現對目前的城市道路交通中異常行為的智能識別和自動報警等，從而減輕了交管監控人員的工作負擔，提高了監測的準確度，使得交通管理工作更高效。

下面以博瑞凱誠智能交通管理系統（以下統稱“博瑞系統”）為例，介紹和分析海量數據處理技術在智能交通綜合管理系統上的應用。

博瑞系統設計應用

1、總體設計及其優點

博瑞系統充分發揮了前端攝像機的潛力，同時通過提高傳統以太網的使用效率，實現了前端攝像機的功能多樣化，同時提高了大量并發的視頻和圖片數據的傳輸和存儲效率。

（1）提高前端設備在線率，通過改進前端設備的硬件軟件，提高了設備的可靠性，豐富前端設備的功能，前端攝像機除了具備視頻采集功能外，具備了車輛號牌識別，車型識別，車輛顏色識別，車輛超速檢測，視頻和圖片長時間存儲的功能。

（2）提高網絡傳輸的效率，解決網絡傳輸瓶頸，傳統的以太網存在網絡帶寬利用率低的弊病，通過改進，使的網絡傳輸發生了本質的提升，保證時時的視頻和圖片傳輸，避免交通高峰期帶來的信息堆積和網絡阻塞問題。

（3）使用分布式數據存儲，增加存儲容量，提高存儲性能，通過使用分布式存儲，加快了存儲的速度，有效避免了存儲瓶頸帶來的存儲壓力，配合快速的網絡傳輸，實現了數據的最短時間持久化。

（4）平臺數據分流，使用分布式的存儲理念和分布式數據庫，加快數據庫的反應速度，避免了海量數據過度集中帶來的一系列數據庫問題。提高后端各個服務的反應速度，進而提升了整體平臺的反應速度和用戶的使用體驗。

（1）通過有效提高前端設備的各方面性能，增加更多的識別功能，增加數據庫記錄功能，實際上有效降低了用戶的采購成本，一個設備實現了多項功能，有效降低了平臺的數量，降低了一系列的采購、維護、運行和后續的成本。

（2）通過提高現有網絡設備的傳輸效率，在現有網絡上實現快速傳輸，解決網絡瓶頸，能夠帶來更加快速的應用體驗，提高整體基礎數據的服務質量。

（3）通過使用分布式存儲代替現有的中心節點存儲，分散存儲壓力，分散了數據風險，帶來的優勢是延長了數據的保存時間，減小了數據丟失的風險，提高了每一個關鍵數據的訪問速度。

（4）通過使用新的數據庫Hbase1和嵌入式數據庫SDB，通過分布式數據庫，分流平臺數據，提高數據庫系統的性能，同時也提高了所有應用的服務質量，提供給用戶更加快捷的應用體驗，提高工作效率和服務水準。

2、應用實現

（1）增加前端設備的功能提高前端設備穩定性。

由普清到高清的轉變過程中，大數據量的存儲是智能交通行業普遍面臨的難題。博瑞凱誠最新研制推出的新一代嵌入式高清智能相機，采用一體化設計模式，在每一個相機里面配置1T硬盤，用于存儲數據。前端機配置大硬盤解決存儲問題，不僅保證了數據的安全性同時保證了數據調取的高效性。

（2）在網絡傳輸算法中使用基于DNA包的網絡傳輸算法解決網絡瓶頸。

基于DNA包的網絡傳輸算法的優勢：解決了基于傳統網絡帶寬占用(利用率)低的問題。傳統TCP采用了反復連接、慢啟動、動態滑動窗口、定時重傳、擁塞控制等技術以確保數據的可靠傳輸，但卻嚴重降低了帶寬的利用率和傳輸效率。對此，提出了基于DNA包傳輸算法，采用先進的傳輸機制，極大地提高了網絡帶寬利用率和傳輸效率。

博瑞系統改進了傳統TCP的Karn算法，引入了針對網絡數據的快速發送機制。獨特的網絡擁塞自動調節。有時網絡會很忙，因為它要發送大量的數據包，網絡設備會因為接收和處理大量的數據包而超負荷工作，通過DNA信令包進行設備間的命令傳遞，網絡設備以此為依據，采用高效的擁塞自動調節技術避免網絡擁塞。

（3）分布式存儲分擔中心存儲壓力、分布式數據庫分流中心數據。

中心存儲設備和分局存儲設備采用分布式微服務器。由公司自主研發獨創推出的分布式微服務器（見圖2），打破了目前整個業界普遍采用的高端服務器外掛磁盤陣列的架構模式，該服務器是將原來的大數據集中式處理，拆分成小模塊單獨處理，大大提高了數據調取和業務處理的效率，利用該服務器可以實現真正意義上的分布式。另外其體積小，存放方便；成本低，在原來高端服務器外掛磁盤陣列的架構模式上至少可降低30%的采購成本；外觀簡單，無需外掛存儲等設備。

中心數據庫Hbase1和SDB。圖片數據的增加，使傳統的單一服務器和高性能服務器方案，不能同時滿足高速讀，高速寫，高速檢索的要求，原因是由于單一服務器的磁盤io和cpu內存資源，相對存在極限，即使是強悍的服務器配置，仍然存在性能方面的極限，并且該極限無法變動。海量數據庫使用分布式理念處理海量數據，分布式的核心思想是把一個巨大的問題拆分成若干小型問題，拆分完成后同時在不同計算機上處理各個小型問題，最終完成大型問題的計算。圖片數據存儲和圖片數據檢索符合分布式處理的原則，能夠使用分布式思想解決。

新數據庫方案中心使用Hbase1作為中心數據庫，使用前端設備嵌入式數據庫SDB(smalldatabase)作為備用檢索數據庫，通過分布式的讀寫和檢索，滿足高速讀、寫、檢索的需求，有效降低系統的整體負擔。

Hbase1針對過億條目的數據庫，進行分布式計算處理，分布式計算(云計算)有效的提高數據的安全性和數據的檢索速度，云計算的第一原則要求：可以進行云計算的問題必須是可以并行處理的，Hbase1的基礎是Hbase+hadoop+HDFS以及map_reduce模型，該架構完全支持并行處理，使用Hbase1分布式的處理問題，將大型的問題拆分成并行處理的小問題，將海量圖片數據的搜索，轉變成大量的子搜索處理，提高圖片數據庫的處理速度。

SDB是基于嵌入式系統的小型專用數據庫，前端設備具備存儲和計算能力，前端設備進行數據檢索，能有效利用前端設備剩余資源?；谠撛瓌t，我們在前端設備中植入嵌入式的數據庫系統SDB，SDB系統提供自身存儲的數據查詢，SDB查詢速度快，不消耗中心資源。

SDB是基于嵌入式系統的小型專用數據庫，前端設備具備存儲和計算能力，前端設備進行數據檢索，能有效利用前端設備剩余資源。基于該原則，我們在前端設備中植入嵌入式的數據庫系統SDB，SDB系統提供自身存儲的數據查詢，SDB查詢速度快，不消耗中心資源。