其實，從前幾年開始，安防廠商就已經(jīng)開始在強(qiáng)調(diào)視頻結(jié)構(gòu)化，經(jīng)過算法的演進(jìn)和技術(shù)的革新，視頻結(jié)構(gòu)化開始大規(guī)模地得到應(yīng)用。那么，何為視頻結(jié)構(gòu)化?

　　視頻結(jié)構(gòu)化是一種視頻內(nèi)容信息提取的技術(shù)，它對視頻內(nèi)容按照語義關(guān)系，采用時空分割、特征提取、對象識別等處理手段，組織成可供計算機(jī)和人理解的文本信息的技術(shù)。從數(shù)據(jù)處理的流程看，視頻結(jié)構(gòu)化描述技術(shù)能夠?qū)⒈O(jiān)控視頻轉(zhuǎn)化為人和機(jī)器可理解的信息，并進(jìn)一步轉(zhuǎn)化為公安實戰(zhàn)所用的情報，實現(xiàn)視頻數(shù)據(jù)向信息、情報的轉(zhuǎn)化。

　　北京深瞐科技 韓會勇 18611928359

　　我們?yōu)槭裁葱枰曨l結(jié)構(gòu)化

　　視頻結(jié)構(gòu)化技術(shù)緊緊抓住視頻內(nèi)容信息處理和網(wǎng)絡(luò)化共享應(yīng)用的主線，行業(yè)力爭經(jīng)過若干年的技術(shù)攻關(guān)和系統(tǒng)建設(shè)，全面實現(xiàn)監(jiān)控視頻信息的情報化、視頻監(jiān)控網(wǎng)絡(luò)的智慧化，強(qiáng)化警務(wù)視頻應(yīng)用的普適性。即實現(xiàn)以機(jī)器自動處理為主的視頻信息處理和分析，并且通過技術(shù)手段轉(zhuǎn)化為公安工作可用的情報;實現(xiàn)監(jiān)控網(wǎng)絡(luò)之間、終端之間、警種之間的信息共享和主動互操作，實現(xiàn)主動監(jiān)控、自動聯(lián)網(wǎng)分析等網(wǎng)絡(luò)功能;全方位拓展視頻在警務(wù)工作中的應(yīng)用模式，大幅度提高技術(shù)的易用性，實現(xiàn)以業(yè)務(wù)民警為中心的隨時隨地的靈活、簡單、多樣的視頻按需服務(wù)應(yīng)用。

　　除了公安行業(yè)，視頻結(jié)構(gòu)化技術(shù)的應(yīng)用場景也在智能交通展開來。目前電警卡口在圖偵上的應(yīng)用需求和頻率早就超越了交警，因為案件基本都要與車輛發(fā)生聯(lián)系，這能找出很多的線索。而卡口電警對于車輛的抓拍角度是相對固定的，能夠開發(fā)出相應(yīng)的車輛特征識別技術(shù)，電警卡口屬于業(yè)務(wù)需求和技術(shù)實現(xiàn)的一個很好的匹配點。這就是視頻結(jié)構(gòu)化的應(yīng)用儲備，國內(nèi)有部分廠家已經(jīng)開發(fā)出的攝像機(jī)能突破平面圖像特征的局限，得到更精準(zhǔn)的三維系信息，如人體數(shù)量，高度，物體長度等。

　　視頻結(jié)構(gòu)化技術(shù)被廣泛應(yīng)用

　　在視頻結(jié)構(gòu)化描述的內(nèi)容方面，公共安全關(guān)注的視頻信息主要是：人員、車輛、行為。在視頻中把人作為一個可描述的個體展現(xiàn)出來，其中包括人員的面部精確定位、面部特征提取、面部特征比對，人員的性別、年齡范圍、大致身高、發(fā)飾、衣著、物品攜帶、步履形態(tài)等多種可結(jié)構(gòu)化描述信息;對于車輛的描述信息包括：車牌、車顏色、車型、品牌、子品牌、車貼、車飾物信息等多種車輛描述信息;對于行為的描述信息包括：越界、區(qū)域、徘徊、遺留、聚集等多種行為描述信息。

　　經(jīng)過視頻結(jié)構(gòu)化處理后，可以達(dá)到如下目的：

　　首先，是視頻查找速度得到極大的提升。視頻結(jié)構(gòu)化之后，從百萬級的目標(biāo)庫中(對應(yīng)數(shù)百到一千小時的高清視頻)查找某張截圖上的行人嫌疑目標(biāo)，數(shù)秒即可完成;千萬級目標(biāo)的庫中查找，幾分鐘即可完成(如果實現(xiàn)云化，速度會更快)。在結(jié)構(gòu)化基礎(chǔ)上進(jìn)行檢索查詢，可以解決快速目標(biāo)查找問題。

　　其次，是存儲容量極大的降低，經(jīng)過結(jié)構(gòu)化后的視頻，存儲人的結(jié)構(gòu)化檢索信息和目標(biāo)數(shù)據(jù)不到視頻數(shù)據(jù)量的2%;對于車輛，不到1%;對于行為降得更多。存儲容量極大地降低，可以解決視頻長期存儲的問題。

　　最后，視頻結(jié)構(gòu)化可以盤活視頻數(shù)據(jù)，可作為數(shù)據(jù)挖掘基礎(chǔ)，視頻經(jīng)過結(jié)構(gòu)化處理后，存入相應(yīng)的結(jié)構(gòu)化數(shù)據(jù)倉庫，對各類的數(shù)據(jù)倉庫可以進(jìn)行深度的數(shù)據(jù)挖掘，充分發(fā)揮大數(shù)據(jù)作用，提升視頻數(shù)據(jù)的應(yīng)用價值，提高視頻數(shù)據(jù)的分析和預(yù)測功能。

　　視頻結(jié)構(gòu)化分析平臺的基本要求

　　系統(tǒng)具備云計算架構(gòu)，部署應(yīng)采用集中處理、分級調(diào)閱的方式，具備多級級聯(lián)，動態(tài)結(jié)構(gòu)化處理服務(wù)自動分配，具備系統(tǒng)多節(jié)點的平衡負(fù)載，重特大事件處理時可并行網(wǎng)絡(luò)服務(wù)計算能力及集群能力;

　　客戶端應(yīng)支持C/S架構(gòu)，單個節(jié)點設(shè)備最少具備20個用戶并發(fā)訪問;

　　后臺管理應(yīng)支持B/S架構(gòu)，具備權(quán)限、用戶、結(jié)構(gòu)化任務(wù)設(shè)置、綜合網(wǎng)管等功能。

　　具備從硬盤錄像機(jī)獲取視頻流和錄像文件;

　　具備用戶上傳本地視頻文件;

　　具備對上傳文件進(jìn)行統(tǒng)一轉(zhuǎn)碼，滿足網(wǎng)絡(luò)點播;

　　具備對上傳文件進(jìn)行結(jié)構(gòu)化視頻合成播放，并能夠基于結(jié)構(gòu)化后視頻的事件標(biāo)簽回溯播放原始視頻。

　　具備對上傳的視頻文件或視頻流進(jìn)行結(jié)構(gòu)化分析，滿足視頻內(nèi)活動事件的特征信息提取，通過時間戳與視頻文件關(guān)聯(lián)后進(jìn)行結(jié)構(gòu)化存儲

　　具備對處理文件的內(nèi)容搜索，按視頻內(nèi)活動事件的運(yùn)行方向、活動范圍、顏色值、大小等特征進(jìn)行搜索和過濾;同時具備所有視頻時間、地點等條件搜索和過濾。

　　具備對平臺中各個處理單元的實時運(yùn)行檢測，提供綜合網(wǎng)管模塊，能夠?qū)ζ脚_各服務(wù)模塊及設(shè)備的資源利用的情況，通過圖表的方式進(jìn)行直觀展示;

　　具備權(quán)限控制功能，通過為不同用戶指定相應(yīng)的角色，來控制用戶的可操作范圍。

　　總之，隨著大數(shù)據(jù)和深度學(xué)習(xí)的發(fā)展，視頻結(jié)構(gòu)化必將會為視頻數(shù)據(jù)的智能化提供強(qiáng)有力的支持，從而使主動式防控系統(tǒng)成為可能。

　　公共安全當(dāng)前的狀況

　　平安城市的建設(shè)起源于“科技強(qiáng)警”戰(zhàn)略和城市報警與監(jiān)控系統(tǒng)建設(shè)即“3111”試點工程兩大項目。從2004年以來，經(jīng)過十多年的建設(shè)，平安城市的視頻存儲規(guī)模已經(jīng)突破EB級，這些巨量的視頻數(shù)據(jù)在社會公共安全管理和案件偵破等工作中越來越扮演著不可替代的作用。在公共安全信息化建設(shè)深入開展的背景下，現(xiàn)有視頻系統(tǒng)存在著缺乏深度應(yīng)用模式、視頻數(shù)據(jù)智慧化程度不高等突出問題。如何用新技術(shù)改造現(xiàn)有的視頻系統(tǒng)，使之能更好地適應(yīng)物聯(lián)網(wǎng)時代視頻智慧化、情報化的應(yīng)用需求已迫在眉睫。當(dāng)下主要的問題在于：缺少視頻信息情報的標(biāo)準(zhǔn)化生成方法，進(jìn)而缺少利用視頻信息情報指導(dǎo)偵查、破案的新型警務(wù)工作模式；視頻信息化情報化警務(wù)應(yīng)用各環(huán)節(jié)缺乏統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范。

　　所有這些問題的根本在于對視頻內(nèi)容的不理解，沒有一個高效的、標(biāo)準(zhǔn)化的視頻數(shù)據(jù)交換和視頻情報提取的方法。迎接視頻數(shù)據(jù)深度應(yīng)用的挑戰(zhàn)，其核心及瓶頸是通過研究視頻結(jié)構(gòu)化描述技術(shù)解決通用視頻數(shù)據(jù)向視頻信息化、視頻情報化方向的轉(zhuǎn)化，實現(xiàn)社會公共安全工作模式的創(chuàng)新。

　　2 視頻結(jié)構(gòu)化說明

　　視頻結(jié)構(gòu)化描述是一種基于視頻內(nèi)容信息提取的技術(shù)，它對視頻內(nèi)容按照語義關(guān)系，采用時空分割、特征提取、對象識別等處理手段，組織成可供計算機(jī)和人類理解的結(jié)構(gòu)化信息的技術(shù)。從數(shù)據(jù)處理的流程看，視頻結(jié)構(gòu)化描述技術(shù)能夠?qū)⒎墙Y(jié)構(gòu)化的視頻數(shù)據(jù)轉(zhuǎn)化為人和機(jī)器可理解的結(jié)構(gòu)化或者半結(jié)構(gòu)化情報信息，并進(jìn)一步轉(zhuǎn)化為公共安全實戰(zhàn)所用的情報數(shù)據(jù)，實現(xiàn)視頻數(shù)據(jù)向信息化、情報化的方向轉(zhuǎn)化，達(dá)到視頻感知世界的智慧應(yīng)用。視頻結(jié)構(gòu)化描述既是海量視頻實現(xiàn)信息化、情報化轉(zhuǎn)化行之有效的技術(shù)，也是當(dāng)前公共安全領(lǐng)域中對視頻結(jié)構(gòu)化處理的一個指向性方案。在視頻結(jié)構(gòu)化描述的內(nèi)容方面，公共安全關(guān)注的視頻信息主要是：人員、車輛、行為。在視頻中把人作為一個可描述的個體展現(xiàn)出來，其中包括人員的面部精確定位、面部特征提取、面部特征比對，人員的性別、年齡范圍、大致身高、發(fā)飾、衣著、物品攜帶、步履形態(tài)等多種可結(jié)構(gòu)化描述信息；對于車輛的描述信息包括：車牌、車顏色、車型、品牌、子品牌、車貼、車飾物信息等多種車輛描述信息；對于行為的描述信息包括：越界、區(qū)域、徘徊、遺留、聚集等多種行為描述信息。

　　經(jīng)過視頻結(jié)構(gòu)化處理后，可以達(dá)到如下目的：首先是視頻查找速度得到極大的提升。視頻結(jié)構(gòu)化之后，從百萬級的目標(biāo)庫中（對應(yīng)數(shù)百到一千小時的高清視頻）查找某張截圖上的行人嫌疑目標(biāo)，數(shù)秒即可完成；千萬級目標(biāo)的庫中查找，秒級

　　即可完成（如果實現(xiàn)云化，速度會更快）。在結(jié)構(gòu)化基礎(chǔ)上進(jìn)行檢索查詢，可以解決快速目標(biāo)查找問題。其次是存儲容量極大的降低，經(jīng)過結(jié)構(gòu)化后的視頻，存儲人的結(jié)構(gòu)化檢索信息和目標(biāo)數(shù)據(jù)不到視頻數(shù)據(jù)量的2%；對于車輛，不到1%；對于行為降得更多。存儲容量極大地降低，可以解決視頻長期存儲的問題。

　　最后，視頻結(jié)構(gòu)化可以盤活視頻數(shù)據(jù)，可作為數(shù)據(jù)挖掘基礎(chǔ)，視頻經(jīng)過結(jié)構(gòu)化處理后，存入相應(yīng)的結(jié)構(gòu)化數(shù)據(jù)倉庫，對各類的數(shù)據(jù)倉庫可以進(jìn)行深度的數(shù)據(jù)挖掘，充分發(fā)揮大數(shù)據(jù)作用，提升視頻數(shù)據(jù)的應(yīng)用價值，提高視頻數(shù)據(jù)的分析和預(yù)測功能。

　　3 視頻結(jié)構(gòu)化的應(yīng)用領(lǐng)域

　　"公共安全"顧名思意,就是事關(guān)人民普通大眾的安全.它指得不是某人的安全,也不是某一個特殊群體(譬如某搶劫團(tuán)伙)的安全,而是指身邊的普通大眾的安全. 公共安全“以人為本”，旨在保障國民安全和社會穩(wěn)定。隨著人類物質(zhì)文明的高度發(fā)展，國家、社會和個人對安全的依賴和企盼達(dá)到了前所未有的高度，公共安全所涉及的領(lǐng)域眾多： 公共安全包含信息安全，食品安全，公共衛(wèi)生安全，公眾出行規(guī)律安全、避難者行為安全，人員疏散的場地安全、建筑安全、城市生命線安全，惡意和非惡意的人身安全和人員疏散等； 公共安全事件包含自然災(zāi)害、事故災(zāi)難、公共衛(wèi)生事件、社會安全事件。 視頻數(shù)據(jù)作為物聯(lián)網(wǎng)視覺感知的重要來源，在公共安全領(lǐng)域發(fā)揮著越來越重要的作用。而視頻結(jié)構(gòu)化描述是針對非結(jié)構(gòu)化視頻數(shù)據(jù)的深入應(yīng)用，使得視頻數(shù)據(jù)成為可感知，可描述的智能型數(shù)據(jù)。因此其應(yīng)用領(lǐng)域極為廣泛，就公共安全來說，視頻結(jié)構(gòu)化描述幾乎滲透到公共安全的方方面面。

　　4 視頻智能分析

　　視頻結(jié)構(gòu)化描述是針對視頻內(nèi)容的智能結(jié)構(gòu)化分析，將非結(jié)構(gòu)化的視頻數(shù)據(jù)進(jìn)過智能分析形成可供描述的結(jié)構(gòu)化數(shù)據(jù)，因此視頻智能化分析是視頻結(jié)構(gòu)化的核心技術(shù)。智能視頻分析技術(shù)質(zhì)量的優(yōu)劣對視頻結(jié)構(gòu)化描述影響巨大，為了能更好地進(jìn)行視頻結(jié)構(gòu)化分析，智能視頻分析必須向如下三個方向進(jìn)行創(chuàng)新：一、視頻前期處理技術(shù)，主要包括圖像防抖動和圖像增強(qiáng)。視頻抖動主要成因是道路監(jiān)控中高架安裝方式帶來的較高頻率的小幅抖動，視頻防抖動能有效抑制智能分析中的誤報和漏報，提高智能分析的準(zhǔn)確率；圖像增強(qiáng)是對視頻源進(jìn)行視覺改善處理，有效改善畫質(zhì)，提高圖像的清晰度，使原本低質(zhì)量的圖像達(dá)到清晰可辨程度。二、提升分析準(zhǔn)確率技術(shù)。如人臉識別技術(shù)從最初的特征臉方法過渡到神經(jīng)元網(wǎng)絡(luò)方法，由可見光人臉識別到多源光人臉識別。同理，車輛和行為的智能分析也出現(xiàn)了更高效的分析技術(shù)。三、視頻后期處理技術(shù)，主要包括圖像復(fù)原和圖像摘要檢索等。圖像復(fù)原就是綜合利用超分辨率、去模糊濾波、變形矯正、色彩調(diào)整等對模糊視頻進(jìn)行處理，使之清晰可辨。

　　5 視頻結(jié)構(gòu)化需要突破瓶頸

　　海量的視頻圖像數(shù)據(jù)是公共安全部門信息化建設(shè)中積累的重要數(shù)據(jù)，通過對視頻內(nèi)容的分析和處理，快速準(zhǔn)確的發(fā)現(xiàn)有效線索，能夠充分發(fā)揮視頻資源的作用。然而，在公安信息化建設(shè)深入開展的背景下，現(xiàn)有視頻資源缺乏深度應(yīng)用的模式。其應(yīng)用的瓶頸是視頻信息如何高效提取，如何同其他信息系統(tǒng)進(jìn)行標(biāo)準(zhǔn)數(shù)據(jù)交換、互聯(lián)互通及語義互操作。解決這一問題的核心技術(shù)即是視頻結(jié)構(gòu)化描述的技術(shù)。但是作為一項視頻處理的核心技術(shù)，其實現(xiàn)上仍有部分瓶頸需要突破，首先是視頻結(jié)構(gòu)化核心算法技術(shù)的突破。如上文所述，視頻結(jié)構(gòu)化描述技術(shù)與視頻智能分析技術(shù)息息相關(guān)，但是當(dāng)下視頻智能分析技術(shù)受到各種應(yīng)用環(huán)境的制約，以人臉識別為例，當(dāng)下的人臉識別多半是配合式、重復(fù)式應(yīng)用場景，在這種應(yīng)用場景下，人臉的識別率基本能達(dá)到實用要求，而在無配合、多人臉、動態(tài)視頻的場景下就很難達(dá)到實用目標(biāo)。

　　為了解決這類問題，人臉識別的算法也從最初的模式識別進(jìn)化到深度的神經(jīng)元網(wǎng)絡(luò)學(xué)習(xí)模式，使得人臉檢測和識別的準(zhǔn)確度大大地提高，但是由此帶來的負(fù)面效應(yīng)也相當(dāng)明顯，首當(dāng)其沖的就是運(yùn)算復(fù)雜度的提升，需要耗費(fèi)大量的計算資源，針對這一瓶頸很多業(yè)內(nèi)公司推出了各種解決方案，如計算前端推移，后端借助GPU實現(xiàn)集群化計算等，所有的這些方向都為后續(xù)的視頻結(jié)構(gòu)化描述的實際應(yīng)用做前瞻，實現(xiàn)高效精準(zhǔn)的視頻結(jié)構(gòu)化描述技術(shù)成為今后一段時間各個算法研究機(jī)構(gòu)的努力方向。其次是視頻結(jié)構(gòu)化描述數(shù)據(jù)存儲，檢索和應(yīng)用技術(shù)，隨著數(shù)據(jù)容量的快速增長，結(jié)構(gòu)化視頻描述也越來越具備“大數(shù)據(jù)”的4V特征。如何實現(xiàn)視頻結(jié)構(gòu)化數(shù)據(jù)的大容量、高效存儲、高效檢索以及快速實現(xiàn)數(shù)據(jù)應(yīng)用，為最終用戶提供高效靈活的服務(wù)，都將成為今后各大視頻綜合應(yīng)用廠家面臨的問題。

　　再次是頂層設(shè)計，構(gòu)建標(biāo)準(zhǔn)體系。通過對視頻結(jié)構(gòu)化技術(shù)自身特點和應(yīng)用模式的研究，建立有關(guān)視頻結(jié)構(gòu)化描述的標(biāo)準(zhǔn)體系模型，制定覆蓋技術(shù)實現(xiàn)和應(yīng)用系統(tǒng)的標(biāo)準(zhǔn)化體系，有步驟地制定相關(guān)標(biāo)準(zhǔn)，以規(guī)范技術(shù)研究和設(shè)備開發(fā)，指導(dǎo)系統(tǒng)建設(shè)、運(yùn)行以及評估的各個方面，從源頭上為視頻信息情報化應(yīng)用的全面展開打好基礎(chǔ)。在這方面由全國安全防范報警系統(tǒng)標(biāo)準(zhǔn)化技術(shù)委員會（SAC/TC100）歸口并組織起草的國家標(biāo)準(zhǔn)GB/T30147-2013《安防監(jiān)控視頻實時智能分析設(shè)備技術(shù)要求》和GB/T30148-2013《安全防范報警設(shè)備電磁兼容抗擾度要求和試驗方法》，經(jīng)過國家標(biāo)準(zhǔn)管理委員會發(fā)布，已于2014年8月1日起實施。這些標(biāo)準(zhǔn)的制定，為視頻結(jié)構(gòu)化描述建立共同遵守的規(guī)則和行為規(guī)范，使視頻結(jié)構(gòu)化大規(guī)模應(yīng)用成為可能。

　　最后是視頻結(jié)構(gòu)化數(shù)據(jù)應(yīng)用大平臺建設(shè)，隨著視頻結(jié)構(gòu)化技術(shù)的日趨成熟，如何采集和管理這些巨量的視頻結(jié)構(gòu)化描述數(shù)據(jù)，如何面向公共安全部門提供快速、高效、專業(yè)、個性化的服務(wù)也是擺在服務(wù)商與業(yè)主面前的難題。例如許多廠家采用“云”和“大數(shù)據(jù)”框架模型做視頻結(jié)構(gòu)化描述技術(shù)的平臺架構(gòu)來滿足大數(shù)據(jù)量的數(shù)據(jù)存儲、生命周期管理以及數(shù)據(jù)的快速響應(yīng)。

　　6 視頻結(jié)構(gòu)化描述技術(shù)發(fā)展前景

　　視頻結(jié)構(gòu)化描述技術(shù)緊緊貼合視頻內(nèi)容的分析、提取，將非結(jié)構(gòu)化視頻數(shù)據(jù)處理成可供快速檢索定位的信息化數(shù)據(jù)。隨著視頻結(jié)構(gòu)化描述技術(shù)的發(fā)展和成熟，必然為視頻數(shù)據(jù)的信息化、情報化、智能化提供強(qiáng)有力的支撐，變視頻的被動防御為主動識別，使相應(yīng)的系統(tǒng)成為智能，主動式防控系統(tǒng)成為可能，從而打通系統(tǒng)間視頻情報傳遞、打通從前端采集到后端情報化應(yīng)用。隨著近年視頻系統(tǒng)的建設(shè)，社會上已經(jīng)存在巨量的視頻數(shù)據(jù)并且仍然在實時地產(chǎn)生大量的視頻數(shù)據(jù)，所有的這些都為視頻結(jié)構(gòu)化描述技術(shù)提供了廣闊的市場前景。