Categories
最新消息

深圳神目信息COVID-19抗疫科研成果入選ICMLA2020 oral論文


全球機器學習與應用國際頂級會議ICMLA2020(International Conference on Machine Learning)將於2020年12月在美國佛羅里達舉行,會議由IEEE主辦。近日,神目科技創新科研成果《Application of Face Recognition in Tracing COVID-19 Fever Patients and Close Contacts》被大會收錄為oral論文。

深圳神目信息COVID-19抗疫科研成果入選ICMLA2020 oral論文

ICMLA2020國際機器學習與應用會議旨在彙集頂尖的學術科學家、研究人員和研究學者,交流和分享在機器學習和應用的經驗和研究成果,展示和討論機器學習和應用領域的最新創新、趨勢以及遇到的實際挑戰和採用的解決方案。

本次神目科技被收錄的oral論文主要闡述了在COVID-19全球爆發的背景下,神目基於人臉識別雲平台,集成熱成像、人臉識別、人臉檢索引擎技術,來檢測具有發熱癥狀的病人,對其密切接觸者追蹤,並將預警信息實時推送給管理人員以及時採取應對措施的創新技術和解決方案。論文中所闡述的產品與方案已被應用於園區、醫院、校園、菜市場等場景,助力防疫抗疫工作,阻斷疫情傳播。

神目科技一直專註於人工智慧及物聯網前沿技術的探索,並致力於將前沿技術應用於智慧城市的建設中,用科技力量服務社會民生。

深圳神目信息COVID-19抗疫科研成果入選ICMLA2020 oral論文

人臉識別在追踪COVID-19發熱患者和近距離接觸中的應用

COVID-19的爆發給全球人民帶來了生命威脅,在有效疫苗問世之前,及時發現並隔離發熱病人及其密切接觸者,切斷傳播鏈至關重要。在挽救更多生命的使命感驅使下,我們開發了基於邊緣智能設備和雲平台的人臉識別系統,用於檢測有發熱癥狀的患者,並對密切接觸者進行追蹤。危險人員信息可通過web/APP推送給管理人員發出實時警報,以及時採取干預行動,控制病毒的傳播。

1.體溫篩查

發熱病人的體溫篩查主要通過紅外熱成像技術來實現。發熱篩查的邊緣設備配置有雙攝像頭:一個RGB攝像頭和一個熱成像攝像頭。RGB攝像頭用於檢測人臉並定位額頭部位,熱敏攝像頭用來測量額頭皮膚的溫度,為了提供溫度測量的準確性,可以選擇使用黑體。在我們的方案中,我們將黑體內置於設備中,以實現部署及使用的便捷性、準確性。根據應用需求,體溫篩查設備可以是一個平板,可以是一個攝像頭,或者是一個帶有HDMI介面的盒子。

體溫篩查設備還配置有本地人臉識別模塊。當異常體溫被發現之後,可通過人臉識別技術確認他的身份,以及人臉聚類技術進行其活動軌跡的追溯。除此之外,體溫篩查設備還具備門禁控制、人臉考勤等功用。

深圳神目信息COVID-19抗疫科研成果入選ICMLA2020 oral論文

體溫篩查流程

2.人臉識別平台

系統中有兩類人臉識別平台。一類在邊緣設備中,只能識別已在設備中註冊的人員,其他人員識別為訪客,該平台更適合用於小型企業的智能化管理(防疫體溫篩查、門禁、考勤、在崗狀態)。還有一類是雲端的人臉識別模塊。這是一個模塊化設計、並具備開放介面的平台,也是實現發熱病人軌跡及密切接觸者跨鏡追蹤的必要選擇。該平台可以添加一系列智能邊緣設備,滿足多場景應用需求,例如,除了人臉識別,還可以實現車牌識別、槍支識別、商品識別、摔倒識別等演算法載入及智能設備的接入。

平台構成

深圳神目信息COVID-19抗疫科研成果入選ICMLA2020 oral論文

系統架構

我們在平台設計上採用流行的微服務架構——Spring Cloud大數據架構,為開發者提供了快速構建分散式系統的常見模式工具,例如配置管理,服務發現,斷路器,智能路由,微代理,控制匯流排。

系統主要的功能模塊包括人臉圖像提取、人臉圖像對象存儲、人臉特徵提取、人臉特徵比對、服務監聽器及數據分析和報表。可根據應用需要添加更多的功能模塊,如人臉屬性(年齡、性別)模塊。

功能模塊的中心是一個隊列管理器,我們使用的是rabbitmq,它管理了以下信息:1)圖片信息,2)特徵向量信息, 3)特徵聚類信息 , 4)特徵監測信息。

人臉圖像提取模塊負責從邊緣設備獲取圖像。這些邊緣設備具備嵌入式的通訊能力,可以進行人臉檢測、本地人臉識別和一些控制邏輯。當檢測到人臉時,人臉圖像和幀圖像都會被發送到雲伺服器。

第二個模塊是圖像上傳模塊,它負責從rabbitmq上傳人臉或幀圖到雲端存儲。

第三模塊是特徵提取模塊。這是人臉識別的一個關鍵功能。它通過socket通信從rabbitmq接收人臉圖像。特徵提取可以使用任何人臉識別模型,如基於ArcFace、Circleloss或其他。

特徵提取模塊採用的是GPU伺服器集群,具有自動路由、負載均衡和故障恢復功能。GPU集群支持單機和批處理模式。在批處理模式中,在緩衝區中積累了許多請求。當人臉數量達到一個閾值時,它們會被一次性發送到GPU伺服器。而提取的特徵向量被返回到rabbitmq,並保存至VIP/visitor redis資料庫中。

特徵向量比對模塊接收來自rabbitmq的特徵向量,並調用向量搜索引擎(VSE)獲取人臉的聚類信息。聚類信息被保存至Elasticsearch

……

向量搜索引擎VSE

向量搜索引擎VSE是最關鍵的模塊之一。它可以在幾千萬到幾十億規模的大數據人臉圖像中提供準確、快速(根據實際應用需求,來決定是否需要實時)的搜索和數據檢索。

根據不同的應用規模,我們可提供全局搜索引擎,也支持小型VIP搜索引擎。在全局搜索引擎中,所有進入系統的數據會形成一個大的資料庫,搜索引擎可以在資料庫中為某一特定主體找到同行人,或者形成同一人的人臉聚類,以滿足應用的需求。

VIP搜索引擎在給定的數據集中進行搜索,比如搜索某個客戶在一個門店,或者多個門店,或者所有門店的人臉。VIP的設定可以是銀行或門店的重要客戶,或者某個藥店的慣偷。

VSE中的關鍵演算法是KNN(k nearest neighbour)搜索演算法。在實際應用中,為了將效率提升幾級,同時只損失邊際性能,通常採用近似最近鄰ANN為6. 我們的ANN演算法是業界最為先進的技術之一,它支持在數億條數據中進行毫秒級的對象檢索。

VSE命令介面從管道服務層接收人臉特徵向量,並接收查詢人臉特徵向量。當在人臉特徵向量庫中沒有找到有效記錄時,會在資料庫中插入新的記錄。當資料庫中找到有效記錄時,將餘弦相似度與給定閾值進行比較。當相似度高於閾值的記錄,將返回其人臉ID.

發熱病人及密切接觸者追蹤演算法

3. 發熱病人及密切接觸者追蹤

面對COVID-19給人民帶來的生命威脅,促使我們在已有的人臉平台上進一步擴展開發,根據疫情防疫需求接入體溫篩查設備,並生成數據報表。

我們的人臉識別平台提供了支持體溫篩查報告以及患者軌跡追溯以及密切接觸者追蹤的能力,我們同時在邊緣設備中增加了蒙面人臉檢測能力。發送到雲端的人臉數據同時包括蒙面的人臉信息。

當一個病人的發熱癥狀被確認后,他在所有測溫設備及人臉識別設備中被採集到的人臉圖像都能夠被追溯。通過全局搜索引擎檢索到該病人的人臉聚類結果,還能夠進一步確定其密切接觸者,由此可以根據需求採取後續行動,阻斷病毒的傳播。

近距離接觸者追蹤

除了人臉圖像外,我們的系統向雲端發送及保存的還包括一個幀圖像,這使得實現發熱病人和密切接觸者追蹤成為可能。

當系統檢測到一個人的體溫高於一個閾值,例如37.3℃時,此時,跟蹤演算法啟動。通過上傳發熱人員的人臉圖像,可以從人臉聚類結果中按照攝像頭ID及時間檢索出這個人在不同位置的被抓拍的所有人臉。然後,所有人臉的幀圖像被上傳檢索,以檢測幀圖像中出現的其他人臉,從而確認為密切接觸者。此外,還可以通過估測幀圖像上人與人之間的距離,檢測其是否小於某個物理距離,如2米。基於利用真實人物臉部的標稱寬度,兩個人的物理距離與圖像中的像素距離成正比,由此確認密切接觸者。

另一種檢索方法是採用攝像頭ID和時間戳來定義密切接觸者。由於體溫篩查設備是典型的小視野,它只允許一次測量一個人或測量多個人。因此可以通過判定在某個時間間隔內,如小於1秒的時間內,在同一設備測量體溫的人判定為密切接觸者。同時,可根據需要通過上述方法進行重複檢索,直至追溯出N代密切接觸者。

深圳神目信息COVID-19抗疫科研成果入選ICMLA2020 oral論文

體溫篩查及密切接觸者追蹤示例

4. 結論

面對COVID-19給人類帶來的巨大威脅,我們希望找到一個控制疫情傳播的有效方法,拯救更多生命。因此,我們開發了這套人臉識別系統,應用於發熱癥狀人員快速篩查,並對發熱癥狀的患者軌跡以及密切接觸者進行追溯,以幫助阻斷病毒的傳播鏈條。