Categories
最新消息

構建AI新生態,「軟體定義」攝像機打造機器智能新捷徑


如今,新基建的浪潮已經席捲了幾乎所有社會經濟領域。各行各業都希望藉助新基建普及的東風,搭上數字化經濟的帆船。AI 作為推動社會科技進步的原動力,一直受到社會各界的普遍關注,而機器視覺作為人工智慧發展的重要分支,尤其在安防領域發展飛速。兩年前,華為就提出了「軟體定義」的概念,提出了機器視覺前端智能化的幾點優勢,如今,軟體定義攝像機的出現將這一切變成了現實。

8 月 26 日,華為機器視覺與 InfoQ 聯合舉辦的 DevRun 開發者沙龍·華為機器視覺技術開放日 – 杭州專場,在華為杭州研究所成功舉辦。本次沙龍邀請到華為機器視覺多位資深技術專家對攝像機 App 開發、攝像機 AI 模型轉換與精度分析、攝像機 AI 模型部署與推理等幾個議題做了深度分享,沙龍介紹了 AI 演算法實踐以及軟體定義攝像機的特點和功能。華為機器視覺專家們還通過實操環節為與會開發者們進行了演示。

什麼是軟體定義攝像機?

華為機器視覺營銷專家孟杭理就華為軟體定義攝像機(Software-Defined Camera,簡稱 SDC)進行了介紹。面向不同的行業和不同的演算法性能要求,華為 X、M、C、D 四大系列軟體定義攝像機提供了開放的介面和強勁的算力,開放者基於軟體定義攝像機開放介面既可直接調用攝像機演算法能力進行應用開發,也可以開發自己的演算法和應用並載入到攝像機中。HoloSens Store 是華為機器視覺推出的一站式智能視頻演算法商城,商城集合了可運行於華為軟體定義攝像機和智能視頻雲平台的優秀第三方演算法,滿足金融、能源、教育、園區等諸多行業智能化訴求。HoloSens Store 致力於讓開發者從「演算法」到「應用」不再空中樓閣;讓使用者從「想法」到「演算法」,不再遙不可及。

如何玩轉攝像機 App 軟體開發?

機器視覺 SDC OS 首席架構師韓霆軍談到了軟體定義攝像機的軟體架構設計理念。雖然該平台屬於端側產品,但大量引用了微服務設計理念來實現軟硬體之間、軟體和業務特性之間,以及應用之間的解耦。華為軟體定義攝像機的很多特性都能通過微服務來按需載入和任意組合,從而提供多種功能。開發者在攝像機上可以不受任何干擾地使用底層資源,也可以像手機一樣限制應用的許可權,滿足安全性等需求。

構建AI新生態,「軟體定義」攝像機打造機器智能新捷徑

華為還提供界面的通用配置功能,幫助開發者方便地自動生成簡單的 web 頁面。開發者只需簡單地對接通用配置的查詢介面,就可以生成自己的應用。

華為軟體定義攝像機定義了二進位消息頭,可以把它理解為是 HTTP 協議 2.0 版本,軟體定義攝像機對外提供的介面規則和 RESTFUL 裡面定義的很多約定俗成的規則也是類似的。這裡還可定義擴展頭,希望通過擴展頭的機制實現介面的持續演進,保持前向和後向的兼容。為了提升效率,客戶端可以把請求批量一次性發到服務端。每一個使用者可以給自己的每一個請求設置 Transaction-ID,服務端會保證這個請求或響應跟 Transaction-ID 是一致的,從而實現靈活的編程或業務處理。

構建AI新生態,「軟體定義」攝像機打造機器智能新捷徑

韓霆軍就 App 開發后的發布方式做了講解。華為提供的服務介面類似於消息介面,所以並不會給開發者提供任何動態庫。支持文件操作的編程語言都可以和華為的服務交互。韓老師還展示了基礎的安裝操作,演示了 App Demo 在攝像機上運行的畫面。

攝像機 AI 模型轉換與精度分析華為機器視覺智能演算法專家馬俊凱博士做了題為《攝像機 AI 模型轉換與精度分析》的分享。華為軟體定義攝像機依託於華為的晶元算力,可以很容易地將演算法落地在應用場景中。馬俊凱詳細介紹了開發者如何將自身開發的深度學習演算法模型跑在軟體定義攝像機上。

構建AI新生態,「軟體定義」攝像機打造機器智能新捷徑

軟體定義攝像機有很好的演算法移植能力,以 Caffe 模型為例,將 Caffe 模型通過模型轉換工具轉化為可在軟體定義攝像機上載入的 NNIE 模型,該文件模型以 wk 為後綴,開發者可以在軟體定義攝像機上調用 NNIE 介面做模型推理。

馬俊凱還解答了開發者關心的精度損失問題。

RuyiStudio 模型轉換工具同時也提供了精度損失分析的功能。該工具讀入模型文件(prototxt、caffemodel 文件),選定一個測試集,利用測試集做前向推理,得到 GPU 模型每一層 Feature Map 的輸出,再用同樣一張測試圖片和 WK 模型做前向推理,得到轉化完成之後 WK 每一層的 Feature Map 輸出,用兩層 Feature Map 的輸出,就可以計算出每一層 Feature Map 的相似度水平。如果量化誤差很小,那麼相似度就會很高。

馬俊凱還分析了掉點問題,對於模型的優化問題,也提出了一些建議。

構建AI新生態,「軟體定義」攝像機打造機器智能新捷徑

攝像機 AI 模型部署與推理實踐

華為機器視覺智能演算法軟體架構設計師楊磊就攝像機 AI 模型部署與推理實踐做了分析與解讀。

構建AI新生態,「軟體定義」攝像機打造機器智能新捷徑

  • 載入模型關注兩個欄位,第一個是 url,第二個是 method。url 是 SDC_URL_NNIE MODEL,而 method 就是 SDC_METHOD_CREATE。
  • 卸載模型類似,url 類型就是 SDC_URL_NNIE MODEL,method 就是 SDC_METHOD_DELETE。
  • 前向處理的 url 是 SDC_URL_NNIE_FORWARD,而它的 method 是 SDC_METHOD_GET 過程,要從內存中 GET 到 Feature Map。

楊磊還就 YUV 處理問題給予了解答。因為輸入輸出的 blob 是三維的,而不同的模型輸出的 blob 個數不一樣。NNIE 輸出的內存排布格式也不一樣,它首先排布坐標框,接著排前景概率、類概率,然後按照不同 Anchor 來排布,直到最後回歸。可以按照這樣的編譯地址取到相應的值,回歸出坐標框。

機器視覺開發者社區介紹

華為機器視覺開發者社區運營經理譚義鑫從社區論壇、生態開放實驗室、賦能培訓、職業認證、開發者活動五個方面對華為機器視覺開發者社區進行了詳細的介紹。開發者社區既是知識分享和技術交流平台,也是開發者求助的通道,開發者遇到機器視覺技術問題,都可以在社區論壇或通過工單進行求助。

機器視覺生態開放實驗室在杭州、北京、成都、深圳均有布局,有低門檻、使用便捷、在線申請、設備多樣化等特點,實驗室提供包括 HoloSens IVS3800、 HoloSens IVS1800、HoloSens SDC 等多種機器視覺相關產品,開發者可在線申請。

小 結

本次 DevRun 開發者沙龍 華為機器視覺技術開放日 – 杭州專場內容豐富,精彩紛呈,解構了「軟體定義攝像機」,也為關注機器視覺的開發者們帶來了一場技術盛宴。今年華為機器視覺還將在各地開辦各類技術沙龍活動,持續展開技術佈道,感興趣的開發者可以持續關注。

點個在看少個 bug