帳號:
密碼:
智動化 / 文章 /

影像感測無所不在 全域快門擴大電腦視覺應用
成像效果更準確
[作者 王岫晨]   2022年09月21日 星期三 瀏覽人次: [7067]

大多數人每天都正在使用電腦視覺。舉個例子來說,一個是智慧型手機上的臉部辨識。如果消費者手機上有這一項功能,平時也可以用於解鎖螢幕或是電子支付,這表示你正在使用電腦視覺。另一例子,是當平時去超市或者超商付款時,收銀員會掃描所購買的產品條碼,這類日常生活情境都會用到電腦視覺。


電腦視覺與光學感測

全域快門一次可以拍攝整幅影像,而且拍攝時間非常短,成像效果非常準確,因此完全可以用於電腦視覺領域。

意法半導體亞太區影像事業部技術行銷經理林國志指出,電腦視覺是人工智慧的一個分支,能夠讓電腦和系統從數位影像、視訊和其它的視覺所輸入的資料中,提取出有意義的資訊,並根據這些資訊採取行動或提出分析建議。


在臉部辨識應用中,具有意義的資訊就是臉,系統會對臉進行影像採集,然後進行資訊處理,得出的結果就是驗證使用者身份,接著解鎖手機。在一般的情況下,電腦視覺都會產生資訊輸入和輸出,就以條碼掃描機來說,掃描條碼即是資訊輸入,透過鏡頭採集條碼的影像,並由系統讀取,最後加以辨識產品和價格。


一般來說,光學影像感測器分為兩種主要的架構。除了全域式快門之外,還有捲簾式快門,總共分為這兩種鏡頭架構。捲簾快門的設計目的,是為了捕捉靜態影像和視訊拍攝,因此需要非常高的解析度和色彩處理能力。目前大多數鏡頭都屬於捲簾快門,例如智慧型手機的主鏡頭、自拍鏡頭、建築中的監控鏡頭,甚至數位相機等,都是採用捲簾快門技術。因為這些應用情境都需要捕捉彩色影像,因此需要相當高的解析度。


唯一的問題在於,採用捲簾快門的電腦視覺技術,都是逐行拍攝影像。照片採用捲簾快門逐行拍攝的話,整個影像只有一幀。如果拍攝物件是車輛這樣的快速移動物體,影像可能會扭曲,無法顯示拍攝物件原本的樣子。如果影像扭曲就無法顯示物體的真實狀態,也就不能用於電腦視覺,無法判斷影像中的是不是另一輛車。因此,捲簾快門沒有被應用於電腦視覺技術中。然而,全域快門的原理完全不同,一次可以拍攝整幅影像,而且拍攝時間非常短。只要被拍攝的物件不是快速移動的物體,成像效果就會非常準確,因此完全可以用於電腦視覺。


電腦視覺應用情境


圖一 : 全域快門感測器的適用情境(source:st.com)
圖一 : 全域快門感測器的適用情境(source:st.com)

電腦視覺的應用都會使用到全域快門感測技術。實際上,電腦視覺的應用情境無處不在,可以將其歸為四大類。第一類叫做深度感測,這項應用時間比較久。透過使用兩個全域快門感測器搭建一組立體視覺系統,或者是使用一個全域快門感測器搭建結構光鏡頭系統。通常深度感測可以用於臉部辨識和3D掃描這類的應用情境。


第二類叫做生物辨識,這項應用可以採集人體各個部位的資訊,並將其用於身份辨識。人臉資訊可以用於臉部辨識或者2D智慧解鎖,體形資訊可以用於人的存在偵測,除此之外還有手勢偵測、掌紋辨識、虹膜辨識等。這些人體資訊都是獨一無二的,包括人臉、掌紋和虹膜等,皆可用於身份辨識。另外還有駕駛與車室內監視,採集司機與乘客的行為資訊進行分析,產生的結果就是系統發出的各類警示。


第三類就是擴增實境(VR)、虛擬實境(AR)和混合現實(MR),這類應用涉及了元宇宙的概念。當戴上VR頭部顯示裝置之後,使用者看不見周圍環境,只能依靠光學感測器才能知道環境的變化。通常VR頭戴式顯示裝置在內部和外部分別有一個鏡頭,內建鏡頭用於眼球追蹤,並透過兩個全域快門感測器進行眼球觀測,因為在實際應用情境中需要感知你的眼睛看哪個方向,透過眼球追蹤得到的資訊將提供不同的反饋。外置鏡頭則用於外部環境的追蹤,主要感知外部環境而非使用者眼球的變化。


這裡有兩類重要的應用情境。一類叫做6DoF,針對的是頭部行為。當使用者戴上VR頭戴式顯示裝置後,就會獲得6D感知能力。頭部可以做出左右、上下、前後六個角度的動作,因此被稱為「6DoF」(六個自由度追蹤)。另一類稱為「SLAM」(同步定位與地圖構建),例如使用者需要掌握所處房間的狀況,牆壁在哪裡、沙發在哪裡、自己所處在哪個位置,戴上VR頭戴式顯示裝置走動的時候,如何避免撞牆等。因此在使用AR/VR裝置的過程中,手勢偵測、掌紋辨識、臉部與情緒追蹤等功能是非常重要的。


除此之外,使用VR/AR裝置還可以進行生物辨識,例如手勢偵測或者手勢追蹤。通常在這種情境下,裝置可以透過使用者一個手勢來辨識這是哪種行為目的。例如使用者進行一場演講,透過一個手勢就可以自動翻到下一頁簡報或者翻回到首頁,又或是透過手勢告知助理按一下或按兩下滑鼠。這些應用都是透過手勢偵測來加以實現,裝置無需揣測使用者想表達的資訊,只需追蹤手勢即可。


最後一類應用是機器人與工業控制。例如無人機和掃地機器人在使用過程中需要避免相撞,所以要有物體偵測和情境分析能力,而這些都需要使用全域快門感測器。此外,前文所提到的條碼辨識,也屬於工業控制中的電腦視覺應用一環。



圖二 : 全域快門與捲簾快門的技術差異(source:st.com)
圖二 : 全域快門與捲簾快門的技術差異(source:st.com)

車內感測器

至於汽車領域的應用,車內感測器主要包括四大類:包括車內鏡頭,ADAS鏡頭、觀測鏡頭和售後鏡頭等,主要用於行車記錄器。意法半導體亞太區影像事業部資深技術行銷經理張程怡表示,2021年底車內鏡頭的市場滲透率約為10%,而到2024年就會達到50%。因此這一新興市場發展是十分迅速的,產業生態中的相關廠商正紛紛湧入。


車內鏡頭並不只一種,Euro NCAP為車輛評估標準體系,曾經對車內監控系統分為兩類:一類叫做駕駛監控系統DMS,另一類叫做車內乘客監控系統CMS或者OMS。駕駛監控系統的觀測物件就是司機,主要監控司機是否注意力集中,是否有分神或是打瞌睡,因為這些現象會嚴重危及行車安全。而車內乘客監控系統則主要觀測乘客狀況,特別是兒童,因為有些粗心的使用者下車後會將孩子遺留在車內。


駕駛監控系統DMS鏡頭安裝在駕駛員面前,觀測物件主要是臉,鏡頭必須做得很大,大概50~60度,解析度約100~230萬畫素。重點之一在於這裡必須採用NIR鏡頭,因為不僅需要白天對駕駛員進行監控,晚上也是需要,因為很多人會在夜裡開車。在這種漆黑的環境下,必須要有光源投射在駕駛員臉上,但肯定不能使用可見光,所以需要NIR技術。


車內乘客監控系統觀測的是車內所有乘員,但不同之處在於,因為這裡需要物體探測和辨識,所以需要彩色影像,而且觀測範圍比較寬廣,因此鏡頭視角需要更大,解析度需要更高,才能獲取觀測領域內所有細部資訊。


車內乘客監控與駕駛監控二合一系統,是將CMS、OMS和DMS結合。而車內乘客監控需要RGB彩色影像,駕駛監控則需要NIR影像,因此僅需單一鏡頭就可以同時支援RGB和NIR,這些都是車內鏡頭的設計要點。


結語

全域快門感測器的應用範疇十分廣泛,除了前文所提及的工業與車用之外,對於智慧家庭和智慧大樓也是非常適合的應用範疇。智慧家庭的應用需要考慮周全,使用者不希望家裡有個鏡頭全天候監視自己,與此同時又想要鏡頭和感測器帶來的益處,因為很多輔助功能可以讓使用者的生活變得更加舒適,全域快門感測器的優勢就是能夠實現這一點,而透過電腦視覺開發的功能,還能透過追蹤技術來達到人機互動的目的。


至於筆電和個人電腦鏡頭,也是全域快門感測器的應用範疇。筆電和PC應用全域快門技術的意義,可以進行臉部辨識、手勢控制、眼動追蹤、舒適度監測和隱私保護。ToF和ALS(環境光感測器)則可進行存在偵測、電池續航、螢幕亮度自動調整和隱私保護。以目前各廠商像是意法半導體所提供的影像產品,都可涵蓋上述的所有應用,包括全域快門產品、ToF、ALS等等,以及各種參考設計。


相關文章
模擬工具可預防各種車用情境中的嚴重問題
車商和一級供應商為連網汽車保護資料安全
ST以MCU創新應用潮流 打造多元解決方案
ST開啟再生能源革命 攜手自然迎接能源挑戰
ST引領智慧出行革命 技術創新開啟汽車新紀元
comments powered by Disqus
  相關新聞
» NEC與能火、微軟推出全球首個「生成式AI貝多芬」
» 高通執行長將於COMPUTEX 2024 分享智慧裝置上的生成式AI運算
» 國研院攜手台積電 成功開發磁性記憶體技術
» ST攜手Sphere Studios打造全球最大電影攝影機影像感測器
» 經濟部補助A+企業創新研發淬鍊 聚焦數位減碳及AI應用
  相關產品
» Littelfuse超小型包覆成型磁簧開關適用於空間受限設計
» Littelfuse新款SM10系列壓敏電阻突破汽車與電子產品浪湧保護成效
» 安勤全新EQM-EHL模組實現高畫質視覺體驗
» u-blox新款LTE-M模組整合GNSS增強工業連接性
» 恩智浦新一代MCX A微控制器擴充效能推動創新技術


刊登廣告 新聞信箱 讀者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 遠播資訊股份有限公司版權所有 Powered by O3
地址:台北數位產業園區(digiBlock Taipei) 103台北市大同區承德路三段287-2號A棟204室
電話 (02)2585-5526 #0 轉接至總機 / E-Mail: webmaster@hope.com.tw