深度感知是現(xiàn)實(shí)機(jī)器視覺應(yīng)用中不可或缺的關(guān)鍵功能。安森美 (onsemi) 的Hyperlux? ID 間接飛行時(shí)間 (iToF) 深度傳感器，憑借更少、更小、更簡(jiǎn)單的器件，即可實(shí)現(xiàn)高精度深度感知。本系列文章將深度拆解安森美Hyperlux ID 技術(shù)及應(yīng)用。

第一篇推文介紹了 機(jī)器視覺基礎(chǔ)知識(shí)

第二篇文章介紹了 iToF 技術(shù)

強(qiáng)光環(huán)境下的高精度深度感知

環(huán)境光過(guò)強(qiáng)會(huì)導(dǎo)致像素接收的深度信號(hào)飽和甚至完全失效，這是 iToF 深度傳感技術(shù)的一大痛點(diǎn)。當(dāng)傳感器前方的場(chǎng)景處于強(qiáng)光照射下時(shí)（例如工業(yè)裝配車間環(huán)境），所有圖像傳感器，尤其是采用 iToF 技術(shù)的 CMOS 圖像傳感器，其判斷深度與距離的難度都將顯著增加。

要削弱環(huán)境光的影響，需采用環(huán)境光抑制的圖像處理技術(shù)。該技術(shù)巧妙運(yùn)用光學(xué)原理與波長(zhǎng)調(diào)制方法，將光學(xué)信號(hào)視為聲學(xué)信號(hào)進(jìn)行處理，從而克服物體表面光信號(hào)過(guò)飽和的問(wèn)題。環(huán)境光過(guò)強(qiáng)會(huì)給距離與反射率的測(cè)量帶來(lái)諸多挑戰(zhàn)，而 Hyperlux ID 則通過(guò)兩種方式克服了這些挑戰(zhàn)：一是在符合人眼安全標(biāo)準(zhǔn)的前提下優(yōu)化照明功率；二是調(diào)節(jié)積分時(shí)間，即在設(shè)定的測(cè)量周期內(nèi)，靈活調(diào)整傳感器的光積分量。

消除運(yùn)動(dòng)偽影

采用 iToF 技術(shù)的 CMOS 圖像傳感器，面臨的另一大挑戰(zhàn)是消除運(yùn)動(dòng)偽影。運(yùn)動(dòng)偽影指?jìng)鞲衅髟谠噲D捕捉運(yùn)動(dòng)物體時(shí)，圖像中出現(xiàn)的失真或不真實(shí)的元素。在普通 CCD 數(shù)碼相機(jī)中，高速運(yùn)動(dòng)的物體在畫面中會(huì)呈現(xiàn)為模糊影像。由于膠片相機(jī)也會(huì)產(chǎn)生類似的模糊效果，這種現(xiàn)象常被視為攝影的固有特性，甚至被用作藝術(shù)表現(xiàn)手法。

對(duì)于高速光電探測(cè)器而言，這類本應(yīng)表現(xiàn)為模糊的影像（例如旋轉(zhuǎn)的螺旋槳葉片，或傳送帶另一側(cè)高速運(yùn)轉(zhuǎn)的機(jī)械臂），可能呈現(xiàn)為懸浮在空中的怪異虛影。這些虛影并非真實(shí)物體，因此需要圖像處理單元將其識(shí)別并忽略。

AF0130 的偽影補(bǔ)償始于其全局快門技術(shù)，該技術(shù)可讓傳感器的所有像素同時(shí)曝光。

圖 1. 左：搭載智能 iToF 的安森美 AF0130。右：競(jìng)品 iToF 傳感器。

為了測(cè)試這種智能 iToF 技術(shù)的有效性，安森美開展了一項(xiàng)測(cè)試：使用一個(gè)裝有三塊不同厚度木塊的旋轉(zhuǎn)輪盤（木塊顏色越深則厚度越大）進(jìn)行成像。在競(jìng)品傳感器拍攝的畫面中，輪盤上始終呈現(xiàn)出六塊木塊的影像——這是傳感器受環(huán)境光等因素影響，與光線發(fā)生異常作用而產(chǎn)生的光學(xué)錯(cuò)覺。相比之下，AF0130 拍攝的視頻雖也存在輕微的光學(xué)錯(cuò)覺，但其每一幀畫面中僅顯示三塊木塊，只是木塊會(huì)出現(xiàn)位置小幅偏移和交替閃爍換位的現(xiàn)象。

AF0130 拍攝的每一幀畫面都更加貼近真實(shí)場(chǎng)景，基于這些畫面生成的深度圖，精度也遠(yuǎn)高于競(jìng)品。

成像系統(tǒng)的典型幀曝光處理流程是，先將曝光數(shù)據(jù)寫入存儲(chǔ)器，然后分配時(shí)間執(zhí)行讀出階段。讀出階段的任務(wù)是，將傳感器采集到的像素值依次數(shù)字化并存儲(chǔ)到存儲(chǔ)器中。普通圖像傳感器被設(shè)定為曝光后立即開始讀出階段。如果傳感器需要對(duì)連續(xù)八幀圖像重復(fù)此過(guò)程，那么曝光間隔將過(guò)大，導(dǎo)致深度圖各部分?jǐn)?shù)據(jù)無(wú)法準(zhǔn)確匹配。這個(gè)問(wèn)題會(huì)導(dǎo)致圖像中出現(xiàn)大量運(yùn)動(dòng)偽影，對(duì)于繁忙的城市街道或裝配線傳送帶等實(shí)際應(yīng)用場(chǎng)景而言，這是不可接受的。

圖 2.標(biāo)準(zhǔn) iToF 與智能 iToF 對(duì)比

AF0130 搭載的智能 iToF 技術(shù)通過(guò)先連續(xù)完成八幀曝光，再統(tǒng)一執(zhí)行所有幀的讀出操作，克服了運(yùn)動(dòng)偽影的難題。這一設(shè)計(jì)大大減少了運(yùn)動(dòng)模糊現(xiàn)象，顯著提升了手勢(shì)識(shí)別系統(tǒng)的可靠性，這類系統(tǒng)需要準(zhǔn)確區(qū)分具有指令意義的手臂動(dòng)作與模糊虛影。（各幀曝光之間仍存在微小的時(shí)間間隔，但這些間隔短到足以忽略不計(jì)。）

以下是 AF0130 典型曝光場(chǎng)景的計(jì)算過(guò)程：120 萬(wàn)像素傳感器的標(biāo)準(zhǔn)成像幀率約為 29.97 幀/秒；在 MIPI 存儲(chǔ)總線單通道吞吐量為 1.2 Gbps 的條件下，其最優(yōu)曝光時(shí)間（首光子到末光子的響應(yīng)速度）為 300 μs。存儲(chǔ)幀中每個(gè)像素為 12 位，因此，當(dāng)兩條 MIPI 線路同時(shí)工作時(shí)，吞吐量應(yīng)該約為 2 億像素/秒。

表1

一張 120 萬(wàn)像素的圖像包含 1280 x 960 個(gè)像素，因此該圖像的讀出耗時(shí)為 6.1 ms。Hyperlux AF0130 可在首次讀出階段開始前，將所有曝光數(shù)據(jù)存儲(chǔ)在傳感器內(nèi)。相較之下，競(jìng)品傳感器會(huì)在前四幀之間穿插執(zhí)行三次讀出操作，因此其首光子到末光子的響應(yīng)速度為 0.3 ms x 4 + 6.1 ms x 3 = 19.2 ms。

相較之下，AF0130 首光子到末光子的響應(yīng)速度為 0.3 ms x 4 + 0.25 ms x 3 = 2 ms。憑借這一簡(jiǎn)單的流程調(diào)整，AF0130 在 29.97 fps 幀率下，運(yùn)動(dòng)性能達(dá)到了競(jìng)品的 9.6 倍。

再看另一種應(yīng)用場(chǎng)景：假設(shè)幀率提升至約 60 fps。為支持深度處理，每個(gè) MIPI 通道的吞吐量需要達(dá)到 2 Gbps（此處假定該條件具備可行性）。在該吞吐量下，傳感器的像素處理能力可達(dá) 3.33 億像素/秒，單幀圖像的讀出耗時(shí)為 3.7 ms。AF0130 首光子到末光子的響應(yīng)速度為 0.1 ms x 4 + 0.25 ms x 3 = 1.15 ms。而競(jìng)品傳感器的這一數(shù)值為 0.1 ms x 4 + 3.7 ms x 3 = 11.5 ms。這意味著，安森美 Hyperlux ID 系列傳感器在 60 fps 的幀率下，運(yùn)動(dòng)性能達(dá)到了競(jìng)品的 10 倍。

利用情景配置實(shí)現(xiàn)靈活適配與微調(diào)

通過(guò)校準(zhǔn) Hyperlux ID 的全局快門，可以針對(duì)特定應(yīng)用對(duì)這款圖像傳感器進(jìn)行微調(diào)。例如，如果傳感器需適配僅兩米外的傳送帶場(chǎng)景，則可以將 AF013x 校準(zhǔn)為聚焦于四米范圍內(nèi)的反射光信號(hào)。這類用于微調(diào)傳感器工作特性的參數(shù)規(guī)格可以作為情景配置存儲(chǔ)在傳感器本地。這樣一來(lái)，當(dāng)應(yīng)用場(chǎng)景發(fā)生變化時(shí)，只需切換使用對(duì)應(yīng)的情景配置即可。

AF013x 還具備動(dòng)態(tài)調(diào)整能力。例如，當(dāng)反射物體距離過(guò)近，導(dǎo)致曝光強(qiáng)度過(guò)高、圖像細(xì)節(jié)丟失時(shí)，AF013x 可自動(dòng)縮短曝光時(shí)間；或者，如果全局快門原本針對(duì)遠(yuǎn)距離探測(cè)設(shè)定，而近處有物體進(jìn)入畫面，動(dòng)態(tài)情景切換功能可讓傳感器立即重置參數(shù)，避免近處物體在畫面中呈現(xiàn)為大片模糊虛影。這一功能在安防監(jiān)控場(chǎng)景中尤為實(shí)用：例如，傳感器通常針對(duì) 10 米外的大門進(jìn)行參數(shù)調(diào)校，但仍能清晰捕捉在 2 米處進(jìn)入畫面的移動(dòng)物體（即便是高速移動(dòng)物體）。

降低系統(tǒng)復(fù)雜度與成本

對(duì)于采用 iToF 技術(shù)的標(biāo)準(zhǔn)單調(diào)制器圖像傳感器而言，深度感知的相關(guān)算法通常需要由外置微控制器或 FPGA 陣列來(lái)處理。而 Hyperlux ID AF0130 將這些功能直接集成到芯片內(nèi)部，使組件設(shè)計(jì)不再需要以下外置器件：

- 片外微控制器或 FPGA 陣列（這類器件需要獨(dú)立的電源樹和電壓軌）

- 幀存儲(chǔ)單元（通常需要存儲(chǔ)器控制器）

- 用于連接圖像傳感器、微控制器和存儲(chǔ)器的高速接口

將深度處理功能集成到圖像傳感器內(nèi)，不僅能降低系統(tǒng)帶寬占用與算力需求，還可簡(jiǎn)化搭載該傳感器的組件設(shè)計(jì)、縮小組件尺寸，并降低組件的生產(chǎn)制造成本與運(yùn)維成本。

Hyperlux ID 量化結(jié)果

安森美 Hyperlux ID AF0130 與 AF0131 深度傳感器所實(shí)現(xiàn)的技術(shù)突破，可以重塑工業(yè)機(jī)器視覺組件的設(shè)計(jì)范式，使這類組件更易于生產(chǎn)制造、維護(hù)保養(yǎng)、工程開發(fā)，同時(shí)具備更高的性價(jià)比。

- AF013x 搭載的 120 萬(wàn)像素 BSI 全局快門，可使 CMOS 圖像傳感器實(shí)現(xiàn)超高精度的深度感知能力。

- 智能 iToF 技術(shù)與片上存儲(chǔ)結(jié)合，可減少甚至消除運(yùn)動(dòng)偽影，助力需要高精度機(jī)器視覺的圖像與物體識(shí)別系統(tǒng)類 AI 軟件提升準(zhǔn)確性。

- 片上集成算法處理功能，完全消除對(duì)外部微控制器的依賴，從而簡(jiǎn)化組件設(shè)計(jì)、縮小組件尺寸，同時(shí)降低功耗。

- 卓越的環(huán)境光抑制能力可提升傳感器的無(wú)歧義測(cè)距范圍，從而支持更廣泛的機(jī)器視覺新應(yīng)用。

- 依托安森美行業(yè)標(biāo)準(zhǔn) Devware X 開發(fā)環(huán)境，可實(shí)現(xiàn)開放式軟件開發(fā)與可編程控制，并支持自定義情景配置。

技術(shù)愿景：邁向真正的機(jī)器視覺

在需要兼顧速度與精度、但無(wú)需超遠(yuǎn)距離感知的場(chǎng)景中，Hyperlux ID 解決了機(jī)器視覺技術(shù)實(shí)用化與適配難題。現(xiàn)代機(jī)器需要“看清”自己的動(dòng)作，只需在關(guān)鍵微秒內(nèi)獲取相關(guān)的深度與空間數(shù)據(jù)。曾幾何時(shí)，低功耗 CMOS 技術(shù)因易受溫度與噪聲干擾，并不適用于這類應(yīng)用場(chǎng)景。但如今，隨著工程設(shè)計(jì)的改進(jìn)與編程技術(shù)的優(yōu)化，CMOS 技術(shù)不僅克服了自身的短板，更在性能上超越了 CCD 等傳統(tǒng)技術(shù)。

隨著機(jī)器視覺技術(shù)逐漸成為各類時(shí)空感知設(shè)備的標(biāo)配功能，工業(yè)設(shè)備也亟需在技術(shù)性能、可靠性、供應(yīng)鏈穩(wěn)定性與技術(shù)支持服務(wù)上均能滿足規(guī)模化應(yīng)用需求的圖像傳感器。安森美提供的元器件產(chǎn)品，正致力于推動(dòng)機(jī)器視覺生態(tài)朝著更簡(jiǎn)潔、更高效的方向發(fā)展。