成像對于許多機器人應(yīng)用至關(guān)重要，能讓機器人執(zhí)行基本任務(wù)，躲避障礙物，進行導(dǎo)航以及確?；景踩?。 顯然，提供成像的方式是采用低成本視頻攝像頭，或者再好點，使用兩個攝像頭實現(xiàn)立體視野和深度感知。 但后者存在一些缺點。
使用雙攝像頭實現(xiàn)三維成像會增加功耗和空間需求，同時也會使外形尺寸和制造工藝變得復(fù)雜，并且增加成本。 由于三維成像是從基本“協(xié)助”單元到自主駕駛車輛應(yīng)用的主流，因此設(shè)計人員需要比簡單添加更多攝像頭更好的替代方案。
為此，設(shè)計人員正在越來越多地使用替代方案，這些方案在封裝、成本、功耗、數(shù)據(jù)縮減和整體性能方面存在優(yōu)勢。 這些替代方案中就有飛行時間 (ToF) 成像系統(tǒng)（通常又稱為光探測和測距，或稱作 LIDAR）。 這些成像系統(tǒng)可采用紅外 (IR) 成像（通常稱為熱成像）作為輔助手段。
從 IR 談起
紅外電磁波的波長比可見光譜紅端的電磁波更長；IR 波段的波長通常被認為在 700 nm (0.7 μm) 到 1 mm (1000 μm) 之間。 簡單的說，這些波長表示物體的熱輻射。 通過恰當(dāng)?shù)?IR 成像系統(tǒng)，此 IR“熱圖”被轉(zhuǎn)換為可見光圖像，通常含有添加的偽色，以突出相對溫度（圖 1）。
圖 1：水從水龍頭進入浴缸時的紅外圖像；注意，為更好地顯示溫差而使用了“偽色”。 （感謝 FLIR Systems, Inc. 提供圖片）
注意，該 IR 成像不同于 IR 傳感。 感測是一種用于檢測，或者甚至是測量熱源的非接觸方法，例如人員經(jīng)過作為報警系統(tǒng)一部分的被動紅外 (PIR) 傳感器，或者監(jiān)測到管道過熱；沒有類似圖像的細節(jié)或者圖像分辨率。
為何使用 IR 來替代，或者用于補充傳統(tǒng)的可見光成像？ 有多個理由：
現(xiàn)在，由于高集成度、高性能元件的出現(xiàn)，并且這些元件具有易于使用的接口，使得實施 IR 成像子系統(tǒng)大為簡化。 例如，F(xiàn)LIR Systems, Inc. 的 Lepton IR 攝像頭（圖 2）。 該器件的尺寸約為 10 × 12 × 6 mm，集成了定焦鏡頭組、適用于 8 - 14 μm IR 的 80 × 60 像素長波紅外 (LWIR) 微測傳感器陣列、以及信號處理電子元件。
圖 2：FLIR Lepton 成像儀（圖示不含插座）高度集成，包括信號處理和用戶可編程功能。 （感謝 FLIR Systems, Inc. 提供圖片）
通過使用行業(yè)標(biāo)準(zhǔn) MIPI 和 SPI 視頻接口，以及類似雙線 I2 C 的串行控制接口，使得互連大大簡化（圖 3）。 除了尺寸小巧、易于使用，Lepton 單元還具有高性能，成像快（不超過 0.5 秒），且熱靈敏度低于 50 mK。 工作功率也較低，為 150 mW（典型）。
圖 3：這張 Lepton 裝置的簡化框圖顯示了其一體式圖像處理單元、基本傳感器陣列，以及簡單的用戶系統(tǒng)接口。 （感謝 FLIR Systems, Inc. 提供圖片）
這樣的產(chǎn)品得益于用戶的實踐經(jīng)驗，因此 FLIR 為攝像頭模塊提供分線板，它兼容基于 ARM 的評估板和 Raspberry Pi（圖 4）。 這款 25 mm × 24 mm 的電路板需要 3 V 到 5.5 V 單電源供電，帶有 25 MHz 系統(tǒng)時鐘、用于其他低噪電源軌的內(nèi)部 LDO、標(biāo)準(zhǔn)互連接頭，以及用于 Lepton 模塊自身的 32 引腳 Molex 排針。
(a)
(b)
圖 4：Lepton 分線板 (a)（不含 Lepton 單元）得益于其標(biāo)準(zhǔn)接頭和接口 (b)，允許設(shè)計人員使用各種評估板對該單元進行評估和編程。 （感謝 FLIR Systems, Inc. 提供圖片）
ToF 的興起
熱圖像對于許多應(yīng)用都很有用，但卻不能滿足這些應(yīng)用的全部要求，此時就需要通常采用 3D 技術(shù)的可見光成像系統(tǒng)。 顯而易見，這就需要采用標(biāo)準(zhǔn)的視頻攝像頭。現(xiàn)在許多廠商都提供這樣的攝像頭，并且提供許多不同的分辨率、光靈敏度、尺寸和接口選擇。 若需要立體成像，則使用一對攝像頭。
盡管熱成像已問世數(shù)十年，但相比如今的成像裝置，其性能欠佳、成本和功率消耗較高，而 ToF 技術(shù)則相對較新。 20 世紀(jì) 90 年代，此項技術(shù)首先作為學(xué)術(shù)概念被提出，然而能讓它切實可行的基本元件和處理能力直到過去十年才出現(xiàn)。
ToF 通常是許多應(yīng)用的首選成像方法，包括自主駕駛車輛（自動駕駛汽車），并且已經(jīng)進行數(shù)百英里的實際道路測試。 （在架構(gòu)方面，智能或自主車輛屬于輪式機器人系統(tǒng)，帶有傳感器、算法和定義的動作，只是角度不同。） 相比傳統(tǒng)成像攝像頭，ToF 方法實際上具有一些明顯優(yōu)勢（討論如下）。
工作方式：傳統(tǒng)攝像頭成像的工作原理通常被工程設(shè)計人員所理解，比較直觀，而 ToF 則了解的人不多，并且更多依賴于通過方程和感測到的光子實現(xiàn)。 此項技術(shù)包括兩個關(guān)鍵元件：一個精確控制和調(diào)制式光源（固態(tài)激光或 LED，通常在 850 μm 近 IR 范圍下工作，因此肉眼不可見）、一個用于“查看”由來自成像場景的發(fā)射光線反射的像素陣列。
圖 5：ToF 的原理很簡單：在場景中投射脈沖光，捕捉反射光線脈沖及其時間；不過實現(xiàn)起來較為復(fù)雜，但現(xiàn)在已經(jīng)可行。 （感謝 Texas Instruments 提供圖片）
要完全了解 ToF 原理，需要明白定義其工作原理的方程式，且要考慮一些不可避免的錯誤來源，然后對其進行補償。 整體 ToF 過程可通過兩種方式完成：光源以低占空比脈沖重復(fù)，或者由連續(xù)正弦波或方波源進行調(diào)制。 若使用脈沖模式，反射的光能通過兩個異相窗采樣，這些采樣值用于計算到目標(biāo)的距離。 若使用連續(xù)模式，傳感器每次測量時取四個采樣值，每個采樣值偏置 90?，這樣便可計算照射和反射之間的相位角以及距離。
ToF 序列和計算的輸出是表示成像區(qū)域的點數(shù)據(jù)集合，術(shù)語“點云”由此而來。[1]
相對利弊：使用一個或兩個攝像頭的傳統(tǒng)成像，還是使用 ToF 方法，需要根據(jù)應(yīng)用的具體情況進行判斷。 對于基本的檢測和缺陷識別，假設(shè)物體已知并且目標(biāo)在照明受控的環(huán)境中經(jīng)過特征提取/對比，那么提供二維圖像的單攝像頭通常是最佳選擇。 但是，若照明發(fā)生變化，ToF 可能會更好，因為它受到環(huán)境光線變化的影響較小。
對于使用兩個傳統(tǒng)攝像頭的三維成像，需要以機械和安裝問題為起點從多方面考慮并做出決定。 即使這些都不是問題，處理圖像的系統(tǒng)也必須采用功能強大的算法，以解決“對應(yīng)”問題，即將一個攝像頭中場景中的點和另一個攝像頭中場景中的相同點匹配。 這樣做需要大量顏色或灰階變化，深度準(zhǔn)確性通常由于成像場景的不均勻表面而受到限制。 相比之下，ToF 系統(tǒng)受到機械問題、照明與對比度問題的影響較小，不需要三維結(jié)果的圖像對應(yīng)匹配。
鑒于具有響應(yīng)快、處理大范圍客觀特征的能力，以及生成的點云的本質(zhì)，ToF 系統(tǒng)非常適合于在自主駕駛車輛中將手勢、面部或身體姿勢轉(zhuǎn)換為命令，以及捕捉周圍環(huán)境。 然而，由于許多基礎(chǔ)成像攝像頭已成為市面上的常見設(shè)備，因此使用傳統(tǒng)的單個或兩個攝像頭配置的解決方案成本更低。
實現(xiàn)：ToF 系統(tǒng)有五個主要的功能塊：
光源：生成精確定時的光源脈沖的元件
光學(xué)器件：對焦傳感器上的光線對焦鏡頭；可能還帶有光學(xué)帶通濾波器，以降低環(huán)境光線的“噪聲"
圖像傳感器：用于捕捉從被照射場景反射回的光線
管理電子元件：控制發(fā)光單元和圖像傳感器，并使其同步
計算單元和接口：根據(jù)發(fā)出光線與返回光線的時間差以及感測到的光子計算距離
選擇光發(fā)射器和成像傳感器是配置 ToF 系統(tǒng)的第一步。 發(fā)射器選擇包括二極管，如 Vishay VSMY1850x01，這是一種專用于高速運行的 850 μm IR 器件。 該器件支持由 100 mA 驅(qū)動的 10 納秒上升和下降時間，使其適合脈沖模式。
傳感器或像素陣列是 ToF 系統(tǒng)的核心，現(xiàn)在已能作為更大、集成度更高的設(shè)備的一部分提供，如 Texas Instruments OPT8241 飛行時間傳感器/控制器 IC（圖 6）。 如簡化型框圖（圖 7）所示，該器件包括傳感器源（上述項目 3）、控制電子元件（項目 4），并且可向諸如 OPT9221 飛行時間控制器等協(xié)同處理器提供數(shù)字化反射數(shù)據(jù)，處理器可利用數(shù)字化傳感器的數(shù)據(jù)計算深度數(shù)據(jù)。 OPT9221 還具備各種校正功能，包括抗鋸齒、非線性補償和溫度補償。
圖 6：使用 TI OPT8241 搭配 OPT9221 計算引擎，設(shè)計人員可以通過適度的硬件工作和相對較新的元件搭建 ToF 系統(tǒng)。
圖 7：OPT8241 的簡化型內(nèi)部框圖表明其用于實現(xiàn) ToF 前端時具有一定復(fù)雜性；包括調(diào)制控制和照明 LED 驅(qū)動器。 （感謝 Texas Instruments 提供圖片）
正如設(shè)計用于不僅能夠捕捉場景，還能以一致、有用的方式進行的任何視頻系統(tǒng)一樣，ToF 軟件的設(shè)計并不繁瑣。 TI 提供詳細的用戶指南[2]、估算工具，以便設(shè)計人員評估性能和參數(shù)的相互作用，如深度分辨率、二維分辨率（像素量）、距離范圍、幀率、視場 (FoV)、環(huán)境光和物體的反射率。
結(jié)論
機器人系統(tǒng)的設(shè)計人員始終面臨如何提供細節(jié)清晰的“周圍環(huán)境感測”的挑戰(zhàn)。 幸運的是，如今的設(shè)計人員可以采用高性能、功能強大、相對低成本的技術(shù)，包括紅外成像、傳統(tǒng)視頻攝像頭、甚至基于飛行時間原理的 LIDAR。 因此，由于它們的整體功耗較低，許多全套設(shè)計采用這些方法的組合，以克服任何單一技術(shù)的缺陷，從而提供更全面的多維度圖片。
參考文獻：
"Time-of-Flight Camera - An Introduction," Texas Instruments
"Introduction to the Time-of-Flight (ToF) System Design," Texas Instruments
