最早問世的一批多光譜系統(tǒng)要么用于太空科學(xué)成像，要么用于繪畫和文物的分析和數(shù)字化處理。1972年發(fā)射的陸地衛(wèi)星1號(LANDSAT 1)裝備了一個四波段多光譜成像系統(tǒng)，包括可見光的綠色和紅色通道，以及兩個NIR波段。

到1999年發(fā)射陸地衛(wèi)星7號(LANDSAT 7)時，該系統(tǒng)已經(jīng)擴展到8個多光譜波段，包括從可見光的藍色通道到熱紅外波段。這些以及隨后發(fā)射的多光譜衛(wèi)星主要用于農(nóng)業(yè)和環(huán)境分析，應(yīng)用范圍涵蓋海岸和洋流觀測、植被分析、干旱脅迫、燃燒/火災(zāi)影響地區(qū)監(jiān)測，甚至于云覆蓋模式的分析。從所用的光學(xué)元件到傳感器，這些都是極其復(fù)雜和昂貴的系統(tǒng)。

同樣，先進的多光譜靜物相機多年來一直用于藝術(shù)和考古應(yīng)用領(lǐng)域。這些相機使用多達18個多光譜波段來繪制和初步識別藝術(shù)品上的顏料和修飾。這些圖像也用于對舊的和褪色的文件和文物進行數(shù)字化和/或視覺增強處理。修復(fù)人員還可以使用多光譜成像技術(shù)來區(qū)分原始部分與修復(fù)部分，并選擇合適的修復(fù)程序。

隨著時間的推移，基于傅里葉變換光譜學(xué)、液晶可調(diào)濾波器、寬頻帶和窄頻帶濾波器等，已經(jīng)開發(fā)出不同類型的多光譜系統(tǒng)。隨著各種方法的改進，它們的應(yīng)用范圍已經(jīng)從超高端的衛(wèi)星和藝術(shù)保護系統(tǒng)遷移到將分辨率、幀速率和性價比完美融合在一起的機器視覺相機，這使得它們得以用于廣泛的多光譜應(yīng)用。在本技術(shù)指南中，我們將重點介紹這些基于相機的多光譜成像技術(shù)，這些技術(shù)在機器視覺應(yīng)用中正變得越來越流行。

兩個(或多個)獨立的相機(面陣掃描或線陣掃描)

為機器視覺設(shè)置增加更多光譜范圍的最初方法，是將多個相機對準同一個目標(biāo)。例如，如果一個水果生產(chǎn)商想要檢驗水果的顏色是否正常以及內(nèi)部是否存在損傷，除了彩色相機，他們可能還會在檢驗設(shè)備中添加NIR相機。但是，將兩個圖像的光譜數(shù)據(jù)合并成單一的檢驗步驟是極具挑戰(zhàn)性且很容易出錯的任務(wù)。即使這兩個相機是緊挨著放置，由于光學(xué)視差的存在，要對齊兩個圖像的像素并非易事。因此，任何試圖“融合”這兩個圖像的嘗試通常都沒有成功。相反，大多數(shù)客戶將額外的光譜成像視為完全獨立的檢驗步驟，相機、照明、拍攝和安裝(和費用)之間沒有任何關(guān)聯(lián)，并且沒有辦法利用整個過程中使用的任何其他相機的圖像數(shù)據(jù)。

濾光輪相機(面陣掃描)

濾光輪相機(也稱為基于多窄頻帶濾波器的成像儀)通過旋轉(zhuǎn)安裝在傳感器或鏡頭前面的濾光輪中的濾光片來捕獲多通道光譜圖像。這種濾光輪通常可支持多達12個波段。然后從多光譜圖像中估計每個像素的光譜反射率?；跒V光輪的相機的優(yōu)點是每個波段均可實現(xiàn)全空間分辨率。濾光片可以根據(jù)應(yīng)用要求定制，并且可以對濾光輪進行修改。該系統(tǒng)的缺點是成像速度慢、耗時長、圖像配準復(fù)雜、幾何畸變復(fù)雜，以及高昂的濾光片定制成本。此外，向系統(tǒng)中添加機械元件(電動輪)也可能帶來問題，因為可能需要對其進行定期維護或更換。

(多光譜相機使用濾光輪捕捉多光譜圖像。通過旋轉(zhuǎn)安裝在鏡頭前面或傳感器和鏡頭之間的濾光輪進行工作。)

像素化多光譜濾波陣列(面陣掃描)

使用拜耳彩色濾波陣列(CFA)和去馬賽克技術(shù)的單傳感器成像，是當(dāng)前緊湊型低成本彩色數(shù)字相機的理想配置。通過將CFA的概念擴展到多光譜濾波陣列(MSFA)，人們可以在不增加尺寸或成本的情況下一次性獲得多光譜圖像，在某些情況下甚至可以獲得高光譜圖像。這種捕獲方法也稱為快照馬賽克成像?？煺振R賽克傳感器可支持4至40個通道之間的任何VIS(可見光)、VIS-NIR和NIR-SWIR波長。在批量生產(chǎn)中實現(xiàn)非常高的基于像素的一致性，是一項非常有挑戰(zhàn)性的任務(wù)。實際波段的串?dāng)_可能比較高，這會影響整體光譜靈敏度、與像素相關(guān)的噪聲參數(shù)，以及光譜重建的準確性。這些濾光片的算法校正非常復(fù)雜。更重要的是，對多光譜濾波陣列進行多光譜去馬賽克一直是一個非常有挑戰(zhàn)性的問題，因為濾波陣列中每個波段的采樣都非常稀疏。波段越多，各波段的空間準確度越低。

(使用基于快照馬賽克傳感器的相機，只需一次拍攝就可以獲得多光譜圖像。)

兩個帶分束器的相機(面陣掃描)

在解決與多個獨立相機方法相關(guān)的問題時，其中一種方法是引入分束器，該元件可以從一組共同的光學(xué)器件同時捕獲多個相機上的圖像。以兩個拜耳模式相機為例，可以捕獲兩個3波段的圖像并將其重構(gòu)為一個6通道(2倍RGB)光譜圖像?；蛘?，拜耳相機可以與NIR相機相結(jié)合使用，產(chǎn)生4通道RGB+NIR輸出?？梢蕴砑宇~外的分束器和相機來捕獲額外的波段。這種方法可有效緩解與基本的多相機方法相關(guān)的圖像捕獲和圖像配準問題。光譜信息可以在捕獲的多個圖像之間進行關(guān)聯(lián)和組合。最大的缺點是系統(tǒng)中有多個相機，這使得系統(tǒng)的體積比較大且成本高昂。此外，使用分束器也會造成光強度的損失。這種方法通常需要大功率照明，因此需要在高速和系統(tǒng)的光敏感度之間進行權(quán)衡。

(使用了分束器的多光譜成像技術(shù)。外部分束器，可以讓多個相機同時捕獲圖像，但是存在光量受損的缺點。)

(通過棱鏡模組實現(xiàn)將一條光軸進行分束成像的多光譜成像技術(shù)。前一分束器成像的進化版本，既能實現(xiàn)同一光軸 ，也可以節(jié)約鏡頭等配件的數(shù)目。)

多傳感器二向色棱鏡式相機(面陣掃描或線陣掃描))

乍看上去，這種方法似乎與分束器方法非常相似，但是兩者之間存在著兩個非常重要的區(qū)別。首先，僅安裝傳感器(而不是完整的相機)并將其與棱鏡面對齊。這使得該相機與之前介紹的多相機分束器成像系統(tǒng)相比，體積顯著減小。其次，棱鏡塊使用硬二向色涂層作為干涉濾光片，將入射光中適當(dāng)光譜范圍內(nèi)的光線投射到每個傳感器。因此，每個通道都接收在其需捕獲范圍內(nèi)的全部光線，無論這些光線在光譜的可見或不可見區(qū)域中是寬波段還是窄波段;而不是將相同的光線分成多個通道，造成強度的損失。與馬賽克方法不同，此方法可使每個波段都實現(xiàn)全空間分辨率。如今，在面陣掃描應(yīng)用場景中，此方法能夠在每波段以超過100 fps提供320萬像素的分辨率，而在線陣掃描應(yīng)用場景中，此方法能夠在每波段以35 kHz提供8192像素。該方法的主要限制是棱鏡的尺寸，因此相機需要支持多個大型傳感器。這可能會限制可以利用的傳感器的最大分辨率和/或像素尺寸。

(在棱鏡式相機中，棱鏡塊由硬二向色涂層組成，是“天然”的干涉濾光片。這些濾光片主要負責(zé)分離入射光。棱鏡塊上的附加濾光片用于二次分離。)

多線相機(帶濾光片的三線、四線、TDI線陣掃描)

具備多線傳感器的線陣掃描相機也可用于多光譜應(yīng)用。配備三線RGB傳感器的線陣掃描相機已在彩色成像應(yīng)用中得到廣泛應(yīng)用。四線傳感器相機可以由R-G-B-NIR或R-G-B單色組成。這是實現(xiàn)多光譜成像的方法之一。多線傳感器的線條數(shù)可以從3到數(shù)十條不等。目前最流行的相機有8到16條線，每一行像素都有一個獨特的光譜帶通濾光片，因此可用于捕獲多達16個波段的多光譜圖像。同樣的技術(shù)可以擴展到TDI傳感器，該傳感器由大約200條線組成，分為3或4個譜域。多線相機也可以在現(xiàn)有的RGB傳感器上安裝額外的濾光片。這種方法根據(jù)濾光片的數(shù)量，將水平線分辨率劃分為最多4個部分。通過將5個濾光片與一個RGB傳感器相結(jié)合，可以實現(xiàn)最多15個光譜波段。這種方法的缺點是，光譜通道數(shù)越多，系統(tǒng)的水平分辨率就越低。

(具備多線傳感器的線陣掃描相機可用于多光譜應(yīng)用，其中每一行像素都有一個獨特的光譜帶通濾光片。)

(該方法使用線陣掃描傳感器，通過在光學(xué)組件中添加額外的濾光片，可以將傳感器的水平分辨率劃分為多光譜域。此例中的三線傳感器被分為三個光譜分離，進而形成一個9通道多光譜相機。)

用于多光譜成像的推掃式相機(線陣掃描)

推掃式方法通常用于高光譜相機，也可用于多光譜成像，能夠為可捕獲的光譜波段的數(shù)量增加極大的靈活性。x-λ掃描，即跨越水平分辨率和多個波段同時進行掃描，而沿傳輸方向(y軸)的掃描是連續(xù)的。使用這種技術(shù)可以逐行捕獲完整的空間和光譜信息。推掃式相機由三個主要部件組成：鏡頭、成像光譜儀和硅基圖像傳感器(在使用VIS-NIR的情況下)或InGaAs傳感器(在使用NIR-SWIR的情況下)。成像光譜儀由光分散單元和聚焦光學(xué)器件組成，是推掃式相機的關(guān)鍵組件。在成像光譜儀中，光線穿過輸入狹縫、準直儀、分散單元，然后聚焦到圖像傳感器，從而提供單行的x-λ坐標(biāo)。如今，在實現(xiàn)高達1024像素線分辨率的同時，還可在5到224波段之間自由地選擇波長。光譜范圍取決于使用的傳感器類型，但VIS-NIR很受歡迎。雖然這種技術(shù)提供很好的靈活性，但缺點是隨著通道數(shù)量的增加，速度也會變慢。在使用全波段(224個波段)方法(一種高光譜方法)時，幀速率僅可達到500 Hz。這種速度對于許多工業(yè)應(yīng)用來說太慢了。(利用推掃式高光譜相機技術(shù)可以進行多光譜成像，在這個過程中會逐行捕獲完整的空間和光譜信息。)

用于多光譜成像的面陣掃描與線陣掃描

● 在上述多光譜成像方法中，只有極少的幾種可用于高速工業(yè)應(yīng)用。在面陣掃描中，多傳感器棱鏡式方法非常適合用于對高速、大批量生產(chǎn)的商品進行檢驗。其他面陣掃描方法，如像素化多光譜像素陣列(快照馬賽克)和基于濾光輪的方法，對于工業(yè)成像來說太慢。除此之外，利用快照馬賽克相機獲取空間分辨率和對像素信息進行重建也是非常有挑戰(zhàn)性的任務(wù)。

● 基于濾光輪的相機體積龐大，由多個移動部件組成，這樣會降低該方法的穩(wěn)固性。盡管如此，與多傳感器棱鏡式方法相比，快照馬賽克和濾光輪方法可提供更多光譜波段?？煺振R賽克技術(shù)適用于農(nóng)業(yè)、智能農(nóng)業(yè)、醫(yī)學(xué)成像等不需要較高空間準確度的領(lǐng)域?；跒V光輪的相機特別適合用于對古畫和古典藝術(shù)品進行數(shù)字存檔。多傳感器棱鏡式相機適用于精準農(nóng)業(yè)、智能農(nóng)業(yè)、水果、蔬菜、肉類、海鮮和工業(yè)產(chǎn)品(如食品和藥品包裝、電子產(chǎn)品和印刷電路板)的在線檢驗。

● 對于利用線陣掃描相機進行的多光譜成像，有兩種主要的方法非常有潛力。一種是使用推掃式高光譜傳感器，該傳感器允許從高光譜方法(225個光譜波段)縮減到多光譜方法(5個光譜波段，行頻為6.5 kHz)，這使得該方法可用于食品、回收和包裝貨物的檢驗等工業(yè)中速應(yīng)用。

● 多傳感器棱鏡式多線傳感器方法可實現(xiàn)非常高的速度(像素4K，行頻高達77 kHz)，對可見光和NIR波段進行同時成像，以獲得多達四個光譜波段的組合。由于具備出色的速度，此方法可用于所有基于帶式、通道式或自由落體式排序的高速應(yīng)用。