在“無鏡頭”成像的重大發(fā)展中，東京工業(yè)大學(xué)(東京工業(yè)大學(xué))工程學(xué)院的一個研究小組設(shè)計了一種新的圖像重建方法，可以在很短的計算時間內(nèi)實現(xiàn)高質(zhì)量的成像。新方法基于稱為VisionTransformer的前沿機(jī)器學(xué)習(xí)技術(shù)，極大地促進(jìn)了“無鏡頭”相機(jī)的實際應(yīng)用。

相機(jī)通常需要鏡頭系統(tǒng)來捕捉聚焦圖像，而鏡頭相機(jī)幾個世紀(jì)以來一直是主要的成像解決方案。鏡頭相機(jī)需要復(fù)雜的鏡頭系統(tǒng)來實現(xiàn)高質(zhì)量、明亮和無像差的成像。近幾十年來，人們對更小、更輕、更便宜的相機(jī)的需求激增。顯然需要具有強(qiáng)大功能的下一代相機(jī)，這些相機(jī)足夠緊湊，可以安裝在任何地方。然而，鏡頭相機(jī)的小型化受到鏡頭系統(tǒng)和折射鏡頭所需的聚焦距離的限制。

計算技術(shù)的最新進(jìn)展可以通過用計算代替光學(xué)系統(tǒng)的某些部分來簡化鏡頭系統(tǒng)。由于使用了圖像重建計算，可以放棄整個鏡頭，從而實現(xiàn)超薄、輕量、低成本的無鏡頭相機(jī)。無鏡頭相機(jī)最近越來越受歡迎。但迄今為止，圖像重建技術(shù)尚未建立，導(dǎo)致無鏡頭相機(jī)的成像質(zhì)量不足和計算時間冗長。

最近，研究人員開發(fā)了一種新的圖像重建方法，可以縮短計算時間并提供高質(zhì)量的圖像。研究團(tuán)隊的核心成員、東京工業(yè)大學(xué)的MasahiroYamaguchi教授在描述這項研究背后的最初動機(jī)時說：“沒有鏡頭的限制，無鏡頭相機(jī)可以是超微型的，可以實現(xiàn)新的應(yīng)用。這超出了我們的想象。”他們的工作已發(fā)表在OpticsLetters上。

無鏡頭相機(jī)的典型光學(xué)硬件僅由薄掩模和圖像傳感器組成。然后使用數(shù)學(xué)算法重建圖像，如圖1所示。掩模和傳感器可以在已建立的半導(dǎo)體制造工藝中一起制造，以供將來生產(chǎn)。掩模對入射光進(jìn)行光學(xué)編碼并在傳感器上投射圖案。盡管鑄造的圖案對人眼來說是完全不可解釋的，但它們可以通過光學(xué)系統(tǒng)的明確知識進(jìn)行解碼。

圖1.無鏡頭成像流程。無鏡頭成像過程如何工作的示意圖，從光收集到對信號進(jìn)行編碼，再到使用計算算法進(jìn)行后處理。圖片來源：東京科技的XiuxiPan

然而，基于圖像重建技術(shù)的解碼過程仍然具有挑戰(zhàn)性。傳統(tǒng)的基于模型的解碼方法近似于無透鏡光學(xué)器件的物理過程，并通過解決“凸”優(yōu)化問題來重建圖像。

這意味著重建結(jié)果容易受到物理模型不完美近似的影響。此外，解決優(yōu)化問題所需的計算非常耗時，因為它需要迭代計算。

深度學(xué)習(xí)可以幫助避免基于模型的解碼的局限性，因為它可以學(xué)習(xí)模型并通過非迭代的直接過程來解碼圖像。然而，現(xiàn)有的使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)的無鏡頭成像深度學(xué)習(xí)方法無法生成高質(zhì)量的圖像。它們效率低下，因為CNN基于相鄰“局部”像素的關(guān)系處理圖像，而無透鏡光學(xué)系統(tǒng)通過屬性將場景中的局部信息轉(zhuǎn)換為圖像傳感器所有像素上重疊的“全局”信息稱為“多路復(fù)用”。

TokyoTech研究團(tuán)隊正在研究這種多路復(fù)用特性，現(xiàn)在已經(jīng)提出了一種用于圖像重建的新型專用機(jī)器學(xué)習(xí)算法。所提出的算法，如圖2所示，基于一種稱為VisionTransformer(ViT)的前沿機(jī)器學(xué)習(xí)技術(shù)，該技術(shù)在全局特征推理方面表現(xiàn)更好。

該算法的新穎之處在于具有重疊“補(bǔ)丁”模塊的多級變壓器塊的結(jié)構(gòu)。這允許它有效地學(xué)習(xí)分層表示中的圖像特征。因此，所提出的方法可以很好地解決復(fù)用特性，避免傳統(tǒng)基于CNN的深度學(xué)習(xí)的局限性，從而實現(xiàn)更好的圖像重建。

圖2.建議的基于ViT的圖像重建神經(jīng)網(wǎng)絡(luò)。VisionTransformer(ViT)是領(lǐng)先的機(jī)器學(xué)習(xí)技術(shù)，由于其具有重疊“patchify”模塊的多級變壓器塊的新穎結(jié)構(gòu)，它在全局特征推理方面表現(xiàn)更好。這使其能夠有效地學(xué)習(xí)分層表示中的圖像特征，使其能夠解決多路復(fù)用特性并避免傳統(tǒng)基于CNN的深度學(xué)習(xí)的限制，從而實現(xiàn)更好的圖像重建。圖片來源：東京科技的XiuxiPan

雖然傳統(tǒng)的基于模型的方法需要較長的計算時間來進(jìn)行迭代處理，但所提出的方法更快，因為直接重建可以通過機(jī)器學(xué)習(xí)設(shè)計的無迭代處理算法進(jìn)行。

由于機(jī)器學(xué)習(xí)系統(tǒng)學(xué)習(xí)物理模型，模型逼近誤差的影響也顯著降低。此外，所提出的基于ViT的方法使用圖像中的全局特征，適用于在圖像傳感器上處理大范圍的投射模式，而傳統(tǒng)的基于機(jī)器學(xué)習(xí)的解碼方法主要通過CNN學(xué)習(xí)局部關(guān)系。

總之，所提出的方法解決了傳統(tǒng)方法的局限性，例如基于迭代圖像重建的處理和基于CNN的機(jī)器學(xué)習(xí)與ViT架構(gòu)，能夠在較短的計算時間內(nèi)獲取高質(zhì)量的圖像。

研究小組進(jìn)一步進(jìn)行了光學(xué)實驗——正如他們在最新出版物中所報道的——這表明采用所提出的重建方法的無鏡頭相機(jī)可以產(chǎn)生高質(zhì)量和視覺上吸引人的圖像，而后處理計算的速度足夠高實時捕捉。組裝好的無鏡頭相機(jī)和實驗結(jié)果分別如圖3和圖4所示。

“我們意識到小型化不應(yīng)該是無鏡頭相機(jī)的唯一優(yōu)勢。無鏡頭相機(jī)可以應(yīng)用于不可見光成像，其中使用鏡頭是不切實際甚至不可能的。此外，無鏡頭相機(jī)捕獲的光學(xué)信息的潛在維度大于2，這使得一次性3D成像和捕獲后重新聚焦成為可能。我們正在探索無鏡頭相機(jī)的更多功能。無鏡頭相機(jī)的最終目標(biāo)是微型而強(qiáng)大。我們很高興能夠引領(lǐng)下一代成像和傳感解決方案的新方向，”該研究的主要作者、東京科技大學(xué)的XiuxiPan先生在談到他們未來的工作時說。

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險自擔(dān)。 如有侵權(quán)請聯(lián)系刪除！