國立台灣科技大學-專利商品網-專利技術-基於可見光相機及紅外線熱感應相機強化及校正的人車物件偵測技術

●

技術名稱 Technology

●

發明人 Inventor

花凱龍, 陳永耀, 鍾昕燁, 林詠翔, 羅宥鈞, 胡志剛, 黃耀邦, 許家雄,

●

所有權人 Asignee

國立臺灣科技大學

●

專利國家 Country	申請號 Application No.	專利號 Patent No.	中心案號 Serial No.
中華民國	112138531	申請中	1120056TW0
美國	63/690110	申請中	1120056USP0

點閱數：218

技術摘要：

使用可見光-熱感測器的多光譜物體檢測是使智能車輛能夠準確感知其環境的關鍵方法。但是，由於存在如不同攝像機視野導致的校準失誤和在不同波長下捕獲的圖像中的模式差異等問題，融合和補充多光譜信息變得具有挑戰性。為了解決這些挑戰，我們提出了一種名為強化和對齊為基礎的融合模型（RA-FMDet）的新型多光譜物體檢測系統。該系統結合了跨模態強化（CMR）模塊和分層模態對齊（HMA）策略。CMR模塊使用混合變壓器-卷積神經網絡架構，有效地從多光譜數據中提取高質量的語義表示。HMA策略在像素和錨點級別解決了校準失誤。為了評估RA-FMDet，我們建立了一個涵蓋各種場景和條件的綜合數據集。通過優化可見光-熱感測器的硬件配置並使用修改過的校準板減少圖像模式之間的偏移，獲得了這個數據集。在具有挑戰性的KAIST數據集和已建立的數據集上進行的大量實驗表明，所提出的RA-FMDet在物體檢測中超越了最先進的模型。

相關圖片：