專利商品網


    快速搜尋        


 
技術名稱 Technology
發明人 Inventor
花凱龍, 陳永耀, 鍾昕燁, 林詠翔, 羅宥鈞, 胡志剛, 黃耀邦, 許家雄,
所有權人 Asignee 國立臺灣科技大學

專利國家 Country 申請號 Application No. 專利號 Patent No. 中心案號 Serial No.
中華民國 112138531 申請中 1120056TW0
  點閱數:113

技術摘要:
使用可見光-熱感測器的多光譜物體檢測是使智能車輛能夠準確感知其環境的關鍵方法。但是,由於存在如不同攝像機視野導致的校準失誤和在不同波長下捕獲的圖像中的模式差異等問題,融合和補充多光譜信息變得具有挑戰性。為了解決這些挑戰,我們提出了一種名為強化和對齊為基礎的融合模型(RA-FMDet)的新型多光譜物體檢測系統。該系統結合了跨模態強化(CMR)模塊和分層模態對齊(HMA)策略。CMR模塊使用混合變壓器-卷積神經網絡架構,有效地從多光譜數據中提取高質量的語義表示。HMA策略在像素和錨點級別解決了校準失誤。為了評估RA-FMDet,我們建立了一個涵蓋各種場景和條件的綜合數據集。通過優化可見光-熱感測器的硬件配置並使用修改過的校準板減少圖像模式之間的偏移,獲得了這個數據集。在具有挑戰性的KAIST數據集和已建立的數據集上進行的大量實驗表明,所提出的RA-FMDet在物體檢測中超越了最先進的模型。

相關圖片: