近期，中國(guó)科學(xué)院合肥物質(zhì)院智能所謝成軍與張潔團(tuán)隊(duì)將 Mamba 模型引入遙感圖像全色銳化領(lǐng)域，提出了一種名為Pan-Mamba的網(wǎng)絡(luò)框架。相關(guān)研究成果發(fā)表在計(jì)算機(jī)科學(xué)和人工智能領(lǐng)域國(guó)際頂尖權(quán)威刊物、中科院1區(qū)Top期刊Information Fusion上。
 

　　全色銳化是一項(xiàng)關(guān)鍵的遙感圖像處理技術(shù)，旨在通過(guò)融合低分辨率的多光譜圖像和高分辨率的全色圖像，生成高分辨率的多光譜圖像。近年來(lái)，Mamba模型在長(zhǎng)程依賴建模方面取得了突破性進(jìn)展，它能夠以線性復(fù)雜度實(shí)現(xiàn)對(duì)長(zhǎng)距離關(guān)系的建模，并且在眾多領(lǐng)域展現(xiàn)出的效果與計(jì)算復(fù)雜度更高的 Transformer 架構(gòu)相近。受此啟發(fā)，研究團(tuán)隊(duì)將 Mamba 模型引入全色銳化領(lǐng)域，期望挖掘其在該領(lǐng)域的潛在價(jià)值。
 

　　Pan-Mamba的核心創(chuàng)新點(diǎn)在于定制了兩個(gè)關(guān)鍵組件：通道交換Mamba和跨模態(tài)Mamba。具體而言，通道交換Mamba在網(wǎng)絡(luò)的早期階段引入了部分全色和多光譜特征通道的交互，使得模型能夠在早期就捕捉到不同模態(tài)間的相關(guān)性，從而提高了信息傳遞的效率。跨模態(tài)Mamba在網(wǎng)絡(luò)的后期階段進(jìn)一步加強(qiáng)了多光譜和全色圖像特征之間的信息融合，通過(guò)多層的跨模態(tài)交互，確保了模型能夠充分利用兩種模態(tài)的信息，生成高質(zhì)量的融合圖像。這種設(shè)計(jì)不僅促進(jìn)了不同模態(tài)間的信息交流與融合，還保證了模型的計(jì)算效率，使其在處理大尺度遙感圖像時(shí)仍能保持高性能。
 

　　為了驗(yàn)證Pan-Mamba的有效性，研究團(tuán)隊(duì)進(jìn)行了廣泛的實(shí)驗(yàn)，涵蓋多種不同的數(shù)據(jù)集，包括WorldView-III、WorldView-II和GaoFen-2等。實(shí)驗(yàn)結(jié)果顯示，Pan-Mamba在全色銳化任務(wù)中顯著超越了現(xiàn)有最先進(jìn)方法，無(wú)論是在定量指標(biāo)還是定性視覺(jué)效果上都表現(xiàn)出色。在WorldView-II和WorldView-III數(shù)據(jù)集上，相比次優(yōu)方法在峰值信噪比指標(biāo)上取得了0.38dB和0.31dB的提升。
 

　　目前，Pan-Mamba的源代碼已對(duì)外公開，可供相關(guān)領(lǐng)域的研究者和開發(fā)者使用，訪問(wèn)網(wǎng)址為：https://github.com/alexhe101/Pan-Mamba。
 

　　碩士生何炫華為論文第一作者，張潔副研究員為論文通訊作者。該項(xiàng)工作得到了安徽省自然科學(xué)基金項(xiàng)目的支持。
 

圖 1Pan-Mamba 網(wǎng)絡(luò)結(jié)構(gòu)圖
 

表 1Pan-Mamba模型在不同數(shù)據(jù)集下的實(shí)驗(yàn)結(jié)果
 

　　圖 2 不同全色銳化模型在全分辨率WorldView-II數(shù)據(jù)集下可視化結(jié)果比較