近日，中國科學(xué)院合肥物質(zhì)院智能所兩篇科研論文同時被人工智能領(lǐng)域頂級會議AAAI 2024接收。兩篇論文均出自謝成軍與張潔團隊，第一作者為碩士生何炫華，團隊成員李瑞、顏科宇、胡濤等為論文算法設(shè)計思路、部分實驗和論文撰寫做出了貢獻(xiàn)。
 

　　多光譜高分辨率的遙感圖像對于農(nóng)業(yè)生產(chǎn)監(jiān)測、災(zāi)害監(jiān)測評估、環(huán)境保護等領(lǐng)域具有重要意義。然而，現(xiàn)有基于深度學(xué)習(xí)的全色銳化算法受到神經(jīng)網(wǎng)絡(luò)頻率偏好的影響，難以處理圖像中的高頻信息，并且固定的網(wǎng)絡(luò)結(jié)構(gòu)難以處理遙感圖像中內(nèi)容變化巨大的情況。為提高全色銳化模型的性能，使其更好地關(guān)注高頻信息并自適應(yīng)地處理不同的圖像內(nèi)容，團隊提出了頻率自適應(yīng)多專家網(wǎng)絡(luò)FAME-Net，該方法受到離散余弦變換和多專家網(wǎng)絡(luò)的啟發(fā)，通過頻率掩碼預(yù)測器，自適應(yīng)生成高低頻掩碼，并將高低頻特征分別送入不同的專家網(wǎng)絡(luò)進行處理，使網(wǎng)絡(luò)能夠分別關(guān)注高低頻部分，通過門控機制聚合多專家輸出，實現(xiàn)對不同圖像內(nèi)容產(chǎn)生動態(tài)網(wǎng)絡(luò)結(jié)構(gòu)。在多個公開數(shù)據(jù)集上的實驗結(jié)果表明，F(xiàn)AME-Net具有卓越的性能。相關(guān)研究以“Frequency-Adaptive Pan-Sharpening with Mixture of Experts“為題發(fā)表。
 

　　RAW-to-sRGB是一種顏色空間轉(zhuǎn)換方法，用于將相機捕捉到的原始RAW格式圖像數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)RGB顏色空間，該項研究在計算機底層視覺領(lǐng)域具有重要研究價值與意義。現(xiàn)有的方法往往將RAW-to-sRGB的任務(wù)簡化為回歸問題，忽視了兩種圖像在空間結(jié)構(gòu)和色彩信息上存在的內(nèi)在差異，導(dǎo)致這些方法難以產(chǎn)生令人滿意的結(jié)果。基于RAW圖像和sRGB圖像之間差異的深入分析，并受到傅立葉變換先驗的啟示，團隊提出了使用頻域解耦合的RAW-to-sRGB新方法，設(shè)計了一種輕量級的FourierISP網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過分別在相位和振幅分量上學(xué)習(xí)空間和色彩信息的增強，然后將這兩種信息進行融合，從而實現(xiàn)了高質(zhì)量的Raw-to-sRGB轉(zhuǎn)換。實驗證明了所提出方法在多個公開數(shù)據(jù)集上的有效性。相關(guān)研究以“Enhancing RAW-to-sRGB with Decoupled Style Structure in Fourier Domain”為題發(fā)表。
 

　　兩項研究工作得到了國家自然科學(xué)基金、安徽省自然科學(xué)基金、合肥物質(zhì)院院長基金支持。
 

　　據(jù)悉，AAAI是由國際人工智能促進協(xié)會主辦的年會，是人工智能領(lǐng)域中歷史最悠久、涵蓋內(nèi)容最廣泛的國際頂級學(xué)術(shù)會議之一，也是中國計算機學(xué)會(CCF)推薦的A類國際學(xué)術(shù)會議。本屆AAAI會議共有12100篇投稿，打破歷史紀(jì)錄，經(jīng)過全面嚴(yán)格的審查程序，共有2342篇論文脫穎而出，錄取率23.75%。
 

圖1 FAME-Net網(wǎng)絡(luò)結(jié)構(gòu)
 

圖2 WorldView-III數(shù)據(jù)集上不同全色銳化算法對比結(jié)果圖
 

圖3 FourierISP網(wǎng)絡(luò)結(jié)構(gòu)
 

圖4 ZRR數(shù)據(jù)集上不同RAW-to-sRGB方法對比結(jié)果圖