近日，The Innovation(IF=33.2)在線發(fā)表了武漢大學(xué)遙感信息工程學(xué)院張永軍/李彥勝教授團(tuán)隊(duì)最新評論文章。論文題目為“Unleashing the potential of remote sensing foundation models via bridging data and computility islands”(打破數(shù)據(jù)與算力孤島，釋放遙感基礎(chǔ)大模型潛力)。李彥勝教授為論文第一作者，張永軍教授、螞蟻集團(tuán)楊銘研究員為論文通訊作者。合作者包括武漢大學(xué)、俄羅斯科學(xué)院、螞蟻集團(tuán)、上海人工智能實(shí)驗(yàn)室、美國普渡大學(xué)等國內(nèi)外知名機(jī)構(gòu)學(xué)者和研究生。
 

　　在當(dāng)前的遙感領(lǐng)域，數(shù)據(jù)與算力的分散化問題較為突出，這受到隱私保護(hù)、存儲限制、行業(yè)競爭以及地理信息安全等多方面因素的影響。為應(yīng)對這一挑戰(zhàn)，研究團(tuán)隊(duì)著眼于分布式協(xié)同預(yù)訓(xùn)練的新模式，重點(diǎn)圍繞遙感基礎(chǔ)大模型的協(xié)同訓(xùn)練與推理環(huán)節(jié)展開研究，旨在探索如何有效整合分散的遙感數(shù)據(jù)和分布式計(jì)算資源，并對協(xié)同式架構(gòu)釋放遙感基礎(chǔ)大模型潛力的可行性進(jìn)行了分析。在此基礎(chǔ)上，研究團(tuán)隊(duì)呼吁政府?dāng)?shù)據(jù)中心、企業(yè)機(jī)構(gòu)以及高校研究團(tuán)隊(duì)等各方力量，在確保隱私保護(hù)的前提下，共同參與遙感基礎(chǔ)大模型建設(shè)，并共享其時(shí)空智能服務(wù)，以構(gòu)建全球協(xié)作網(wǎng)絡(luò)，充分盤活孤島式的遙感數(shù)據(jù)與算力資源。
 

圖1 打破遙感數(shù)據(jù)與算力孤島，邁向地球觀測通用智能
 

　　團(tuán)隊(duì)構(gòu)建了全球首個(gè)顧及隱私保護(hù)的遙感基礎(chǔ)模型分布式協(xié)同預(yù)訓(xùn)練框架FedSense，可以靈活支持基于對比學(xué)習(xí)和掩碼重建的自監(jiān)督學(xué)習(xí)。為了解決協(xié)同預(yù)訓(xùn)練面臨的遙感數(shù)據(jù)異質(zhì)性與高通信開銷引發(fā)的惡性循環(huán)挑戰(zhàn)，團(tuán)隊(duì)提出了一種聯(lián)邦互指導(dǎo)學(xué)習(xí)方法。在該方法中，服務(wù)器與客戶端進(jìn)行雙向互相指導(dǎo)，服務(wù)器端引導(dǎo)客戶端進(jìn)行正交條件下的自穩(wěn)定參數(shù)更新，客戶端引導(dǎo)服務(wù)器進(jìn)行低比特通信下的知識注入。基于FedSense，團(tuán)隊(duì)實(shí)現(xiàn)了10個(gè)參與機(jī)構(gòu)在百萬量級遙感影像上開展遙感基礎(chǔ)模型高效協(xié)同預(yù)訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，多個(gè)參與機(jī)構(gòu)通過FedSense開展遙感基礎(chǔ)模型的協(xié)同預(yù)訓(xùn)練，可以實(shí)現(xiàn)機(jī)構(gòu)之間的高效合作共贏。基于FedSense協(xié)同預(yù)訓(xùn)練的遙感基礎(chǔ)模型相較于基線方法在場景分類、目標(biāo)檢測、語義分割、變化檢測等8個(gè)遙感領(lǐng)域典型的下游任務(wù)數(shù)據(jù)集上，取得了顯著的性能提升。在將通信開銷壓縮至全精度傳輸?shù)?/32時(shí)，F(xiàn)edSense仍然能夠保持良好的優(yōu)化性能，并且隨著參與方數(shù)量的不斷增多，模型性能可以實(shí)現(xiàn)穩(wěn)步提升。
 

　　圖2 遙感基礎(chǔ)模型分布式協(xié)同預(yù)訓(xùn)練框架FedSense與多機(jī)構(gòu)遙感預(yù)訓(xùn)練數(shù)據(jù)集示意圖

 

　　展望未來，團(tuán)隊(duì)將致力于研究多模態(tài)遙感基礎(chǔ)模型的安全可信多方協(xié)同預(yù)訓(xùn)練技術(shù)，響應(yīng)國家發(fā)布的《可信數(shù)據(jù)空間發(fā)展行動計(jì)劃》，支持建設(shè)可信可管、互聯(lián)互通、價(jià)值共創(chuàng)的遙感數(shù)據(jù)空間，助力邁向地球觀測通用智能。