對(duì)于非合作目標(biāo)智能分類任務(wù)，由于無法獲取足夠有效的樣本圖像來訓(xùn)練網(wǎng)絡(luò)模型，使得網(wǎng)絡(luò)易陷入過擬合的情況，直接影響了智能算法模型性能。因此圍繞少量圖像樣本開展高價(jià)值樣本數(shù)據(jù)擴(kuò)增一直是遙感圖像智能處理領(lǐng)域重點(diǎn)研究?jī)?nèi)容之一?，F(xiàn)有的樣本數(shù)據(jù)擴(kuò)增方法主要包括基于圖像變換的數(shù)據(jù)擴(kuò)增方法、基于生成對(duì)抗網(wǎng)絡(luò)的數(shù)據(jù)擴(kuò)增方法以及基于圖像仿真的數(shù)據(jù)擴(kuò)增方法。基于圖像變換的數(shù)據(jù)擴(kuò)增方法只是對(duì)原始數(shù)據(jù)進(jìn)行基本二維幾何變換或灰度變化，難以實(shí)現(xiàn)立體目標(biāo)探測(cè)、復(fù)雜場(chǎng)景的樣本類型擴(kuò)增；基于生成對(duì)抗網(wǎng)絡(luò)的數(shù)據(jù)擴(kuò)增方法，其訓(xùn)練過程對(duì)非合作場(chǎng)景樣本數(shù)據(jù)數(shù)量和樣本類型要求較高，同時(shí)生成圖像會(huì)存在樣本模糊、扭曲等不足；基于圖像仿真的數(shù)據(jù)擴(kuò)增方法通過對(duì)目標(biāo)場(chǎng)景開展建模及物理仿真，能夠制作生成多樣化環(huán)境與目標(biāo)特征的圖像樣本數(shù)據(jù)，但現(xiàn)有將仿真樣本與真實(shí)樣本簡(jiǎn)單混合的樣本構(gòu)建模式，由于忽略了仿真樣本與真實(shí)樣本存在的誤差、風(fēng)格差異以及兩種數(shù)據(jù)集的特征分布差異，導(dǎo)致訓(xùn)練生成智能算法模型性能提升有限。

　　針對(duì)上述問題，中國(guó)科學(xué)院國(guó)家空間科學(xué)中心復(fù)雜航天系統(tǒng)電子信息技術(shù)院重點(diǎn)實(shí)驗(yàn)室李立鋼研究員團(tuán)隊(duì)碩士生肖奇結(jié)合非合作目標(biāo)智能分類的應(yīng)用場(chǎng)景，提出了一種漸進(jìn)式的光學(xué)遙感目標(biāo)高價(jià)值圖像樣本數(shù)據(jù)擴(kuò)增生成方法。該方法將整個(gè)數(shù)據(jù)擴(kuò)增流程分為樣本仿真生成階段和風(fēng)格遷移階段：首先，在樣本仿真生成階段，基于物理仿真工具預(yù)先生成多樣化類型的目標(biāo)仿真圖像樣本，樣本類型覆蓋目標(biāo)典型探測(cè)角度、探測(cè)能見度以及成像分辨率等，這一階段的主要目的在于提高原始目標(biāo)數(shù)據(jù)集的特征豐富度；然后在風(fēng)格遷移階段，通過構(gòu)建風(fēng)格遷移網(wǎng)絡(luò)Sim2RealNet, Sim2RealNet以Densenet-121為主干網(wǎng)絡(luò)，能夠有效地提取仿真樣本和真實(shí)圖像內(nèi)容信息和風(fēng)格信息，從而實(shí)現(xiàn)從仿真樣本到真實(shí)樣本的風(fēng)格遷移處理，該階段的主要目的在于減少仿真樣本與真實(shí)樣本之間的域差異，整個(gè)數(shù)據(jù)擴(kuò)增的處理流程如圖1所示。為了驗(yàn)證文章所提出的方法有效性，研究人員針對(duì)六類目標(biāo)進(jìn)行了兩組光學(xué)遙感目標(biāo)分類實(shí)驗(yàn)，第一組分別利用傳統(tǒng)圖像變換數(shù)據(jù)擴(kuò)增、圖像仿真數(shù)據(jù)擴(kuò)增以及本文提出的漸進(jìn)式數(shù)據(jù)擴(kuò)增方法開展樣本擴(kuò)增及分類模型訓(xùn)練，具體分類結(jié)果如圖2所示；第二組對(duì)傳統(tǒng)圖像變換數(shù)據(jù)擴(kuò)增、圖像仿真數(shù)據(jù)擴(kuò)增以及本文提出的漸進(jìn)式數(shù)據(jù)擴(kuò)增方法進(jìn)行組合樣本擴(kuò)增及分類模型訓(xùn)練，具體分類結(jié)果如圖3所示。第一組實(shí)驗(yàn)結(jié)果表明：與現(xiàn)有數(shù)據(jù)擴(kuò)增方法相比，本文提出的方法能夠使得光學(xué)遙感目標(biāo)分類準(zhǔn)確度平均提高5%；第二組實(shí)驗(yàn)結(jié)果表明：通過將本文提出的數(shù)據(jù)擴(kuò)增方法與其他方法進(jìn)行組合數(shù)據(jù)擴(kuò)增，與單一使用現(xiàn)有方法擴(kuò)增，光學(xué)遙感目標(biāo)分類準(zhǔn)確度仍然可以提高6%，表明本文提出的漸進(jìn)式數(shù)據(jù)擴(kuò)增方法在使用上具有較強(qiáng)的魯棒性。相關(guān)理論研究成果為包括空間探測(cè)等非合作場(chǎng)景稀少樣本目標(biāo)的數(shù)據(jù)擴(kuò)增提供了一種新穎有效的方法，已正式發(fā)表在國(guó)際遙感領(lǐng)域重要期刊IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 。

　　參考文獻(xiàn)：Q. Xiao, B. Liu, Z. Li, W. Ni, Z. Yang and L. Li, "Progressive Data Augmentation Method for Remote Sensing Ship Image Classification Based on Imaging Simulation System and Neural Style Transfer," in IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 14, pp. 9176-9186, 2021, doi: 10.1109/JSTARS.2021.3109600.

　　論文鏈接：https://ieeexplore.ieee.org/document/9528039?denied=

圖1 本文提出的漸進(jìn)式遙感目標(biāo)數(shù)據(jù)擴(kuò)增方法

圖2 對(duì)比試驗(yàn)一: 傳統(tǒng)圖像變換數(shù)據(jù)擴(kuò)增、圖像仿真數(shù)據(jù)擴(kuò)增與本文方法對(duì)比實(shí)驗(yàn)結(jié)果

圖3 對(duì)比試驗(yàn)二: 傳統(tǒng)圖像變換數(shù)據(jù)擴(kuò)增、圖像仿真數(shù)據(jù)擴(kuò)增分別與本文方法聯(lián)合使用實(shí)驗(yàn)結(jié)果

　?。ü└澹合到y(tǒng)室）