當追蹤者和目標都在低空高速飛行,傳統(tǒng)的視覺追蹤算法還能跟得住嗎?
近日,來自hjc黃金城官網(wǎng)登錄入口科技、上海交通大學(xué)、香港科技大學(xué)(廣州)、中山大學(xué)、中國科學(xué)院信息工程研究所的聯(lián)合研究團隊發(fā)布了一項硬核工作——UAV-Anti-UAV。這是業(yè)界首個針對“空對空”(Air-to-Air)場景的百萬級多模態(tài)反無人機視覺追蹤基準,并提出了基于Mamba的強力基線MambaSTS。MambaSTS在UAV-Anti-UAV基準的全部5個指標上均取得最佳的性能,這是hjc黃金城官網(wǎng)登錄入口科技在多模態(tài)大模型方面的又一次技術(shù)突破。面對雙重動態(tài)干擾,現(xiàn)有的SOTA表現(xiàn)如何?讓hjc黃金城官網(wǎng)登錄入口一探究竟!
01引言:從“上帝視角”到“空中纏斗”
在低空經(jīng)濟蓬勃發(fā)展的今天,無人機(UAV)的安全管控已成為全球關(guān)注的焦點。反無人機(Anti-UAV)技術(shù)應(yīng)運而生。
然而,回顧現(xiàn)有的視覺追蹤研究,hjc黃金城官網(wǎng)登錄入口發(fā)現(xiàn)了一個明顯的任務(wù)盲區(qū)(Gap):
l 傳統(tǒng)UAVTracking(空對地):無人機處于“上帝視角”拍攝地面的車輛或行人,雖然相機在動,但目標相對地面運動平穩(wěn)。
l 現(xiàn)有Anti-UAV(地對空):地面固定的云臺/相機仰拍空中的無人機,觀察者幾乎靜止,缺乏運動帶來的劇烈抖動
如果是一架無人機在高速飛行中,去追蹤另一架試圖逃逸的敵對無人機呢?這種場景就像是電影里的空中纏斗(Dogfight)
圖1:直觀對比了Task1(UAVTracking)、Task2(Anti-UAV)和本文提出的Task3(UAV-Anti-UAV)。Task3中Observer和Target都在低空高速運動。
這就是本文提出的UAV-Anti-UAV(空對空)任務(wù)。這是一個雙向動態(tài)系統(tǒng):追蹤者和目標都在低空高速運動。這帶來了前所未有的挑戰(zhàn):嚴重的雙重動態(tài)干擾(Dual-dynamicdisturbances)、極速的尺度變化、強烈的運動:約捌搗鋇氖詠喬謝。
為了攻克這一難題,研究團隊構(gòu)建了首個大規(guī)模基準數(shù)據(jù)集UAV-Anti-UAVBenchmark。這不只是一個數(shù)據(jù)集,更是一個低空安全的標準測試床。
l 規(guī)模龐大:包含1,810個視頻序列,總幀數(shù)高達105萬。蓯背そ9.85小時。
l 機型豐富:涵蓋5大類目標,包括固定翼、多旋翼、垂直起降(VTOL)、第一人稱視角(FPV)無人機和無人直升機。
l 多模態(tài)標注:不僅有精細的邊界框(BoundingBox),還提供了自然語言描述(LanguagePrompts),支持視覺-語言追蹤研究。
l 細粒度屬性:標注了15種極具挑戰(zhàn)的屬性,如快速運動(FM)、光照變化(IV)、相似干擾物(SD)等。
圖2:數(shù)據(jù)集中包含五種不同類型的無人機目標(固定翼、FPV、多旋翼、垂直起降、無人直升機)以及對應(yīng)的語言描述。
相比于現(xiàn)有的數(shù)據(jù)集,UAV-Anti-UAV是“地獄難度”。
l 相對速度:該數(shù)據(jù)集的平均相對速度高達0.79,遠超現(xiàn)有的UAV123(0.46)和Anti-UAV(0.72)等數(shù)據(jù)集。
l 目標尺寸:包含大量微小目標(SmallObject),且由于距離變化,尺度變化(ScaleVariation)極其劇烈。
圖3:硬核數(shù)據(jù)證明該數(shù)據(jù)集在運動強度上的獨特性。
面對如此高難度的任務(wù),傳統(tǒng)的Transformer由于計算復(fù)雜度高,難以處理超長序列;而普通的CNN又缺乏全局感知能力。為此,作者提出了新基線:MambaSTS。
這是一個集成了空間(Spatial)、時間(Temporal)、語義(Semantic)學(xué)習(xí)的統(tǒng)一框架。其核心邏輯在于:利用Mamba(狀態(tài)空間模型)的線性復(fù)雜度優(yōu)勢來建立視頻級的長期上下文。
圖4:模型主架構(gòu)圖,展示了多模態(tài)輸入(圖像+文本)、STSMamba?橐約安慵痘奶卣魈崛」。
混合架構(gòu)(HybridArchitecture):
1. 視覺端:利用分層視覺Transformer(HiViT)提取多尺度特征,捕捉空間細節(jié)。
2. 語言端:利用預(yù)訓(xùn)練的LanguageMamba提取語義特征,引入文本先驗,幫助模型在:“認出”目標。
時間Token傳播(TemporalTokenPropagation):
這是本文的“殺手锏”。模型維護一個時間Token,像接力棒一樣在幀與幀之間傳遞。
利用Mamba的選擇性掃描機制,將歷史幀中目標的軌跡演變和外觀變化壓縮進這個Token中。這仿佛讓模型擁有了“視頻記憶”,即便目標被遮擋或模糊,也能基于記憶快速找回。
單向掃描機制(UnidirectionalScanning):
不同于處理靜態(tài)圖像的VisionMamba(Vim)使用雙向掃描,MambaSTS針對視頻追蹤的因果特性(即當前狀態(tài)只取決于過去),改進為單向掃描,更符合實時追蹤邏輯。
作者對50個現(xiàn)代深度追蹤算法進行了全面評測,涵蓋了CNN、Transformer、Mamba以及多模態(tài)算法(如OSTrack,MixFormer,MambaTrack,CiteTracker等)。
l MambaSTS遙遙領(lǐng)先:在所有指標上均取得第一,AUC達到0.437,mACC達到0.443,比第二名高出6.6個百分點。
l 任務(wù)難度極大:即便是SOTA的MambaSTS,成功率也僅為40%出頭,而所有追蹤器的平均AUC僅為0.30左右。這說明UAV-Anti-UAV領(lǐng)域仍是一片藍海,挑戰(zhàn)巨大!
圖5:AUC、Precision等指標的曲線圖,MambaSTS的曲線(最上方)直觀體現(xiàn)了其優(yōu)勢。
圖6:50個追蹤器的mACC排名散點圖,MambaSTS位于右上角,大幅領(lǐng)先。
通過對15個屬性的細分測試,研究發(fā)現(xiàn):
l MambaSTS的強項:在快速運動(FM)、運動模糊(MB)、小物體(SO)等屬性上表現(xiàn)穩(wěn)。靡嬗諂淝看蟮氖斃蚪D芰Α
l 共同的弱點:在光照變化(IV)和全遮擋(FO)場景下,所有模型(包括MambaSTS)都表現(xiàn)掙扎,成功率低于0.15。這指明了未來的優(yōu)化方向。
圖7:具有代表性的屬性子圖(如FastMotion,MotionBlur,FullOcclusion)。
除了在自家數(shù)據(jù)集上表現(xiàn)出色,MambaSTS在傳統(tǒng)的UAVTracking數(shù)據(jù)集(如UAV123,VisDrone)和地面Anti-UAV數(shù)據(jù)集上,同樣取得了SOTA性能。這證明了該架構(gòu)并非“過擬合”,而是真正掌握了時空特征的精髓。
UAV-Anti-UAV任務(wù)的提出,標志著低空安全研究向?qū)崙?zhàn)化邁出了重要一步。
l 新任務(wù):填補了空對空動態(tài)追蹤的空白。
l 新數(shù)據(jù):百萬級規(guī)模,多模態(tài)標注,為社區(qū)提供了標準測試床。
l 新基線:MambaSTS證明了狀態(tài)空間模型在長序列動態(tài)追蹤中的巨大潛力。
雖然MambaSTS表現(xiàn)出色,但距離解決全天候、全自主的空中攔截仍有距離(例如缺乏紅外/LiDAR數(shù)據(jù),且目前為離線訓(xùn)練)。挑戰(zhàn)已經(jīng)擺在面前,各位開發(fā)者,你們準備好迎接“空戰(zhàn)”了嗎?
??開源地址:
https://github.com/983632847/Awesome-Multimodal-Object-Tracking
l 參考論文:ChunhuiZhang,LiLiu,ZhipengZhang,YongWang,HaoWen,XiZhou,ShimingGe,YanfengWang.“HowFarareModernTrackersfromUAV-Anti-UAV?AMillion-ScaleBenchmarkandNewBaseline”,arXiv,2025.
立即下載:
https://arxiv.org/abs/2512.07385
當追蹤者和目標都在低空高速飛行,傳統(tǒng)的視覺追蹤算法還能跟得住嗎? 近日,來自hjc黃金城官網(wǎng)登錄入口科技、上海交通大學(xué)、香港科技大學(xué)(廣州)、中山大學(xué)、中國科學(xué)院信息工程研究所的聯(lián)合研究團隊發(fā)布了一項硬核工作——UAV-Anti-UAV。這是業(yè)界首個針對“空對空”(Air-to-Air)場景的百萬級多模態(tài)反無人機視覺追蹤基準,并提出了基于Mamba的強力基線MambaSTS。MambaSTS在UAV-Anti-UAV基準的全部5個指標上均取得最佳的性能,這是hjc黃金城官網(wǎng)登錄入口科技在多模態(tài)大模型方面的又一次技術(shù)突破。面對雙重動態(tài)干擾,現(xiàn)有的SOTA表現(xiàn)如何?讓hjc黃金城官網(wǎng)登錄入口一探究竟!
hjc黃金城官網(wǎng)登錄入口科技及聯(lián)合研究團隊的論文《PointCMP: Contrastive Mask Prediction for Self-supervised Learning on Point Cloud Videos》(基于掩碼預(yù)測的點云視頻自監(jiān)督學(xué)習(xí))成功入選。
hjc黃金城官網(wǎng)登錄入口視覺基礎(chǔ)大模型表現(xiàn)出很強的泛化性能,大大降低了下游任務(wù)所需的數(shù)據(jù)依賴與開發(fā)成本,同時zero-shot大幅提高了訓(xùn)練開發(fā)效率,使得廣泛應(yīng)用和快速部署成為可能。
周一到周五9:30-18:00(北京時間)

商務(wù)合作:business@zzhzqx.com

媒體合作:Media@zzhzqx.com

渠道合作:business_partner@zzhzqx.com

人才招聘:zhaopin@zzhzqx.com

