Nat Methods |?無需人工標(biāo)注的精準(zhǔn)多動物追蹤，戴瓊海團(tuán)隊(duì)提出新方法推動行為學(xué)研究邁向新階段

動物追蹤是理解社交互動、神經(jīng)機(jī)制、行為決策的重要手段，廣泛應(yīng)用于神經(jīng)科學(xué)、心理學(xué)、藥理學(xué)和疾病模型研究等領(lǐng)域，實(shí)現(xiàn)精準(zhǔn)高效的多動物追蹤將有力推動多個學(xué)科的研究。

近年來，隨著人工智能（AI）的發(fā)展，動物追蹤的自動化、智能化程度不斷提高。然而，現(xiàn)有追蹤方法依賴人工標(biāo)注進(jìn)行監(jiān)督訓(xùn)練，標(biāo)注成本高、效率低、主觀差異大，并且難以覆蓋不同的動物種類、實(shí)驗(yàn)范式和行為模式。如何在無需人工標(biāo)注的前提下，在多種模式動物上實(shí)現(xiàn)精準(zhǔn)追蹤，成為動物追蹤領(lǐng)域亟待解決的關(guān)鍵問題。

2026年5月4日，清華大學(xué)戴瓊海/吳嘉敏/李欣陽研究團(tuán)隊(duì)聯(lián)合復(fù)旦大學(xué)李子薇團(tuán)隊(duì)在Nature Methods上發(fā)表了研究論文Unsupervised transfer learning enables multi-animal tracking without training annotation，發(fā)布一種實(shí)現(xiàn)精準(zhǔn)多動物追蹤的無監(jiān)督遷移學(xué)習(xí)方法UDMT，在不需要任何人工標(biāo)注訓(xùn)練樣本的條件下，僅輸入原始視頻即可完成追蹤模型訓(xùn)練，不僅適用于多種模式動物，而且在擁擠、遮擋、快速運(yùn)動、低對比度和跨物種實(shí)驗(yàn)等復(fù)雜條件下實(shí)現(xiàn)了精準(zhǔn)高效的多動物追蹤。

圖1：UDMT在多種模式動物上實(shí)現(xiàn)精準(zhǔn)追蹤

UDMT基于雙向一致性追蹤原理，首先讓網(wǎng)絡(luò)順著視頻進(jìn)行正向追蹤，然后再逆著視頻進(jìn)行反向追蹤，當(dāng)網(wǎng)絡(luò)收斂時正向軌跡和反向軌跡應(yīng)該完全重合。基于這一原理，研究團(tuán)隊(duì)從視頻自身的時間連續(xù)性中構(gòu)建訓(xùn)練信號，使AI模型不需要任何人工標(biāo)注訓(xùn)練樣本，依然能夠從數(shù)據(jù)中自動學(xué)習(xí)動物的外觀特征和運(yùn)動規(guī)律。此外，團(tuán)隊(duì)進(jìn)一步提出時空信息聚合、目標(biāo)定位優(yōu)化、身份誤差校正、自動參數(shù)調(diào)節(jié)等關(guān)鍵技術(shù)，顯著提升復(fù)雜場景下的追蹤精度和穩(wěn)定性。在實(shí)際使用中，研究人員只需指定需要追蹤的動物個體，UDMT便可自動完成模型訓(xùn)練和后續(xù)追蹤，并輸出每只動物的完整運(yùn)動軌跡。該方法消除了人工標(biāo)注和參數(shù)調(diào)節(jié)的沉重負(fù)擔(dān)，使多動物追蹤跨入無監(jiān)督、高效率、自動化的新階段。

圖2：UDMT原理

真實(shí)行為實(shí)驗(yàn)往往包含擁擠、遮擋、低對比度、跨物種和快速運(yùn)動等復(fù)雜情況。研究團(tuán)隊(duì)將UDMT應(yīng)用于擁擠高對比度的黑色小鼠、低對比度的白色小鼠、大鼠與小鼠共處的跨物種實(shí)驗(yàn)，以及包含復(fù)雜背景的情況。結(jié)果表明，UDMT能夠在各種場景下保持優(yōu)越的準(zhǔn)確性和穩(wěn)定性。與DeepLabCut【1】、SLEAP【2】、idtracker.ai【3】和TRex【4】等現(xiàn)有最先進(jìn)的監(jiān)督學(xué)習(xí)方法相比，UDMT不僅無需任何人工標(biāo)注，而且在不同動物數(shù)量、記錄時長和幀率下均表現(xiàn)出更高的追蹤精度。

圖3：UDMT具有超越當(dāng)前最先進(jìn)監(jiān)督方法的性能

動物行為與神經(jīng)活動密切相關(guān)，UDMT在神經(jīng)行為學(xué)前沿研究中正發(fā)揮重要作用。為探究神經(jīng)活動與動物行為之間的關(guān)聯(lián)，研究團(tuán)隊(duì)將UDMT與頭戴式微型顯微鏡結(jié)合【5】，構(gòu)建了多只小鼠自由活動的神經(jīng)行為學(xué)記錄平臺，在精準(zhǔn)捕捉小鼠運(yùn)動軌跡的同時，借助先進(jìn)頭戴式顯微鏡記錄視覺皮層2000余個神經(jīng)元的活動。分析表明，當(dāng)小鼠周圍有同伴靠近時，整體神經(jīng)元發(fā)放率顯著升高；當(dāng)小鼠處于較高運(yùn)動速度時，神經(jīng)活動同樣顯著增強(qiáng)。

圖4：UDMT結(jié)合頭戴式顯微鏡實(shí)現(xiàn)自由活動小鼠的神經(jīng)行為學(xué)分析

除嚙齒動物外，行為學(xué)研究還廣泛涉及昆蟲、線蟲和魚類等多種模式動物。不同動物在體型、運(yùn)動方式、成像尺度和行為模式上差異顯著，對追蹤方法的通用性提出了更高要求。研究團(tuán)隊(duì)進(jìn)一步將UDMT擴(kuò)展到果蠅、秀麗隱桿線蟲和斗魚等動物，實(shí)現(xiàn)了最多17只動物的精準(zhǔn)連續(xù)追蹤。這些跨物種實(shí)驗(yàn)表明，UDMT不依賴單一動物類型或特定實(shí)驗(yàn)裝置，能夠適用于多樣化的動物行為學(xué)實(shí)驗(yàn)。研究團(tuán)隊(duì)已發(fā)布UDMT的Python源代碼、圖形用戶界面、行為記錄數(shù)據(jù)和詳細(xì)教程，促進(jìn)該方法在更廣泛科學(xué)研究場景中的應(yīng)用。

清華大學(xué)戴瓊海院士、吳嘉敏副教授、李欣陽助理教授，復(fù)旦大學(xué)李子薇青年副研究員為本文的共同通訊作者，復(fù)旦大學(xué)博士生李奕昕為第一作者，張琦、張?jiān)垺⒎都移臁⒈R志和徐昕翃參與并做出重要貢獻(xiàn)。

原文鏈接：https://www.nature.com/articles/s41592-026-03051-8

UDMT主頁：https://cabooster.github.io/UDMT/

代碼鏈接：https://github.com/cabooster/UDMT

制版人： 十一

參考文獻(xiàn)

1. Lauer, J. et al. Multi-animal pose estimation, identification and tracking with DeepLabCut.Nature Methods19, 496–504 (2022).

2. Pereira, T. D. et al. SLEAP: A deep learning system for multi-animal pose tracking.Nature Methods19, 486–495 (2022).

3. Romero-Ferrero, F. et al. idtracker.ai: tracking all individuals in small or large collectives of unmarked animals.Nature Methods16, 179–182 (2019).

4. Walter, T. & Couzin, I.D. TRex, a fast multi-animal tracking system with markerless identification, and 2D estimation of posture and visual fields.eLife10, 64000 (2021).

5. Zhang, Y. et al. A miniaturized mesoscope for the large-scale single-neuron-resolved imaging of neuronal activity in freely behaving mice.Nature Biomedical Engineering8, 754–774 (2024).

學(xué)術(shù)合作組織

（*排名不分先后）

戰(zhàn)略合作伙伴

（*排名不分先后）

轉(zhuǎn)載須知

【非原創(chuàng)文章】本文著作權(quán)歸文章作者所有，歡迎個人轉(zhuǎn)發(fā)分享，未經(jīng)作者的允許禁止轉(zhuǎn)載，作者擁有所有法定權(quán)利，違者必究。

BioArt

Med

Plants

人才招聘

點(diǎn)擊主頁推薦活動

關(guān)注更多最新活動！