東華大學鮑勁松教授：基于具身數(shù)字孿生的人本協(xié)作機器人行為研究：動作策略的認知推斷 | CJME論文推薦

引用論文

Xiaodong Tong, Hangbin Zheng, Baicun Wang, Jinsong Bao, Embodied Digital Twin Driven Human-Centric Collaborative Robot Behavior: Cognitive Inference of Action Strategies, Chinese Journal of Mechanical Engineering, Volume 38, 2025, 100164, https://doi.org/10.1016/j.cjme.2025.100164.

(戳鏈接，下載全文)

關于文章

01

研究背景及目的

協(xié)作機器人通過靈活的行為策略與人類操作員自主交互，這是一個重大挑戰(zhàn)。在自主協(xié)作過程中，對人類操作員狀態(tài)缺乏足夠的關注，導致了安全隱患，需要改進當前的機器人行為策略研究。

02

試驗方法

本文建立機器人學習和訓練的具身環(huán)境，以解決復雜和動態(tài)的人類行為，通過時空多感官語義融合實現(xiàn)深度感知。最后，利用基于大型語言模型多智能體系統(tǒng)的神經(jīng)符號認知推理，實現(xiàn)了符合人類意圖的機器人自主協(xié)作。使用退役的鋰電池拆卸任務來驗證我們的方法，在HRC實驗平臺內(nèi)，該裝置包括一名人類操作員、一臺UR5 機器人、退役鋰電池、工具和環(huán)境識別傳感器（D435 深度傳感相機）。拆解任務和收集的數(shù)據(jù)通過通信網(wǎng)絡存儲在數(shù)據(jù)庫管理系統(tǒng)中，可供邊緣PC （NVIDIA RTX2080）使用。邊緣部署 MAC-NSCR由遠程服務器上的LLM（Vicuna 32-B）驅(qū)動，為機器人提供協(xié)作策略。該平臺具有圖形用戶界面，可顯示虛擬拆卸過程。

在實驗中，召集了來自不同背景的25 名身體健全的操作員，根據(jù)一系列任務和/或序列圖交替執(zhí)行重復的拆卸任務。其中，隨機抽取四名人類作者執(zhí)行重復拆卸過程 50 次，而其余21名操作員每人執(zhí)行 10 次。在實驗之前、期間和之后收集了包括特定過程的協(xié)作拆解文檔、多視角順序圖像和事件觸發(fā)統(tǒng)計數(shù)據(jù)在內(nèi)的數(shù)據(jù)。

03

結(jié)果

從評估結(jié)果可以看出，基于MAC-NSCR的協(xié)作機器人決策能夠在嚴格的時延要求下準確推斷出正確的人體身體和認知意圖，推理效率分別為92.17%和96.15%。然而，對作者心理意圖的推理準確率僅為73.44%。盡管模型的推理延遲在允許范圍內(nèi)，但在這種情況下，操作員的回避和鞠躬等動作以及機械臂的遮擋干擾了智能體在HRC期間的面部識別。實驗還表明，隨著重新安排和意外事件的增加，人類操作員表現(xiàn)出的負面情緒不斷升級，進而增加了任務執(zhí)行過程中的安全風險。

04

結(jié)論

本文介紹了一種針對以機器人協(xié)作策略設計的具身數(shù)字孿生，該數(shù)字孿生在以人為本的范式中提高了HRC的效率和質(zhì)量。EDT在協(xié)作環(huán)境理解方面的擬人化能力有助于及時、精確地響應操作員的行為意圖，從而促進以人為本的工業(yè)實踐。結(jié)論總結(jié)如下：（1）提出了一種基于以人為中心的EDT建模框架。為了促進 EDT 內(nèi)的人機系統(tǒng)溝通、理解和協(xié)作智能，該框架集成了 EDT 建設所必需的關鍵技術。通過將模式識別技術應用于HRC環(huán)境的深度感知，并開發(fā)時空多視角語義融合深度學習技術，實現(xiàn)了對協(xié)作環(huán)境中人類作者意圖的認知推理。 （2）在EDT的基礎上提出的MAC-NSCR方法融合了AI理論中神經(jīng)學和符號化的計算優(yōu)勢，不僅實現(xiàn)了真實協(xié)作環(huán)境中多維信息的主動融合和理解，而且對深層次的人類意圖和策略的復雜映射關系進行了認知推理。LLM-MAS技術促進了MAC-NSCR的自主運行。 （3）此外，該案例研究強調(diào)了所提方法的顯著優(yōu)勢，驗證了應對人類安全隱患策略的認知推理性能。評估結(jié)果表明，該策略在任務重排、應對不可預見事件和應對人類負面狀態(tài)方面的策略推理效率分別達到92.17%、96.15%和73.44%，總體準確率為90%。 因此，EDT具有以人為本、智能交互和自主的特點，從而實現(xiàn)了更廣泛的以人為本的產(chǎn)業(yè)服務。此外，在多個操作員與機器人協(xié)作執(zhí)行協(xié)作任務的工業(yè)環(huán)境中，需要進一步研究來調(diào)整機器人行為策略認知推理以適應多個人的意圖。

05

前景與應用

EDT框架核心在于實現(xiàn)了從物理保真到認知-感知保真的轉(zhuǎn)變，即從孿生機器轉(zhuǎn)向?qū)\生人類的認知狀態(tài)。這一突破的未來前景極其廣闊，首先在于將EDT從當前的響應型系統(tǒng)進化為預測型系統(tǒng)來預判操作者的失誤概率和疲勞拐點。EDT（認知層）與高保真物理仿真的融合將創(chuàng)造出“物理-認知混合孿生”，使得有能力在虛擬空間中模擬工藝變動對人類“認知負荷”的真實影響。此項進展的應用場景將賦能任何以“人”為核心的領域：在醫(yī)療領域，它能孿生外科醫(yī)生的手部穩(wěn)定性和精神壓力，驅(qū)動手術機器人進行自適應輔助；在航空航天總裝中，它能孿生工程師的注意力焦點，主動預防高價值部件的裝配失誤，實現(xiàn)最佳助力，最終構(gòu)建一個主動預見需求的認知-感知型物理世界。

關于作者

01

作者介紹

鮑勁松，教授、博士生導師； 東華大學智能制造研究所，所長。畢業(yè)于上海交通大學機械與動力工程學院，工學博士學位。曾任上海交通大學計算機集成制造研究所，副教授；美國USC大學訪問學者，新西蘭奧克蘭大學高級訪問教授。主持和參與主持科技部重點研發(fā)計劃1項、國家自然科學基金面上項目2項、科技部支撐計劃子項1項、上海市科委制造業(yè)專項2項、面向航天的專項2項、各省部級智能制造專項20余項，曾榮獲多項國家和省部級科技獎勵。出版專著5部，發(fā)表論文300余篇，其中SCI收錄論文157篇，獲授權(quán)國家專利78項。受邀在國內(nèi)外學術會議上做大會或邀請報告100余次。擔任上海市工程圖形學會常務理事，全國高校自動化年會華東分會理事，中國機械工程學會機器人分會第一屆委員，Scientific Reports、IJPOM國際編委，國際期刊JMS，JIM，JPM，IJCIM，IJPR，IJAMT，IEEE IOT，IEEE TII等國際刊物評審專家，國家自然科學基金委通訊評議專家。

02

研究方向

團隊研究方向聚焦于構(gòu)建新一代智能制造系統(tǒng)，核心是探索數(shù)字孿生和信息物理系統(tǒng)的深度融合架構(gòu)。在工業(yè)軟件層面，專注于打通數(shù)字線程的全生命周期數(shù)據(jù)，并基于云原生和DTOps理念，構(gòu)建彈性、可擴展的系統(tǒng)平臺。研究重點在于工業(yè)智能，即利用工業(yè)大模型和多模態(tài)感知技術，構(gòu)建工業(yè)語義圖譜，并以此為基礎，通過認知/智能體計算實現(xiàn)“系統(tǒng)級大腦”。最終，這種認知智能通過具身智能賦能 Co-Robot，實現(xiàn)與數(shù)字現(xiàn)實深度交互的、真正高效安全的人機協(xié)作。

03

近兩年團隊發(fā)表文章

[1] Xiaodong Tong, Ke Li, Jinsong Bao*,GNN-LLM hybrid cognitive architectures for generative task adaptation in multi-human multi-robot collaborative disassembly,Robotics and Computer-Integrated Manufacturing,2026, 98:103169.

[2] Tianyuan Liu, Jinsong Bao*. A novel period-sensitive LSTM for laser welding quality prediction. IEEE Transactions on Industrial Informatics, 2024.

[3] Qi Zhang, Anmin Wang, Jie Li, Longhui Zheng, Jinsong Bao*, Dan Zhang. A Production-Logistics prediction method integrating Spatial-Temporal features in flexible production workshop for buffer allocation problem[J]. Computers & Industrial Engineering, 2025, 200: 110761.

[4] Yi Hu, Yicheng Sun, Xiaojian Wen, Sen Wang, Jinsong Bao*. Shopfloor layout generation method based on large language models[J]. International Journal of Computer Integrated Manufacturing, 2025: 1-19.

[5] Dong Zhixia, Zhao Xiangyun, Zheng Hangbin, Zheng Hanyao, Chen Dafan, Cao Jia, Xiao Zili, Sun Yunwei, Zhuang Qian, Wu Shan, Xia Jie, Ning Min, Qin Binjie, Zhou Hui*, Bao Jinsong*, Wan Xinjian*. Efficacy of real-time artificial intelligence-aid endoscopic ultrasonography diagnostic system in discriminating gastrointestinal stromal tumors and leiomyomas: a multicenter diagnostic study[J]. Eclinicalmedicine, 2024, 73.

[6] Tong X, Bao J*, Tao F. Co-evolutionary digital twins: A multidimensional dynamic approach to digital engineering [J]. Advanced Engineering Informatics, 2024, DOI: 10.1016/j.aei.2024.102554.

[7] Yicheng Sun, Qi Zhang , Jinsong Bao*, Yuqian Lu and Shimin Liu. Empowering digital twins with large language models for global temporal feature learning[J]. Journal of Manufacturing Systems, 2024, 74: 83-99.

作 者：鮑勁松

責任編輯：杜蔚杰

責任校對：劉 丹

審 核：張 強

JME學院簡介

JME學院是由《機械工程學報》編輯部2018年創(chuàng)建，以關注、陪伴青年學者成長為宗旨，努力探索學術傳播服務新模式。

歡迎各位老師掃碼添加小助理-暖暖為好友，由小助理拉入JME學院官方群！

歡迎關注JME學院視頻號~

尋覓合作伙伴

有一種合作叫做真誠，有一種發(fā)展可以無限，有一種伙伴可以互利共贏，愿我們合作起來流連忘返，發(fā)展起來前景可觀。關于論文推薦、團隊介紹、圖書出版、學術直播、招聘信息、會議推廣等，請與我們聯(lián)系。

感謝關注我們！《機械工程學報》編輯部將努力為您打造一個有態(tài)度、有深度、有溫度的學術媒體！

版權(quán)聲明：

本文為《機械工程學報》編輯部原創(chuàng)內(nèi)容，歡迎轉(zhuǎn)載！

在公眾號后臺留言需要轉(zhuǎn)載的文章題目及要轉(zhuǎn)載的公眾號ID以獲取授權(quán)!

聯(lián)系人：暖暖

電話：010-88379909

E-mail：jme@cmes.org

網(wǎng) 址：http://www.cjmenet.com.cn

官方微信號：jmewechat