新闻动态

清华大学精密仪器系先进激光技术团队柳强教授和肖起榕副教授等在Science Advances期刊上发表题为Deep Learning-Enabled Versatile Shape Perception for Soft Robots via Single-Ended Multimode Fiber的研究论文。该团队提出一种单端多模光纤多样形态感知方法，仅用一根直径400μm的标准多模光纤，即可实现软体机器人从离散状态确认、连续高分辨率跟踪到三维形态重建的异构任务形态感知，为软体机器人数字孪生闭环控制提供核心感知支撑。

研究背景

软体机器人凭借连续形变与高冗余自由度，在微创介入、灵巧操作等场景极具优势，但其柔性躯体的连续形变感知一直是行业痛点。传统电子、光纤传感方案依赖复杂硬件堆叠，既破坏软体柔性，也难以适配狭小介入空间；双端多模光纤传感需形成环路，且单一任务模型泛化性差，无法满足异构场景感知需求。

对此，团队另辟蹊径，利用多模光纤模式耦合特性，采用单端反射式多模光纤系统与侧向耦合光注入策略，不再依赖远端设备与复杂解调单元。仅用标准多模光纤，即可将连续形变编码为高维散斑场，以计算替代硬件实现感知能力的跃升。具体来说，团队将光纤输出的散斑场作为承载形态信息的编码载体，设计不同维度输出的神经网络解码器，实现一套硬件适配多任务，覆盖点、线、面全维度感知需求。

图1 基于极简单端多模光纤的多样感知系统

成果优势

在离散状态确认方面，团队构建置信度门控网络，在±90°弯曲范围内实现高置信度事件确认。该技术应用于软体夹持器时，10类曲率抓取状态识别准确率超99%。

图2 动态离散状态确认在软体夹持器中的应用

在连续高分辨率跟踪方面，团队提出结构化几何编码策略，将一维角度回归转化为二维掩码预测，在稀疏标定下实现高分辨率感知。其分辨率较标定网格提升约5倍，平均绝对误差低至0.01°，可完美适配仿生手多关节复杂连续运动跟踪。

图3 仿生灵巧手的连续姿态感知性能

特别值得关注的是，在三维形态重建方面，针对医疗介入视觉盲区场景，团队创新融合双视图协同网络与检索增强生成（RAG）策略，有效消除几何幻觉，实现软体手术器械高精度三维骨架重建。其平均交并比（IoU）超0.93，可支持无辐射的可视化安全导航。

图4 基于检索增强双视图协同的直观三维形态感知

图5 医疗介入视觉盲区场景下对柔性手术操作臂的三维形态重建结果

该感知系统兼集成化、柔性化、低成本、多功能优势，可介入式嵌入狭小弯曲的软体结构。它既能应用于微创外科手术机器人，实现器械在血管、腔道内的三维形态透明感知；也能用于仿生灵巧手，提供高精度连续姿态反馈，支撑精细操作；还可应用于工业软体执行器，完成稳定抓取、状态监测等异构任务感知。同时，系统可通过在线学习抑制环境漂移，未来结合片上光神经网络、柔性光子学，有望进化为集感知、成像、诊疗于一体的智能感知中枢，为具身智能提供核心感知底座。

本研究由清华大学精密仪器系、精密时空信息感知技术国家重点实验室、四川大学华西医院共同完成。精仪系2024级博士研究生何赵璠为论文第一作者，通讯作者为精仪系柳强教授、肖起榕副教授。研究得到国家自然科学基金、北京市自然科学基金资助，论文链接为

https://www.science.org/doi/10.1126/sciadv.aef6263

论文信息：

题目：

Deep Learning-Enabled Versatile Shape Perception for Soft Robots via Single-Ended Multimode Fiber

作者：

Zhaofan He, Lele Wang, Haidi Geng, Zhengyang Lu, Tiantian He, Hongkun Zhong, Hailong Zhang, Runfeng Zhu, Qingxiang Zhao, Yuan Meng, Dan Li, Ping Yan, Qiang Liu*, Qirong Xiao*

期刊：

Science Advances

DOI：

https://doi.org/10.1126/sciadv.aef6263