澳门新浦新京网页

首页 >> 探索发现 >> 科研进展 >> 正文
王程教授团队在激光雷达人体动作和场景捕捉领域取得新进展
发布时间:2024年09月30日 来源:信息学院

近期,我校信息学院王程教授和温程璐教授团队,在激光雷达人体动作和场景捕捉领域取得重要进展,相关研究成果以“HiSC4D: Human-centered Interaction and 4D Scene Capture in Large-scale Space Using Wearable IMUs and LiDAR”为题发表在IEEE Transactions on Pattern Analysis and Machine Intelligence(DOI: 10.1109/TPAMI.2024.3457229)。

图片1.png

为适应开放的城市环境,智能体需要实时捕捉周边人群的肢体动作和场景的结构。基于惯性传感器和相机的传统感知手段,分别存在长时间数据漂移和对光照及环境动态变化敏感等问题,难以满足智能驾驶、服务机器人、体育训练等应用领域对复杂环境人体动作和场景捕捉的需求。自2022年起,王程教授和温程璐教授团队在国际上首先提出了激光雷达(LiDAR)人体动捕技术(LiDARCap, CVPR 2022; HSC4D, CVPR 2022; Sloper4D, CVPR 2023)。在本次发表的成果HiSC4D中,团队突破了在大规模室内外开放场景中,捕捉第一人称视角下的多样化双人交互动作和三维场景的方法。该方法通过融合惯导和激光雷达数据,构建了多阶段联合优化框架,有效解决了惯导带来的漂移问题,并显著提升了场景重建精度,扩展了空间、人体动作和互动捕捉的范围。同时发布了首个多模态双人交互数据集,涵盖不同场景类型和多样化人体动作,为相关研究领域提供训练数据资源。HiSC4D技术以激光雷达为核心传感器,同时重建人体动作和三维场景,为具身智能走向广阔户外、融入人群开辟了新的思路。

该论文由戴雨笛博士生、王志勇硕士生、林希平硕士生在温程璐教授、王程教授、沈思淇副教授、上海科技大学许岚研究员、马月昕研究员共同指导下完成。该研究工作得到了国家自然科学基金项目(62171393)等项目的支持。

论文链接:https://ieeexplore.ieee.org/document/10670484

(信息学院)

【责任编辑:毛敏倩】
澳门新浦新京网页【科技】有限公司