เพื่อที่จะปรับให้เข้ากับสภาพแวดล้อมในเมืองที่เปิดกว้างร่างกายที่ชาญฉลาดจำเป็นต้องจับภาพการเคลื่อนไหวของร่างกายของผู้คนโดยรอบและโครงสร้างของฉากแบบเรียลไทม์ การรับรู้แบบดั้งเดิมหมายถึงเซ็นเซอร์เฉื่อยและกล้องซึ่งมีปัญหาเกี่ยวกับข้อมูลที่ยาวนานและความไวต่อการเปลี่ยนแปลงของแสงและสภาพแวดล้อมตามลำดับนั้นยากที่จะตอบสนองความต้องการการเคลื่อนไหวของร่างกายมนุษย์และการจับฉากในสภาพแวดล้อมที่ซับซ้อนในแอปพลิเคชัน สาขาการขับขี่อัจฉริยะหุ่นยนต์บริการและการฝึกอบรมกีฬา
ตั้งแต่ปี 2565 ทีมงานของศาสตราจารย์เฉิงวังและศาสตราจารย์เฉิงลูเวนเป็นคนแรกที่เสนอเทคโนโลยีการจับภาพการเคลื่อนไหวของมนุษย์ LiDAR ในเวทีระหว่างประเทศ (Lidarcap, CVPR 2022; HSC4D, CVPR 2022; Sloper4d, CVPR 2023) ในสิ่งพิมพ์นี้ HISC4D ทีมบุกผ่านวิธีการที่จะจับภาพการเคลื่อนไหวแบบสองคนที่หลากหลายและฉาก 3 มิติในมุมมองบุคคลแรกในฉากในร่มและกลางแจ้งขนาดใหญ่ วิธีการสร้างกรอบการเพิ่มประสิทธิภาพร่วมหลายขั้นตอนโดยการหลอมรวมคำแนะนำเฉื่อยและข้อมูล LiDAR ซึ่งแก้ปัญหาการดริฟท์ที่เกิดจากคำแนะนำเฉื่อยอย่างมีประสิทธิภาพและปรับปรุงความแม่นยำในการสร้างฉากอย่างมีนัยสำคัญและขยายช่วงของการเคลื่อนไหวเชิงพื้นที่การเคลื่อนไหวของมนุษย์ ในขณะเดียวกันชุดข้อมูลการโต้ตอบสองคนหลายรูปแบบแรกได้รับการปล่อยตัวครอบคลุมประเภทฉากที่แตกต่างกันและการเคลื่อนไหวของมนุษย์ที่หลากหลายโดยให้ทรัพยากรข้อมูลการฝึกอบรมสำหรับสาขาการวิจัยที่เกี่ยวข้องเทคโนโลยี hisc4d ใช้ LIDAR เป็นเซ็นเซอร์หลักในการสร้างการเคลื่อนไหวของมนุษย์และฉาก 3 มิติที่ 3D ในเวลาเดียวกันซึ่งเปิดวิธีคิดใหม่สำหรับสติปัญญาที่เป็นตัวเป็นตนเพื่อไปยังกิจกรรมกลางแจ้งอันกว้างใหญ่และรวมเข้ากับฝูงชน
