面向AI眼镜、AR及VR智能眼镜等可穿戴设备的软硬件一体化手势交互解决方案,将极豪科技的JVH成像模组、LED阵列、柔性印刷电路板(FPC)及自主研发的深度学习算法整合于紧凑低功耗的形态中,易于集成,并支持每副眼镜配置一个或两个成像模组。

JVH具备两大核心能力:

  • 手部关键点追踪
    可检测用户手部位置,并持续以世界坐标系估算整体手部姿态及关节姿态
  • 手势交互
    通过解析时序追踪输出,识别确认、点击、拖曳及手写输入等语义化用户手势

功能

  • 双手检测与跟踪,支持区分左右手
  • 输出双手 26 点关节点 3D 信息
  • 支持手部 3D Mesh
  • 支持手部深度
  • 支持多种静、动态手势识别,并支持自定义手势

典型技术参数

类别细项指标说明
检出检测左右手正常>99%、遮挡>95%、误检<0.1%置信度输出,便于上层渲染和交互控制
手势识别率手掌>99%、Pinch>95%、拳头>95%除手掌外,其他手势都容易在特定角度漏检,在正常交互体验上可以使用策略优化
关键点平均关键点误差<1.5cm骨骼关键点的绝对误差
手型精度<0.8cm相对精度,单只手不同关节点的相对位置
静飘/动飘<0.3cm稳定性,手不动时算法结果的抖动
速度延迟(XR2 平台)算法耗时9ms 双手跟踪根据出图帧率,可达到 30FPS
算法延迟23ms @60FPS平滑策略带来的<1帧延迟,叠加算法耗时
资源占用(XR2 平台)内存100M以内
CPU<20%
DSP/NPU<10%
功耗200mW参考值,可根据整机系统状况优化

优势特色

  • 复杂场景下高性能表现

    • 在复杂的手指交互(如捏合或扭转)以及非常规的手势中展现出极佳的识别效率和精度
  • 高研发投入

    • 千万级测试数据库
    • 多项手势识别相关核心专利
  • 行业顶级手势识别算法能力

    • 2023年第七届全球 HANDS 单目第一人称手势姿态比赛冠军
    • 2024年第八届全球 HANDS 手势识别比赛冠军
    • 2026年第十届全球 HANDS 三维手-物交互场估计赛道冠军
    • 团队在国际顶级会议(CVPR、ECCV等)发表多篇论文

方案功能演示

支持多种静、动态手势识别及自定义手势;
复杂情境下(遮挡、重合等)可实现精确、流畅的裸手交互能力