手势识别功能
插件名称:OpenCVForUnity
效果
关键代码
HandPoseEstimationMediaPipeExample
MediaPipeHandPoseEstimator
第二步: 性能问题,功能是不错,可是一个手部识别的demo,cpu直接飙满了,这哪行。
下面是一些测试
1.仅仅绘制食指指尖的位置
解释:
opencv手部姿态算法模型的计算结果中包含手部的21个骨骼节点数据,其中食指指尖数据的索引是8
在脚本中的landmarks_screen_xyz数组长度为63,每三个元素为一个骨骼节点的数据
所以食指指尖节点数据所在的位置就是索引24、25、26指向的元素。
所以在代码里限制了仅仅在j==24时可以绘制。
功能是具备,不过性能占用方面也是很惊人。
可以选择优化插件性能来解决问题,这里我尝试了第二种方式—使用python调用OpenCV的视觉算法库然后把数据传递给unity使用,效率大大提升了。
文章地址