11月21日下午，由蛮牛精心打造的开发者线下技术交流平台，第四届蛮牛杯思享汇系列活动（北京站）在金长安大厦圆满结束。来自蛮牛社区的游戏开发者、VR行业、游戏产业以及媒体记者等超120人。现场异常火爆，座无虚席，学习交流氛围浓郁。 
会上，uSens技术工程师吕希鸣同学与大家分享的主题是“VR手势交互应用开发案例分享”。主要讲的是在虚拟现实和增强现实中，用手势与虚拟世界进行互动。
 
以下为演讲实录：
大家好，刚才活动开始前有一段我们的联播视频，里面的内容，有虚拟现实，也有增强现实，但是那些演示里面都有一些新奇的地方，很多Sample是用手势来操作，这也是我今天要讲的内容，在虚拟现实和增强现实中用三维手势进行交互操作。
 
我们公司是一家美国的创业公司，在中国有三个分部，北京，杭州，还有深圳，我是来自杭州。我们做三维手势是为了解决交互问题，最能发挥用途的地方还是在VR移动应用中，VR头盔上的输入问题一直是个难题，所以我们要来解决这个难题。
 　　我们看图上，鼠标是一个好东西，在PC上几乎是无可取代的，然后，手机上有触摸屏，也是无可取代的，它们输入都很灵活，然后人们用VR头盔时就会很郁闷，像图片上谷歌这个Cardboard，它有一个磁铁，提供了类似按钮的功能，只能做一些简单的操作，人们玩一段时间以后会很不爽，说“我的手在哪里”，甚至会想用手去触摸一些虚拟的物体，所以我们下面这个头盔，是我们明年要推出的一款产品，戴上它是可以用手势来输入和操作的。　　这个头盔的前端有我们的硬件，是我们开发的一个板子，我们起名为Fingo，顾名思义就是手指运动的意思，它的核心部分是两个红外相机，它们会扫描到手的图像，然后捕捉到手的位置和运动，这用的是图像处理方法，很多高深复杂的算法。这些算法我们已经烧录到板子上的芯片里了，是我们硬件的一部分。好，有了硬件就要有SDK，有了SDK才能拿来做应用，来看一下我们的SDK是什么样的。它现在支持Windows和Android平台。在Windows平台里，功能被封装成一个动态库(Fingo.dll)，用C++/C#/都可以访问，Unity中写写脚本也能调用，而且它在编辑器里也能运行，所以调试程序会很方便。然后是Android，有一个底层，fingo.so是底层部分，对应的有一个fingo.jar，可以用Java来编写Android游戏，Unity里也是一样，写写脚本，把这两个库加进去再打包出Android游戏。
 　　我们看一下SDK里有什么接口。我这是一个而很抽象的图，只把主要内容放上来，主要是提供了一个设备对象，它会从设备里取出我们的手指信息，它的刷新率一秒钟差不多是60帧，能满足游戏的要求。所有的手指信息是在一个TipInfoList里，可以理解为是数组，里面包含了所有手指的信息，每个手指的信息是包含了三个内容，手指编号，手指位置，手指尖的指向，有了这些信息，你们就可以好好发挥，做你们需要的功能。有人会问手指编号是干什么用的，它是为了识别出手指的顺序，系统不是按一个特定顺序得到手指的，就是每次数组里的信息顺序不一样，有了这样的ID，就识别出哪一个是食指，哪一个是中指，这样的信息。
 　　后面我们会展示一些例子，这个是一个很简单的例子，它是一个SDK的入门例子，我们会把它放到发布的SDK里面去，你们学习时可以看到，它用到两个脚本，一个FingoDeviceCtrl是SDK里面已经写好的，下面FingoHandCtrl是Sample自己的代码，把这两个脚本绑定到右边这个场景物体上。Sample里需要提供五个手指的模型，我们就用五个小球来代替了，五个小球已经在FingoHand下面了，在那个数组里一一绑定，一个简单的例子就完成了。　　这是另外一个例子，打气球的小游戏，这里是一段视频，是把刚才那个例子升级了一下，多加了点球，我们现在播放一下。现在就编程了一个打球的小游戏，可以用五个手指来触碰这些球，这里双目显示是用的Cardboard接口。　　我们还提供了一个稍微复杂一点的例子，这是一个传统街机的打地鼠游戏，我们希望有手势来敲打可爱的老鼠，而不是用鼠标去点它。这个游戏其它部分显得复杂，但是手势部分还是用的我们这个设备脚本，把它绑定上去，然后用手势来操作游戏。我们爱看一下它的两个视频，这个是从视野里录出来的，有一个简单的内景，这把锤子现在也i警示用手指来操作了。这边播放的是我从外面录的，也是一样，演示效果会更明显。这个游戏的手势很简单，只用到了一个手指，因为它就控制一个棒槌，这三个Sample在展台上有，三个例子大家都可以去体验一下。　　好了，我将的就是这些，明年我们新产品上市，同步的也会发布这个SDK，你们可以去体验一下，希望能有技术交流，多和我们uSens联系。谢谢大家！