近年来语音识别技术取得了很大的进步，这些进步一方面源于计算机技术的发展，另一方面源于人们对语音识别的需求。语音提供了人机交互的一个重要通道。例如通过发送语音指令给某种设备，再由语音识别软件进行翻译、解释为操作指令，对设备进行操纵，那么就可以大大简化学习设备使用的过程。因此，选择语音作为主要输入对虚拟替身进行操纵，虚拟替身与导购员之间用语言进行交流都是更人性化的交互式。但由于声音采集设备的性能、发音差异、发音的随意性、噪声干扰等因素，使语音识别存在错误率较高的问题，也很难作为精确输入设备来使用。

　　为了使用视觉、语音这样自然的、非干扰的交互方式，并解决单一通道的输入(视觉或语音)不够精确的问题，就需要把两个或多个通道的信息相结合来提高准确率。例如，通过眼动跟踪来指示虚拟替身的走动，可以结合语音命令的指示或通过光标键的提示。1. 3交互框架通过以上的分析，笔者构造出的多通道电子商务交互模型如图1所示。用户通过各种输入设备，输入图像、语音、文本、操作命令等数据，然后进行融合和统一的理解，实现以一种自然的方式与电子商务平台进行交流;电子商务平台为用户提供具有真实感的3D商店场景，提供商品的三维展示，以及对商品功能、属性的语音描述和文本描述等。本模型中，需要在用户端增加的硬件设备很少，有利于该交互模型在电子商务中的真正推广和使用。

   2、多通道交互平台的构建

　　2. 1顾客替身建模

　　1)顾客替身的生成方法

　　顾客替身是顾客在电子商场中漫游的代理人。生成虚拟替身的一种简单方法是，系统内置的通用虚拟替身与在目前常见的网络应用中选择一个头像类似，顾客登录后，可以选择一个虚拟替身。这种虚拟替身其形象没有顾客自身的个性化特征，在一些特定的购物体验中(如试穿衣服)，不能产生与实际体验相近的效果。

　　利用与文献[5,6]中类似的方法，可以生成符合顾客本身生理特征的三维虚拟替身。首先取得顾客的正面、侧面和背面的图像，从中获得顾客的脸部和体形特征;然后利用获得的脸部和体形特征对通用的人体模型进行修正，得到带有个性特征的三维人体模型;最后用图像对生成的人体模型进行纹理映射，得到形象逼真的虚拟替身。

　　2)顾客替身信息描述