从虚拟现实走向复合现实：高临场感空间的实现
虚拟现实(virtual reality, VR)是一种能够创建和体验虚拟环境的、由计算机生成的、给人多种感官刺激的高级人机交互系统。虚拟现实的特点在于，由计算机产生三维空间的虚拟环境，用户沉浸于其中，并接受多种感官刺激和自然人机交互。在短短10多年的时间里，虚拟现实技术获得了很大的发展，已成功地应用于军事、航空航天、娱乐、医学、教育、工业制造等多个领域。
虚拟现实技术与多媒体、网络技术并称为21世纪三大前景最好的信息媒体技术。随着器件技术和网络技术的进步，虚拟现实技术开始走向更加广泛的应用，越来越受到大众的关注。
虚与实的融合发展
早期的虚拟现实技术及其系统的开发和应用都是基于计算机图形学(computer graphics, CG)系统所进行的。在早期的虚拟现实系统中，用户沉浸在一个由CG产生的封闭系统中完成虚拟空间的视觉提示和模型操作，整个操作过程不能与外界场景进行交互。
近年来，随着需求的提高和图像处理技术的迅速发展，在虚拟现实研究领域，出现了一个新的研究方向，即复合现实(Mixed Reality，MR)研究方向。它是用户不断增强的对与实际场景协同操作所要求的产物。
复合现实技术的实质就是虚拟景物与实际场景的和谐融合。所谓虚实融合，就是把虚景与实景相结合，以构造用户所需的高临场感虚拟三维场景。虚景与实景相结合主要体现在两个方面：虚拟物体被放到现实场景中；或现实场景被融合在虚拟世界中，其结果使得虚拟对象与现实对象共存于同一个空间。复合现实是将现实世界和虚拟世界相融合的技术，它包括：增强现实(Augmented Reality，AR)，它以现实场景为基础，利用虚拟现实技术及其相关装置提供信息；增强虚拟(Augmented Virtuality，AV)，与AR相对应，它以计算机生成的虚拟世界为基础，利用图像处理技术构成融合空间，以提供给用户更加丰富的逼真视觉信息内容。
复合现实技术都可以担当什么样的角色呢？复合现实提供的特殊技术，使得人们可以完成很多以前难以想象的事情。
例如，当设计师想要构筑一个虚拟网上三维展示厅时，可以将真实的家具、电器和鲜花图像放置在其中，以增加真实的魅力；当你在博物馆中漫游时，目光落在一件非常精美的工艺品的瞬间，相关的介绍资料将会立刻显示在眼前；在医学上，医生在检查病人身体时，可以将相关部位的X线图像与实际部位重叠显示，可以增加医生观察的效果；在军事训练中，士兵在向山包或街道迂回前进时，通过复合现实技术可以清晰地看到被遮挡的地形和建筑物的位置。
总之，复合现实技术可以通过虚与实的结合，为用户提供高度临场感的视觉、听觉甚至触觉的感知。
浏览真实场景和协同操作
随着复合现实技术的发展，在许多重要应用场合，对于真实场景的浏览和协同操作具有更加广泛的需求。例如，通过复合现实系统进行工艺品鉴赏，对现有产品进行设计讨论，或是进行现场的手术观摩等，都需要将真实场景的立体图像引入具有沉浸感的三维空间中。清华大学电子工程系图像图形研究所和清华大学网络中心共同合作，承担了国家CNGI项目中的基于IPv6的高性能视频传输和共享虚拟现实课题。在此基础上，研发出了基于虚实融合的共享协同交互操作系统。下面，我们对这个系统进行简要介绍。
立体摄像装置
我们研发了具有“真立体”感的立体摄像硬件装置和立体显示软件处理技术。为了实现真实的具有沉浸感的三维立体显示，不采用通常的将一幅视频图像进行位移而产生左右眼立体视觉的方法，而是采用双摄像机系统采集具有真实立体感的视频图像，进而生成左右眼立体视觉方法。 #p#page_title#e#
为了在今后便于应用推广，我们采用基于USB摄像头的立体摄像装置，通过2个高性能USB独立摄像头对目标进行立体视频拍摄。然后，通过DirectShow技术采集视频图像，获得左右两幅立体图像存入内存中，供后面的图像处理和图像合成使用。采集系统见图1。
虚实融合的交互操作
为了能够在立体视觉空间进行交互操作，我们研发了视频图像与图形模型(指示光标)在三维空间进行融合的算法。在不同地点的用户通过与显示在画面上的指示光标进行交互，协同操作，使位于多地点的每一个用户实现了同一个信息空间的共享。图2表示了实际的操作图像。我们采用二维图像绘制立体光标生成指示光标。首先根据鼠标操作信息，生成左眼光标，然后叠加在左眼图像中。同时，为了保证指示光标随物体表面滑动而不产生空中漂浮感，利用特征匹配技术，在右眼图像的特定区域中搜索与左眼图像光标所在位置的相同区域，然后根据确定的位置生成右眼光标，并叠加在右眼图像中。
三维立体视频图像显示装置和显示技术
将前面获得的视频图像与图形模型(指示光标)虚实融合后的图像送入帧缓存器，利用DirectShow技术实现立体显示。立体显示装置为配置了红外发射器的有源液晶光闸立体眼镜。由于当倍频较低时，闪烁问题将对长时间用户产生生理和心理负担，因此立体视频显示中场频倍频技术是亟待解决的一个技术课题。我们研发了立体显示中场频倍频技术及其处理方法，使得主动红外控制的立体视频显示装置的场频不低于100场/秒的显示速率，达到了实时、无疲劳感的三维立体显示效果。当显示立体视频时，可以看到一个立体的指示光标同时显示在物体表面，用户通过该光标可以完成交互操作。图3是实验所使用的红外发射器和有源立体眼镜，图4为实验场景。
基于IP网络传输的共享协同操作
整个系统以网络为构架，通过网络通信控制，来达到远程的虚拟现实的图像的远程传输和控制。整个系统的通信部分采用Winsock API进行开发，摒弃了其他远程控制系统中多采用的阻塞字加多线程的编程模式，而结合了Directshow Filter的开发，一起封装成一个Com接口，大大提高模块的通用性。
本系统的软件通信部分主要是基于套接口Winsock控件和Directshow开发的。网络发送和网络接收部分都封装成两个Directshow Filter插件，注册到系统中，这样方便和其他视频处理模块使用。图5为基于IP网络传输的共享协同操作框架示意图。目前我们已经完成了基于IPv4和IPv6网的传输通信测试。
虚拟技术的研究 开始走向复合现实
复合现实技术把人类对现实世界所产生的知觉，例如视觉、听觉和触觉，与计算机生成的电子信息相互融合，同时采用自然的方式提供给用户。其常用的装置，如在用户前方通过半透过型显示器，将视线前方的景物和与景物相关的、计算机自动生成的文字和图形相融合后进行显示。尽管听觉和触觉信息的融合也是非常重要的，但是，在一段时期内，该研究领域内的研究和应用还将会主要集中在视觉信息的融合和显示上。
今后，复合现实技术进一步需要解决的关键技术主要包括以下几点：
数据融合技术
由于需要将计算机生成的文字和图形与真实场景中的景物精确重叠后显示，因此，需要引入场景理解和物体识别技术。
例如，当我们在博物馆中鉴赏到一个艺术品时，计算机首先要认识这件艺术品，然后显示介绍文字或者显示介绍其功能的动画资料。
再比如，当我们对一个产品进行再设计时，产品实物和计算机所产生的图形需要在视角投影方向上进行精确的位置融合，而且，还需要进行基于光照条件的明暗融合。请注意，这种融合不同于电影特技的一个关键点是，复合现实中所要求的是完全实时的融合。
行为传感器
为了实现精确的位置融合，复合现实系统还需要检测用户的操作行为，即行为传感器。
比如，将计算机生成的一个虚拟钟表模型放到前方实际场景中的书桌表面上时，我们需要检测出用户的头部位置和方向，然后在显示器中将相应视角的钟表模型与桌面重叠。并且，当头部位置变化时，模型的大小和形状相应发生改变，以达到高度临场感显示。 #p#page_title#e#
自然交互操作
自然交互操作主要包含两个内容，一是对物体的自然交互操作方式。例如，由于二维鼠标不易完成三维空间操作，需要研发能够直接进行三维空间操作的装置。二是触觉的力反馈提示。它主要提供在高临场感空间中的位置反馈信息。例如，当用户将计算机生成的一个虚拟钟表模型放到前方实际场景中的书桌表面上时，如果有了力反馈，用户很容易感觉到物体放到桌面上的那一瞬间。
力反馈技术也是虚拟现实中的关键技术，尽管目前尚不成熟，但发展潜力巨大。
基于网络的共享系统
早期的虚拟现实技术及其系统的开发和应用都是基于本地环境的封闭系统所进行的，整个操作过程不与他人进行协同和交互。近年来，随着虚拟现实应用的发展，人们开始对实时、交互、协作的同步共享虚拟现实环境提出了强烈的要求。共享环境将会使多数人在一起有效地工作、观察或讨论。随着互联网技术的普及化和高速化发展，在虚拟现实研究领域，人们对在线虚拟现实或称共享虚拟现实的研究正在展开。
共享虚拟现实系统是虚拟现实技术与互联网技术相结合的最新发展方向。分布在不同地理位置的用户，通过互联网连接到一个由计算机产生的网上的三维环境，用户在该三维环境中，可以观看三维景观，可以前进或变换观察角度，也可以通过人机交互装置与虚拟物体或其他用户进行交互操作。在这样的系统中，用户可以佩戴上头盔显示器、立体眼镜，或者数据手套等特殊装置，也可以脱离这些装置而置身于如洞穴式(CAVE)的大型三维显示环境中。共享环境使得远隔地点的多个用户能够在此空间内实现以前难以实现的跨越时空的信息交互，完成在此之前难以完成的许多重要任务。
那么，再经过十年的时间，复合现实技术将会达到何种程度呢？这是人们十分关心的一个热点问题。科学家预言，复合现实这样一种新型人机交互技术将逐步开始进入实用化，并会给我们的生活带来极大的影响。
