從虛擬現(xiàn)實(shí)走向復(fù)合現(xiàn)實(shí)：高臨場感空間的實(shí)現(xiàn)
虛擬現(xiàn)實(shí)(virtual reality, VR)是一種能夠創(chuàng)建和體驗(yàn)虛擬環(huán)境的、由計(jì)算機(jī)生成的、給人多種感官刺激的高級(jí)人機(jī)交互系統(tǒng)。虛擬現(xiàn)實(shí)的特點(diǎn)在于，由計(jì)算機(jī)產(chǎn)生三維空間的虛擬環(huán)境，用戶沉浸于其中，并接受多種感官刺激和自然人機(jī)交互。在短短10多年的時(shí)間里，虛擬現(xiàn)實(shí)技術(shù)獲得了很大的發(fā)展，已成功地應(yīng)用于軍事、航空航天、娛樂、醫(yī)學(xué)、教育、工業(yè)制造等多個(gè)領(lǐng)域。
虛擬現(xiàn)實(shí)技術(shù)與多媒體、網(wǎng)絡(luò)技術(shù)并稱為21世紀(jì)三大前景最好的信息媒體技術(shù)。隨著器件技術(shù)和網(wǎng)絡(luò)技術(shù)的進(jìn)步，虛擬現(xiàn)實(shí)技術(shù)開始走向更加廣泛的應(yīng)用，越來越受到大眾的關(guān)注。
虛與實(shí)的融合發(fā)展
早期的虛擬現(xiàn)實(shí)技術(shù)及其系統(tǒng)的開發(fā)和應(yīng)用都是基于計(jì)算機(jī)圖形學(xué)(computer graphics, CG)系統(tǒng)所進(jìn)行的。在早期的虛擬現(xiàn)實(shí)系統(tǒng)中，用戶沉浸在一個(gè)由CG產(chǎn)生的封閉系統(tǒng)中完成虛擬空間的視覺提示和模型操作，整個(gè)操作過程不能與外界場景進(jìn)行交互。
近年來，隨著需求的提高和圖像處理技術(shù)的迅速發(fā)展，在虛擬現(xiàn)實(shí)研究領(lǐng)域，出現(xiàn)了一個(gè)新的研究方向，即復(fù)合現(xiàn)實(shí)(Mixed Reality，MR)研究方向。它是用戶不斷增強(qiáng)的對(duì)與實(shí)際場景協(xié)同操作所要求的產(chǎn)物。
復(fù)合現(xiàn)實(shí)技術(shù)的實(shí)質(zhì)就是虛擬景物與實(shí)際場景的和諧融合。所謂虛實(shí)融合，就是把虛景與實(shí)景相結(jié)合，以構(gòu)造用戶所需的高臨場感虛擬三維場景。虛景與實(shí)景相結(jié)合主要體現(xiàn)在兩個(gè)方面：虛擬物體被放到現(xiàn)實(shí)場景中；或現(xiàn)實(shí)場景被融合在虛擬世界中，其結(jié)果使得虛擬對(duì)象與現(xiàn)實(shí)對(duì)象共存于同一個(gè)空間。復(fù)合現(xiàn)實(shí)是將現(xiàn)實(shí)世界和虛擬世界相融合的技術(shù)，它包括：增強(qiáng)現(xiàn)實(shí)(Augmented Reality，AR)，它以現(xiàn)實(shí)場景為基礎(chǔ)，利用虛擬現(xiàn)實(shí)技術(shù)及其相關(guān)裝置提供信息；增強(qiáng)虛擬(Augmented Virtuality，AV)，與AR相對(duì)應(yīng)，它以計(jì)算機(jī)生成的虛擬世界為基礎(chǔ)，利用圖像處理技術(shù)構(gòu)成融合空間，以提供給用戶更加豐富的逼真視覺信息內(nèi)容。
復(fù)合現(xiàn)實(shí)技術(shù)都可以擔(dān)當(dāng)什么樣的角色呢？復(fù)合現(xiàn)實(shí)提供的特殊技術(shù)，使得人們可以完成很多以前難以想象的事情。
例如，當(dāng)設(shè)計(jì)師想要構(gòu)筑一個(gè)虛擬網(wǎng)上三維展示廳時(shí)，可以將真實(shí)的家具、電器和鮮花圖像放置在其中，以增加真實(shí)的魅力；當(dāng)你在博物館中漫游時(shí)，目光落在一件非常精美的工藝品的瞬間，相關(guān)的介紹資料將會(huì)立刻顯示在眼前；在醫(yī)學(xué)上，醫(yī)生在檢查病人身體時(shí)，可以將相關(guān)部位的X線圖像與實(shí)際部位重疊顯示，可以增加醫(yī)生觀察的效果；在軍事訓(xùn)練中，士兵在向山包或街道迂回前進(jìn)時(shí)，通過復(fù)合現(xiàn)實(shí)技術(shù)可以清晰地看到被遮擋的地形和建筑物的位置。
總之，復(fù)合現(xiàn)實(shí)技術(shù)可以通過虛與實(shí)的結(jié)合，為用戶提供高度臨場感的視覺、聽覺甚至觸覺的感知。
瀏覽真實(shí)場景和協(xié)同操作
隨著復(fù)合現(xiàn)實(shí)技術(shù)的發(fā)展，在許多重要應(yīng)用場合，對(duì)于真實(shí)場景的瀏覽和協(xié)同操作具有更加廣泛的需求。例如，通過復(fù)合現(xiàn)實(shí)系統(tǒng)進(jìn)行工藝品鑒賞，對(duì)現(xiàn)有產(chǎn)品進(jìn)行設(shè)計(jì)討論，或是進(jìn)行現(xiàn)場的手術(shù)觀摩等，都需要將真實(shí)場景的立體圖像引入具有沉浸感的三維空間中。清華大學(xué)電子工程系圖像圖形研究所和清華大學(xué)網(wǎng)絡(luò)中心共同合作，承擔(dān)了國家CNGI項(xiàng)目中的基于IPv6的高性能視頻傳輸和共享虛擬現(xiàn)實(shí)課題。在此基礎(chǔ)上，研發(fā)出了基于虛實(shí)融合的共享協(xié)同交互操作系統(tǒng)。下面，我們對(duì)這個(gè)系統(tǒng)進(jìn)行簡要介紹。
立體攝像裝置
我們研發(fā)了具有“真立體”感的立體攝像硬件裝置和立體顯示軟件處理技術(shù)。為了實(shí)現(xiàn)真實(shí)的具有沉浸感的三維立體顯示，不采用通常的將一幅視頻圖像進(jìn)行位移而產(chǎn)生左右眼立體視覺的方法，而是采用雙攝像機(jī)系統(tǒng)采集具有真實(shí)立體感的視頻圖像，進(jìn)而生成左右眼立體視覺方法。 #p#page_title#e#
為了在今后便于應(yīng)用推廣，我們采用基于USB攝像頭的立體攝像裝置，通過2個(gè)高性能USB獨(dú)立攝像頭對(duì)目標(biāo)進(jìn)行立體視頻拍攝。然后，通過DirectShow技術(shù)采集視頻圖像，獲得左右兩幅立體圖像存入內(nèi)存中，供后面的圖像處理和圖像合成使用。采集系統(tǒng)見圖1。
虛實(shí)融合的交互操作
為了能夠在立體視覺空間進(jìn)行交互操作，我們研發(fā)了視頻圖像與圖形模型(指示光標(biāo))在三維空間進(jìn)行融合的算法。在不同地點(diǎn)的用戶通過與顯示在畫面上的指示光標(biāo)進(jìn)行交互，協(xié)同操作，使位于多地點(diǎn)的每一個(gè)用戶實(shí)現(xiàn)了同一個(gè)信息空間的共享。圖2表示了實(shí)際的操作圖像。我們采用二維圖像繪制立體光標(biāo)生成指示光標(biāo)。首先根據(jù)鼠標(biāo)操作信息，生成左眼光標(biāo)，然后疊加在左眼圖像中。同時(shí)，為了保證指示光標(biāo)隨物體表面滑動(dòng)而不產(chǎn)生空中漂浮感，利用特征匹配技術(shù)，在右眼圖像的特定區(qū)域中搜索與左眼圖像光標(biāo)所在位置的相同區(qū)域，然后根據(jù)確定的位置生成右眼光標(biāo)，并疊加在右眼圖像中。
三維立體視頻圖像顯示裝置和顯示技術(shù)
將前面獲得的視頻圖像與圖形模型(指示光標(biāo))虛實(shí)融合后的圖像送入幀緩存器，利用DirectShow技術(shù)實(shí)現(xiàn)立體顯示。立體顯示裝置為配置了紅外發(fā)射器的有源液晶光閘立體眼鏡。由于當(dāng)倍頻較低時(shí)，閃爍問題將對(duì)長時(shí)間用戶產(chǎn)生生理和心理負(fù)擔(dān)，因此立體視頻顯示中場頻倍頻技術(shù)是亟待解決的一個(gè)技術(shù)課題。我們研發(fā)了立體顯示中場頻倍頻技術(shù)及其處理方法，使得主動(dòng)紅外控制的立體視頻顯示裝置的場頻不低于100場/秒的顯示速率，達(dá)到了實(shí)時(shí)、無疲勞感的三維立體顯示效果。當(dāng)顯示立體視頻時(shí)，可以看到一個(gè)立體的指示光標(biāo)同時(shí)顯示在物體表面，用戶通過該光標(biāo)可以完成交互操作。圖3是實(shí)驗(yàn)所使用的紅外發(fā)射器和有源立體眼鏡，圖4為實(shí)驗(yàn)場景。
基于IP網(wǎng)絡(luò)傳輸?shù)墓蚕韰f(xié)同操作
整個(gè)系統(tǒng)以網(wǎng)絡(luò)為構(gòu)架，通過網(wǎng)絡(luò)通信控制，來達(dá)到遠(yuǎn)程的虛擬現(xiàn)實(shí)的圖像的遠(yuǎn)程傳輸和控制。整個(gè)系統(tǒng)的通信部分采用Winsock API進(jìn)行開發(fā)，摒棄了其他遠(yuǎn)程控制系統(tǒng)中多采用的阻塞字加多線程的編程模式，而結(jié)合了Directshow Filter的開發(fā)，一起封裝成一個(gè)Com接口，大大提高模塊的通用性。
本系統(tǒng)的軟件通信部分主要是基于套接口Winsock控件和Directshow開發(fā)的。網(wǎng)絡(luò)發(fā)送和網(wǎng)絡(luò)接收部分都封裝成兩個(gè)Directshow Filter插件，注冊到系統(tǒng)中，這樣方便和其他視頻處理模塊使用。圖5為基于IP網(wǎng)絡(luò)傳輸?shù)墓蚕韰f(xié)同操作框架示意圖。目前我們已經(jīng)完成了基于IPv4和IPv6網(wǎng)的傳輸通信測試。
虛擬技術(shù)的研究 開始走向復(fù)合現(xiàn)實(shí)
復(fù)合現(xiàn)實(shí)技術(shù)把人類對(duì)現(xiàn)實(shí)世界所產(chǎn)生的知覺，例如視覺、聽覺和觸覺，與計(jì)算機(jī)生成的電子信息相互融合，同時(shí)采用自然的方式提供給用戶。其常用的裝置，如在用戶前方通過半透過型顯示器，將視線前方的景物和與景物相關(guān)的、計(jì)算機(jī)自動(dòng)生成的文字和圖形相融合后進(jìn)行顯示。盡管聽覺和觸覺信息的融合也是非常重要的，但是，在一段時(shí)期內(nèi)，該研究領(lǐng)域內(nèi)的研究和應(yīng)用還將會(huì)主要集中在視覺信息的融合和顯示上。
今后，復(fù)合現(xiàn)實(shí)技術(shù)進(jìn)一步需要解決的關(guān)鍵技術(shù)主要包括以下幾點(diǎn)：
數(shù)據(jù)融合技術(shù)
由于需要將計(jì)算機(jī)生成的文字和圖形與真實(shí)場景中的景物精確重疊后顯示，因此，需要引入場景理解和物體識(shí)別技術(shù)。
例如，當(dāng)我們在博物館中鑒賞到一個(gè)藝術(shù)品時(shí)，計(jì)算機(jī)首先要認(rèn)識(shí)這件藝術(shù)品，然后顯示介紹文字或者顯示介紹其功能的動(dòng)畫資料。
再比如，當(dāng)我們對(duì)一個(gè)產(chǎn)品進(jìn)行再設(shè)計(jì)時(shí)，產(chǎn)品實(shí)物和計(jì)算機(jī)所產(chǎn)生的圖形需要在視角投影方向上進(jìn)行精確的位置融合，而且，還需要進(jìn)行基于光照條件的明暗融合。請(qǐng)注意，這種融合不同于電影特技的一個(gè)關(guān)鍵點(diǎn)是，復(fù)合現(xiàn)實(shí)中所要求的是完全實(shí)時(shí)的融合。
行為傳感器
為了實(shí)現(xiàn)精確的位置融合，復(fù)合現(xiàn)實(shí)系統(tǒng)還需要檢測用戶的操作行為，即行為傳感器。
比如，將計(jì)算機(jī)生成的一個(gè)虛擬鐘表模型放到前方實(shí)際場景中的書桌表面上時(shí)，我們需要檢測出用戶的頭部位置和方向，然后在顯示器中將相應(yīng)視角的鐘表模型與桌面重疊。并且，當(dāng)頭部位置變化時(shí)，模型的大小和形狀相應(yīng)發(fā)生改變，以達(dá)到高度臨場感顯示。 #p#page_title#e#
自然交互操作
自然交互操作主要包含兩個(gè)內(nèi)容，一是對(duì)物體的自然交互操作方式。例如，由于二維鼠標(biāo)不易完成三維空間操作，需要研發(fā)能夠直接進(jìn)行三維空間操作的裝置。二是觸覺的力反饋提示。它主要提供在高臨場感空間中的位置反饋信息。例如，當(dāng)用戶將計(jì)算機(jī)生成的一個(gè)虛擬鐘表模型放到前方實(shí)際場景中的書桌表面上時(shí)，如果有了力反饋，用戶很容易感覺到物體放到桌面上的那一瞬間。
力反饋技術(shù)也是虛擬現(xiàn)實(shí)中的關(guān)鍵技術(shù)，盡管目前尚不成熟，但發(fā)展?jié)摿薮蟆?/p>
基于網(wǎng)絡(luò)的共享系統(tǒng)
早期的虛擬現(xiàn)實(shí)技術(shù)及其系統(tǒng)的開發(fā)和應(yīng)用都是基于本地環(huán)境的封閉系統(tǒng)所進(jìn)行的，整個(gè)操作過程不與他人進(jìn)行協(xié)同和交互。近年來，隨著虛擬現(xiàn)實(shí)應(yīng)用的發(fā)展，人們開始對(duì)實(shí)時(shí)、交互、協(xié)作的同步共享虛擬現(xiàn)實(shí)環(huán)境提出了強(qiáng)烈的要求。共享環(huán)境將會(huì)使多數(shù)人在一起有效地工作、觀察或討論。隨著互聯(lián)網(wǎng)技術(shù)的普及化和高速化發(fā)展，在虛擬現(xiàn)實(shí)研究領(lǐng)域，人們對(duì)在線虛擬現(xiàn)實(shí)或稱共享虛擬現(xiàn)實(shí)的研究正在展開。
共享虛擬現(xiàn)實(shí)系統(tǒng)是虛擬現(xiàn)實(shí)技術(shù)與互聯(lián)網(wǎng)技術(shù)相結(jié)合的最新發(fā)展方向。分布在不同地理位置的用戶，通過互聯(lián)網(wǎng)連接到一個(gè)由計(jì)算機(jī)產(chǎn)生的網(wǎng)上的三維環(huán)境，用戶在該三維環(huán)境中，可以觀看三維景觀，可以前進(jìn)或變換觀察角度，也可以通過人機(jī)交互裝置與虛擬物體或其他用戶進(jìn)行交互操作。在這樣的系統(tǒng)中，用戶可以佩戴上頭盔顯示器、立體眼鏡，或者數(shù)據(jù)手套等特殊裝置，也可以脫離這些裝置而置身于如洞穴式(CAVE)的大型三維顯示環(huán)境中。共享環(huán)境使得遠(yuǎn)隔地點(diǎn)的多個(gè)用戶能夠在此空間內(nèi)實(shí)現(xiàn)以前難以實(shí)現(xiàn)的跨越時(shí)空的信息交互，完成在此之前難以完成的許多重要任務(wù)。
那么，再經(jīng)過十年的時(shí)間，復(fù)合現(xiàn)實(shí)技術(shù)將會(huì)達(dá)到何種程度呢？這是人們十分關(guān)心的一個(gè)熱點(diǎn)問題?？茖W(xué)家預(yù)言，復(fù)合現(xiàn)實(shí)這樣一種新型人機(jī)交互技術(shù)將逐步開始進(jìn)入實(shí)用化，并會(huì)給我們的生活帶來極大的影響。
