技術(shù)原理
增強現實(shí)(Augmented Reality,簡(jiǎn)稱(chēng)AR),也被稱(chēng)為
擴增現實(shí)(中國臺灣地區)。
增強現實(shí)技術(shù),它是一種將真實(shí)世界信息和虛擬世界信息“無(wú)縫”集成的新技術(shù),是把原本在
現實(shí)世界的一定時(shí)間空間范圍內很難體驗到的實(shí)體信息(視覺(jué)信息,聲音,味道,觸覺(jué)等),通過(guò)電腦等科學(xué)技術(shù),模擬仿真后再疊加,將虛擬的信息應用到真實(shí)世界,被人類(lèi)感官所感知,從而達到超越現實(shí)的感官體驗。真實(shí)的環(huán)境和虛擬的物體實(shí)時(shí)地疊加到了同一個(gè)畫(huà)面或空間同時(shí)存在。
增強現實(shí)技術(shù),不僅展現了真實(shí)世界的信息,而且將虛擬的信息同時(shí)顯示出來(lái),兩種信息相互補充、疊加。在視覺(jué)化的增強現實(shí)中,用戶(hù)利用頭盔顯示器,把真實(shí)世界與電腦圖形多重合成在一起,便可以看到真實(shí)的世界圍繞著(zhù)它。
增強現實(shí)技術(shù)包含了
多媒體、
三維建模、實(shí)時(shí)視頻顯示及控制、多傳感器融合、實(shí)時(shí)跟蹤及注冊、場(chǎng)景融合等新技術(shù)與新手段。增強現實(shí)提供了在一般情況下,不同于人類(lèi)可以感知的信息。
主要特點(diǎn)
AR系統具有三個(gè)突出的特點(diǎn):①真實(shí)世界和虛擬的信息集成;②具有實(shí)時(shí)交互性;③是在三維尺度空間中增添定位虛擬物體。AR技術(shù)可廣泛應用于多等領(lǐng)域。
組成形式
一個(gè)完整的增強現實(shí)系統是由一組緊密聯(lián)結、實(shí)時(shí)工作的硬件部件與相關(guān)的軟件系統協(xié)同實(shí)現的,常用的有如下三種組成形式。
Monitor-Based
在基于計算機顯示器的AR實(shí)現方案中,攝像機攝取的真實(shí)世界圖像輸入到計算機中,與計算機圖形系統產(chǎn)生的虛擬景象合成,并輸出到屏幕顯示器。用戶(hù)從屏幕上看到最終的增強場(chǎng)景圖片。它雖然簡(jiǎn)單,但不能帶給用戶(hù)多少沉浸感。Monitor-Based增強現實(shí)系統實(shí)現方案如下圖所示。
光學(xué)透視式
頭盔式顯示器(Head-mounted displays,簡(jiǎn)稱(chēng)
HMD)被廣泛應用于虛擬現實(shí)系統中,用以增強用戶(hù)的視覺(jué)沉浸感。增強現實(shí)技術(shù)的研究者們也采用了類(lèi)似的顯示技術(shù),這就是在A(yíng)R中廣泛應用的穿透式HMD。根據具體實(shí)現原理又劃分為兩大類(lèi),分別是基于光學(xué)原理的穿透式HMD(Optical See-through HMD)和基于視頻合成技術(shù)的穿透式HMD(Video See-through HMD)。光學(xué)透視式增強現實(shí)系統實(shí)現方案如下圖所示。
光學(xué)透視式增強現實(shí)系統具有簡(jiǎn)單、
分辨率高、沒(méi)有視覺(jué)偏差等優(yōu)點(diǎn),但它同時(shí)也存在著(zhù)定位精度要求高、延遲匹配難、視野相對較窄和價(jià)格高等不足。
視頻透視式
視頻透視式增強現實(shí)系統采用的基于視頻合成技術(shù)的穿透式HMD(Video See-through HMD),實(shí)現方案如圖5所示。
應用領(lǐng)域
AR技術(shù)不僅在與VR技術(shù)相類(lèi)似的應用領(lǐng)域,諸如尖端武器、飛行器的研制與開(kāi)發(fā)、數據模型的可視化、虛擬訓練、娛樂(lè )與藝術(shù)等領(lǐng)域具有廣泛的應用,而且由于其具有能夠對真實(shí)環(huán)境進(jìn)行增強顯示輸出的特性,在醫療研究與解剖訓練、精密儀器制造和維修、軍用飛機導航、工程設計和遠程機器人控制等領(lǐng)域,具有比VR技術(shù)更加明顯的優(yōu)勢。
* 軍事領(lǐng)域:部隊可以利用增強
現實(shí)技術(shù),進(jìn)行方位的識別,獲得實(shí)時(shí)所在地點(diǎn)的地理數據等重要軍事數據。
* 古跡復原和數字化文化遺產(chǎn)保護:文化古跡的信息以增強現實(shí)的方式提供給參觀(guān)者,用戶(hù)不僅可以通過(guò)HMD看到古跡的文字解說(shuō),還能看到遺址上殘缺部分的虛擬重構。
* 工業(yè)維修領(lǐng)域:通過(guò)頭盔式顯示器將多種
輔助信息顯示給用戶(hù),包括
虛擬儀表的面板、被維修設備的內部結構、被維修設備零件圖等。
*
網(wǎng)絡(luò )視頻通訊領(lǐng)域:該系統使用增強現實(shí)和人臉跟蹤技術(shù),在通話(huà)的同時(shí)在通話(huà)者的面部實(shí)時(shí)疊加一些如帽子、眼鏡等虛擬物體,在很大程度上提高了
視頻對話(huà)的趣味性。
* 電視轉播領(lǐng)域:通過(guò)
增強現實(shí)技術(shù)可以在轉播體育比賽的時(shí)候實(shí)時(shí)的將輔助信息疊加到畫(huà)面中,使得觀(guān)眾可以得到更多的信息。
* 娛樂(lè )、游戲領(lǐng)域:增強現實(shí)游戲可以讓位于全球不同地點(diǎn)的玩家,共同進(jìn)入一個(gè)真實(shí)的自然場(chǎng)景,以虛擬替身的形式,進(jìn)行網(wǎng)絡(luò )對戰。
* 旅游、展覽領(lǐng)域:人們在瀏覽、參觀(guān)的同時(shí),通過(guò)增強現實(shí)技術(shù)將接收到途經(jīng)建筑的相關(guān)資料,觀(guān)看展品的相關(guān)數據資料。
* 市政建設規劃:采用增強現實(shí)技術(shù)將規劃效果疊加真實(shí)場(chǎng)景中以直接獲得規劃的效果。
國內首次將這項技術(shù)應用到普通生活中,是在蘋(píng)果的AppStore上發(fā)布的一款免費的叫作出行百科(增強現實(shí)版)XINGWIKI的軟件。
記事帖,人們希望將來(lái)可以很方便的在不同地點(diǎn)獲得同樣的媒體和信息,并且是跨越不同的設備上獲得-從PC到手機,從投影儀到頭戴式顯示器。怎樣能為用戶(hù)提供一致的和方便易行的方式來(lái)讓他們和對他們而言很重要的信息和媒體進(jìn)行交互,看以下的圖你就明白了,你所能操作的界面已經(jīng)不再是那一塊小小的電腦屏幕了,而是延伸到了更大的空間里,并且可以依據人們最為簡(jiǎn)便的方式隨意的記錄下你某一時(shí)刻突然迸發(fā)出的靈感。
* 水利水電勘察設計:在水利水電勘察設計領(lǐng)域,三維協(xié)同設計穩步發(fā)展,可能會(huì )在不遠的將來(lái)取代傳統的
二維設計,
AR技術(shù)在設計領(lǐng)域的應用為水利水電
三維模型的應用提供了更好的展示手段,使得三維模型與二維的設計、施工圖紙能更加緊密地結合起來(lái)。AR技術(shù)在勘察設計領(lǐng)域中可以有效地應用于實(shí)時(shí)方案比較、設計元素編輯、
三維空間綜合信息整合、輔助決策和設計方案多方參與等方面。
發(fā)展歷史
增強現實(shí)顯示器,將計算機生成的圖形疊加到真實(shí)世界中。自從二十世紀七十年代早期,Pong進(jìn)入電子游戲廳以
來(lái),視頻游戲走進(jìn)我們的生活已經(jīng)有30多年了,但是一直局限在屏幕中的2D世界中,而增強現實(shí)這一新技術(shù)的到來(lái),將通過(guò)增強我們的見(jiàn)、聲、聞、觸和聽(tīng),進(jìn)一步模糊真實(shí)世界與計算機所生成的虛擬世界之間的界線(xiàn)。
從
虛擬現實(shí)(創(chuàng )建身臨其境的、計算機生成的環(huán)境)和真實(shí)世界之間的光譜來(lái)看,增強現實(shí)更接近真實(shí)世界。增強現實(shí)將圖像、聲音、觸覺(jué)和氣味按其存在形式添加到自然世界中。由此可以預見(jiàn)視頻游戲會(huì )推動(dòng)增強現實(shí)的發(fā)展,但是這項技術(shù)將不僅僅局限于此,而會(huì )有無(wú)數種應用。從旅行團到軍隊的每個(gè)人都可以通過(guò)此技術(shù)將計算機生成的圖像放在其視野之內,并從中獲益。
增強現實(shí)將真正改變我們觀(guān)察世界的方式。想像您自己行走在或者驅車(chē)行駛在路上。通過(guò)增強現實(shí)顯示器(最終看起來(lái)像一副普通的眼鏡),信息化圖像將出現在您的視野之內,并且所播放的聲音將與您所看到的景象保持同步。這些增強信息將隨時(shí)更新,以反映當時(shí)大腦的活動(dòng)。在這篇文章中,我們將了解這項未來(lái)技術(shù)、其技術(shù)構成以及如何使用該技術(shù)。
微軟公司于2015年1月22日發(fā)布的HoloLens 全息眼鏡。
工作原理
移動(dòng)式增強現實(shí)系統的早期原型增強現實(shí)的基本理念是將圖像、聲音和其他感官增強功能實(shí)時(shí)添加到真實(shí)世界的環(huán)境中。聽(tīng)起來(lái)十分簡(jiǎn)單。而且,電視網(wǎng)絡(luò )通過(guò)使用圖像實(shí)現上述目的不是已經(jīng)有數十年的歷史了嗎?的確是這樣,但是電視網(wǎng)絡(luò )所做的只是顯示不能隨著(zhù)攝像機移動(dòng)而進(jìn)行調整的靜態(tài)圖像。增強現實(shí)遠比您在電視廣播中見(jiàn)到的任何技術(shù)都要先進(jìn),盡管增強現實(shí)的早期版本一開(kāi)始是出現在通過(guò)電視播放的比賽和橄欖球比賽中,例如Racef/x和添加的第一次進(jìn)攻線(xiàn),它們都是由SporTVision創(chuàng )造的。這些系統只能顯示從一個(gè)視角所能看到的圖像。下一代增強現實(shí)系統將顯示能從所有觀(guān)看者的視角看到的圖像。
在各類(lèi)大學(xué)和高新技術(shù)企業(yè)中,增強現實(shí)還處于研發(fā)的初級階段。最終,可能到這個(gè)十年結束的時(shí)候,我們將看到第一批大量投放市場(chǎng)的增強現實(shí)系統。一個(gè)研究者將其稱(chēng)為“21世紀的隨身聽(tīng)”。增強現實(shí)要努力實(shí)現的不僅是將圖像實(shí)時(shí)添加到真實(shí)的環(huán)境中,而且還要更改這些圖像以適應用戶(hù)的頭部及眼睛的轉動(dòng),以便圖像始終在用戶(hù)視角范圍內。下面是使增強現實(shí)系統正常工作所需的三個(gè)組件:
1、頭戴式顯示器
2、跟蹤系統
3、移動(dòng)計算能力
增強現實(shí)的開(kāi)發(fā)人員的目標是將這三個(gè)組件集成到一個(gè)單元中,放置在用帶子綁定的設備中,該設備能以無(wú)線(xiàn)方式將信息轉播到類(lèi)似于普通眼鏡的顯示器上。讓我們分別來(lái)了解這個(gè)系統中的每個(gè)組件。
開(kāi)發(fā)與難點(diǎn)
現在已經(jīng)有多種用于A(yíng)R 系統開(kāi)發(fā)的工具包和API(application programming interface),如 ARToolKit 、
Coin3D 和 MR Platform等 , 其中 ARTookit是一套開(kāi)放源代碼的工具包 ,它主要由日本大阪大學(xué)的 Hirokazu 博士開(kāi)發(fā), 用于快速編寫(xiě) AR 應用。ARTookit 受到了華盛頓大學(xué)人機界面實(shí)驗室和新西蘭坎特伯雷大學(xué)人機界面實(shí)驗室支持,已成為在 AR領(lǐng)域使用最廣泛的開(kāi)發(fā)包 。許多AR 的應用都使用ARTookit 或在其基礎上改進(jìn)的版本來(lái)進(jìn)行開(kāi)發(fā)的。ARToolkit 采用基于標記的視頻檢測方法進(jìn)行定位,其工具包中包含了攝像頭校準和標記制作的工具,它支持將 Direct3D 、OpenGL 圖形和 vrml 場(chǎng)景合并到視頻流中(如圖所示),同時(shí)支持顯示器和 S-HMD等多種顯示設備。MR Platform 由日本的混合實(shí)境實(shí)驗室開(kāi)發(fā) ,其中包含了一個(gè)能減少人眼與頭盔上攝像機之間平行度誤差的 S-HMD 和一個(gè)運行于 Linux 環(huán)境下的用C++語(yǔ)言開(kāi)發(fā)的軟件開(kāi)發(fā)工具包(SDK)。這個(gè)工具包中提供了攝像機校正工具 、視頻捕捉、圖像檢測和操縱6 自由度傳感器等開(kāi)發(fā) AR 應用的基本功能 。
[2]
雖然經(jīng)過(guò)了十幾年的研究,開(kāi)發(fā)了以上的許多種工具包,但是幾乎所有 AR 系統仍然處于實(shí)驗室內使用,研究者已經(jīng)開(kāi)始考慮 AR在實(shí)用中面臨的一些基本問(wèn)題,主要有以下幾個(gè)方面:
[2]
(1)景物的生成與顯示
幾乎所有的 S-HMD 設備在明亮的環(huán)境下,其顯示的效果都比較暗,另外,由于頭戴式顯示器上的攝像機的攝像角度與眼睛的位置存在偏差,因此虛擬物體的定位在真實(shí)視場(chǎng)中的定位和顯示角度也會(huì )存在偏差且很難調整。
(2)定位錯誤
定位錯誤不可避免,民用
GPS 一般精度在 3m到12m 左右,在較差的天氣中,最大誤差可達 100m 。電子羅盤(pán)也會(huì )因為附近的磁場(chǎng)干擾產(chǎn)生誤差。由于現有許多戶(hù)外的系統中的校正算法需要大量的輸入和繁瑣的校正步驟,因此不適合商業(yè)化應用。
(3)通訊設備
多數系統都假設在帶寬滿(mǎn)足的情況下進(jìn)行操作,但實(shí)際情況并非如此,在絕大多數分布式 AR 應用中,系統能力都要受制于數據傳送的速度。因此在大型協(xié)作 AR 系統中,還有賴(lài)于通過(guò)動(dòng)態(tài)興趣度管理算法和動(dòng)作預測算法來(lái)降低所需傳輸的數據量。
(4)計算能力
在戶(hù)外AR 系統中,必須盡量減少客戶(hù)端配置,數據處理常由便攜式計算機,甚至是依靠掌上電腦來(lái)處理,因此,如何達到實(shí)時(shí)性和提高渲染效果是必須面對的一個(gè)問(wèn)題。這也是目前 AR 研究中的熱點(diǎn)之一 。
實(shí)際應用
這項技術(shù)有數百種可能的應用,其中游戲和娛樂(lè )是最顯而易見(jiàn)的應用領(lǐng)域。可以給人們提供即時(shí)信息的不需要人們參與任何研究的任何系統,在相當多的領(lǐng)域對所有人都是有價(jià)值的。增強現實(shí)系統可以立即識別出人們看到的事物,并且檢索和顯示與該景象相關(guān)的數據。
維修和建設——增強現實(shí)可以將標記器連接到人們正在施工的特定物體上,然后增強現實(shí)系統可以在它上面描繪出圖像。
軍事——軍隊數十年來(lái)一直在設計使用增強現實(shí),美國海軍研究所已經(jīng)資助了一些增強現實(shí)研究項目。國防先進(jìn)技術(shù)研究計劃署(DARPA)已經(jīng)投資了HMD項目來(lái)開(kāi)發(fā)可以配有便攜式信息系統的顯示器。其理念在于,增強現實(shí)系統可以為軍隊提供關(guān)于周邊環(huán)境的重要信息,例如顯示建筑物另一側的入口,這有點(diǎn)像X射線(xiàn)視覺(jué)。增強現實(shí)顯示器還能突出顯示軍隊的移動(dòng),讓士兵可以轉移到敵人看不到的地方。
即時(shí)信息——旅行者和學(xué)生可以使用這些系統了解有關(guān)特定歷史事件的更多信息。想像行走在
美國內戰的戰場(chǎng)上,并且在頭戴式增強現實(shí)顯示器上看到重現的歷史事件。它將使您沉浸在歷史事件中,有身臨其境之感,而且視角將是全景的。
AR游戲
AR游戲最早的起源并非手機,而是
NDS上的AR游戲。此類(lèi)游戲大多數的玩法都是在桌面上擺放識別卡,識別卡片后通過(guò)手機屏幕與識別出來(lái)的內容進(jìn)行交互。
2011年
任天堂3DS主機內置的《AR游戲》是利用攝像頭拍攝AR卡片來(lái)游玩的游戲,通過(guò)利用“AR技術(shù)”(虛擬擴展技術(shù)),將攝像頭拍攝到的內容以另外一種形式出現在屏幕內。
游戲——增強現實(shí),由Niantic Lab出品的
Ingress與Pokemon GO就都是增強現實(shí)類(lèi)游戲,中國一家公司開(kāi)發(fā)的產(chǎn)品
PP GUN也能通過(guò)和增強現實(shí)顯示器連接玩槍?xiě)鹩螒颉?
國內現狀
作為新型的人機接口和仿真工具,AR受到的關(guān)注日益廣泛,并且已經(jīng)發(fā)揮了重要作用,顯示出了巨大的潛力。
AR是充分發(fā)揮創(chuàng )造力的科學(xué)技術(shù),為人類(lèi)的智能擴展提供了強有力的手段,對生產(chǎn)方式和社會(huì )生活產(chǎn)生了巨大的深遠的影響。
隨著(zhù)技術(shù)的不斷發(fā)展,其內容也勢必將不斷增加。而隨著(zhù)輸入和輸出設備價(jià)格的不斷下降、視頻顯示質(zhì)量的提高以及功能很強大但易于使用的軟件的實(shí)用化,
AR的應用必將日益增長(cháng)。
AR技術(shù)在人工智能、CAD、圖形仿真、虛擬通訊、
遙感、娛樂(lè )、模擬訓練等許多領(lǐng)域帶來(lái)了革命性的變化。
總體來(lái)講,增強現實(shí)在中國處于起步階段,許多虛擬現實(shí)領(lǐng)域的企業(yè)已經(jīng)開(kāi)始專(zhuān)注于“增強現實(shí)”的研發(fā)和應用。比如中視典數字科技研發(fā)的VRP12.0就集成了增強現實(shí)的功能。