?

跟蹤、標(biāo)定和注冊是AR系統(tǒng)研究的三個核心問題。

1 攝像機(jī)標(biāo)定

（1）標(biāo)定內(nèi)參數(shù)

攝像頭是基于視覺的AR系統(tǒng)的重要組件。所以在使用中必須先標(biāo)定攝像頭的內(nèi)參數(shù)。對于普通的攝像頭，可以采用matlab自帶的攝像頭標(biāo)定工具箱來標(biāo)定。不僅可以標(biāo)定出攝像頭的內(nèi)參數(shù)，還能標(biāo)定出鏡頭畸變。該工具箱采用的是棋盤格標(biāo)定法。

?

（2）校正鏡頭畸變

鏡頭畸變可以分為徑向畸變和切向畸變兩種。它們也都可以通過標(biāo)定來確定畸變參數(shù)。鏡頭畸變是普遍存在的，所以在使用之前要記得先進(jìn)行標(biāo)定。

2 顯示器標(biāo)定

（1）單點(diǎn)主動對準(zhǔn)法

對于光學(xué)透射式頭盔顯示器，要進(jìn)行AR開發(fā)的話，必須加上一個攝像頭。攝像頭與頭盔顯示器之間的位置關(guān)系需要標(biāo)定。最常用的一種方法是單點(diǎn)主動對準(zhǔn)法（SPAAM）。這個方法要求用戶佩戴頭盔顯示器，并且將屏幕上的一些十字光標(biāo)與真實(shí)世界中的物體進(jìn)行多次對齊，多次對齊需要通過頭部轉(zhuǎn)動完成。數(shù)據(jù)獲取后，通過DLT方法構(gòu)建方程組求解投影矩陣。

（2）使用瞄準(zhǔn)轉(zhuǎn)置

該方法需要將瞄準(zhǔn)裝置與顯示器上的十字叉絲對準(zhǔn)，而不是使用在SPAAM中用到的靜止標(biāo)定點(diǎn)。這種瞄準(zhǔn)裝置經(jīng)常是作為AR設(shè)備的一部分，并且包括一個觸發(fā)器來確認(rèn)對準(zhǔn)完成。瞄準(zhǔn)裝置有一個優(yōu)勢，用戶不必再移動頭部來完成對準(zhǔn)，取而代之的是，可以通過移動手臂來完成。

3 注冊

跟蹤系統(tǒng)在進(jìn)行測量的時候，會存在測量誤差，導(dǎo)致位置估計(jì)不準(zhǔn)。這種誤差會導(dǎo)致注冊的虛擬物體與真實(shí)物體之間會存在不匹配的情況。所以，在每一個步驟要嚴(yán)格控制誤差，不要讓誤差在后面的環(huán)節(jié)中傳播。

對于光學(xué)透射式增強(qiáng)現(xiàn)實(shí)來說，還有另一個非常重要的問題，那就是延遲。由于真實(shí)的環(huán)境背景是直接透射進(jìn)人眼的，可以認(rèn)為是零延遲的。但是虛擬信息是通過攝像頭捕捉環(huán)境，建立跟蹤注冊信息，然后渲染輸出到頭盔顯示器上。這個回路的處理時間導(dǎo)致虛擬信息的渲染比頭部轉(zhuǎn)動會有延遲。一個比較有效的方法是在視覺跟蹤的基礎(chǔ)上，加入高反應(yīng)速度的IMU，對這種延遲進(jìn)行補(bǔ)償。頭部的快速運(yùn)動可以根據(jù)IMU的反饋來渲染圖像。

攝像頭標(biāo)定本身已經(jīng)是一個很成熟的領(lǐng)域了，除非有什么新的攝像頭類型推出。光學(xué)透射式頭盔顯示器的標(biāo)定也比較成熟，但是還是存在問題。比如標(biāo)定程序復(fù)雜，不同用戶之間通用性低。所以可以根據(jù)人眼與HMD之間的特殊性，研究提升標(biāo)定效果的方法。另外，還可以考慮減小延遲，比如考慮視覺-IMU融合。這種方法已經(jīng)在Hololens上獲得成功應(yīng)用。減小延遲的方法除了使用視覺-IMU融合，應(yīng)當(dāng)還有別的途徑，這些都是值得研究的地方。