視覺定位在AR中起著重要的作用，它允許AR設備在預構建地圖中獲得六自由度的姿態，從而在真實場景中渲染虛擬內容。然而，大多數現有方法不能實現新視圖渲染，并且需要大量的存儲容量。

為了克服所述限制，浙江大學和RayNeo雷鳥團隊提出了一種高效的視覺定位方法，能夠用更少的參數實現高質量的渲染。具體來說，相關方案利用3D高斯原語作為場景表示。為了確保姿態估計的精確2D-3D對應，他們為高斯原語開發了一個無偏3D場景特定描述符解碼器。

另外，研究人員引入了一種顯著性3D Landmark選擇算法，根據顯著性評分選擇合適的原語子集進行定位。他們進一步正則化關鍵高斯原語以防止各向異性效應，這同時提高了定位性能。在兩個廣泛使用的數據集進行的大量實驗表明，所述方法與最先進的隱式視覺定位方法相比，具有優越或相當的渲染和定位性能。

視覺定位是一項關鍵技術，在AR中起著至關重要的作用。例如，視覺定位方法可以提供AR設備的全局六自由度姿態信息，并用于在真實環境中渲染虛擬內容，方便用戶與物理空間的交互。

通常，經典的視覺定位方法可以分為兩類：基于回歸的方法和基于特征的方法。基于回歸的方法通常使用卷積神經網絡提取圖像的高級上下文特征，并對重建環境的幾何信息進行編碼。PoseNet和SCRNet是從單幅圖像提取特征中直接回歸像素位姿或三維坐標的代表作。然而，由于缺乏幾何約束，相關方法在精度方面往往落后于基于特征的方法。

基于特征的方法通常事先構建一個基于結構的場景地圖（例如3D點云模型），并將每個地圖原語與一個或多個3D描述符關聯起來。3D一致的描述符通常是通過對從2D圖像中檢測到的手工特征或基于學習的關鍵點描述符進行多視圖融合來獲得。

將查詢圖像中檢測到的2D點與3D描述符進行匹配，得到2D-3D對應關系，并用于魯棒姿態估計]。基于特征方法的定位性能同時取決于提取的描述符的可重復性和判別能力。然而，經典的定位方法受到場景表示方式的限制，無法實現AR應用中必不可少的逼真渲染。

近年來，NeRF和3DGS已經成為神經隱式場景表示的新范式。它們使用隱式表示或顯式原語來表示場景屬性，并獲得令人滿意的高質量渲染和幾何重建性能。得益于可微分的NeRF風格的體渲染和基于點的alpha-blending，基于神經的方法可以在沒有3D監督的情況下以端到端方式進行參數優化。

有研究人員使用神經隱式表示來重建場景并進行姿態估計。iNeRF是首批通過最小化查詢圖像和預訓練NeRF模型的渲染結果之間的光度誤差來改進六自由度姿態的研究。NeRF-SCR和LENS則是將基于回歸的視覺定位與神經輻射場相結合的代表作。它們訓練一個場景特定的NeRF模型來合成高質量的新視圖以覆蓋整個場景空間，為優化場景坐標回歸網絡提供額外的訓練數據。

但同樣，由于缺乏幾何約束，NeRF輔助式回歸方法的定位性能不具有競爭力。為了施加幾何約束，基于特征的方法PNeRFLoc用明確的結構表示場景，并將地圖中的每個點與基于學習的描述符關聯起來。

PNeRFLoc可以實現更好的定位性能和泛化能力，但與傳統的基于特征的方法一樣，它需要明確地存儲逐點特征，這導致了大量的內存使用，使得它不適合存儲空間有限的移動設備。

為了克服上述局限性，團隊提出了一種高效新穎的視覺定位方法，以更少的模型參數獲得更好的性能，既適合定位，又適合高質量的新穎視圖渲染。

具體來說，為了減少模型參數，他們沒有明確地存儲逐點描述符，而是從多視圖2D特征映射中構建特征體，并將其提取到特定場景的3D特征解碼器中，從而避免了由alpha-blending引入的高斯原語的描述子偏差。

然后，團隊提出了一種有效的顯著性3D landmark選擇算法，以減少由于大量高斯原語而導致的2D-3D匹配的計算開銷。最后，對關鍵高斯基元進行位置和尺度正則化，以減少三維中心偏移。

在兩個廣泛使用的數據集進行的大量實驗表明，所述方法與最先進的隱式視覺定位方法相比，具有優越或相當的渲染和定位性能。

總的來說，團隊提出了一種基于三維高斯原語的高效新視覺定位方法SplatLoc，而它比傳統的定位方法更適合AR/VR。

當然，他們坦誠所提出方法目前有兩個局限性。首先，需要深度信息或稀疏點云來重建場景。這個方法是基于3DGS，它需要點云來初始化每個高斯原語的位置。第二是不能用于大型戶外場景，因為這會增加參數的數量。

在未來，團隊將嘗試使用視覺基礎模型（例如DepthAnything）來估計RGB圖像的深度。另外，考慮使用層次表示方法來將定位方法擴展到大型戶外場景。

原文來自https://news.nweon.com/127976