在剛剛落下帷幕的ChinaJoy高通展館中，我們境騰科技與和上海龐伯特科技合作實現(xiàn)了基于混合現(xiàn)實技術(shù)的乒乓球機器人協(xié)同娛樂互動系統(tǒng)，現(xiàn)場人頭攢動，盡管受疫情影響執(zhí)行了限流措施，但“機器人+HoloLens2“的神仙組合讓玩家們熱情高漲，展位前仍排起長長的隊伍等待與機器人訓練師的對壘。

在這個“真人 vs 機器人”的乒乓球項目中，剛開始的時候，頭戴HoloLens 2混合現(xiàn)實眼鏡的玩家會對球臺另一邊的機器人發(fā)出發(fā)球指令。這時，乒乓球即將發(fā)生的虛擬運動軌跡則會以AR特效的方式通過HoloLens 2 呈現(xiàn)在玩家視野中，引導玩家立即進入熱血備戰(zhàn)狀態(tài)。接著在機器人發(fā)球的同時，在HoloLens 2上也會呈現(xiàn)出玩家回球應該在機器人那一端的目標落點。即玩家在已知軌跡的情況下，如果能將球擊打回到對面球臺用虛擬光圈標注的范圍內(nèi)即可獲得獎勵。

總的來說，系統(tǒng)會告知玩家他接球前的球的運動軌跡，以及他回球后的球應該達到的目標落點范圍。所有這些軌跡信息以及落點要求信息，都是以AR的形式通過HoloLens 2呈現(xiàn)在玩家眼前。即使面對乒乓球?qū)I(yè)運動員，機器人也會毫不示弱，高頻發(fā)球加上精準落點要求也將考驗運動員的穩(wěn)定性與精準度。這一協(xié)同訓練方案實現(xiàn)了：

1. 在真實球桌空間上準確穩(wěn)定顯示發(fā)球軌跡和目標擊打區(qū)域

龐伯特發(fā)球機器人在發(fā)球時可以計算出在自身坐標系里乒乓球的運動軌跡以及準確落點，通過同步選手頭戴的Hololens2 的坐標系和發(fā)球機器人的坐標系，境騰科技可以在真實球桌3D空間上，用虛擬動畫效果呈現(xiàn)出酷炫的運動軌跡和炸裂的落點特效，給選手帶來從未經(jīng)歷的科幻體驗。

在實際運行測試中，即使選手戴著HoloLens2做比較劇烈的運動，選手看到的虛擬軌跡和落點仍然非常穩(wěn)定，選手頭戴HoloLens2時也沒有影響到運動狀態(tài)的不適感，讓我們不得不為HoloLens2強大的SLAM能力和巧妙的人機設(shè)計點贊。

2. 人工智能識別選手回球軌跡實時追蹤和落點得分判定

基于高通驍龍創(chuàng)新的RB5平臺，龐伯特智能乒乓球軌跡識別與分析系統(tǒng)可實時追蹤分析乒乓球的軌跡信息，利于人工智能技術(shù)，對乒乓球的飛行軌跡，落點，旋轉(zhuǎn)，速度等一系列參數(shù)進行實時采集并進行數(shù)據(jù)分析。

采用雙目攝像頭對普通乒乓球進行軌跡捕捉，深度學習人工智能算法從選手回球到識別出軌跡延遲低于10ms，再通過高效的網(wǎng)絡傳輸到Hololens2和第三方視角的虛擬特效渲染整體延遲在50ms以內(nèi)，讓選手得到真假難辨的虛實結(jié)合體驗。回球的軌跡數(shù)據(jù)信息可以實時渲染也可以儲存在系統(tǒng)中，未來可以通過HoloLens2在球桌上回放，將數(shù)字娛樂信息疊加到現(xiàn)實運動中，更有效的提高運動員的訓練效果，增加玩家的代入感和體驗感，將乒乓球運動數(shù)字化，電競化，給玩家?guī)砀锩缘捏w驗。

3. 真正用球拍發(fā)球的機器人

基于先進的人工智能及機器人技術(shù)，龐伯特開發(fā)出了世界上第一款完全擬人型的乒乓球發(fā)球機器人。該機器人實現(xiàn)了手持球拍發(fā)球，完全模擬乒乓球訓練過程中針對技術(shù)動作的多球訓練環(huán)節(jié)，甚至可以發(fā)出很多專業(yè)選手才能夠打出的下旋上旋等特效。同時，智能傳感及創(chuàng)新的增強現(xiàn)實技術(shù)的引入，將該訓練過程娛樂化，競技化，使訓練更專業(yè)，讓運動更有趣。

4. HoloLens2眼鏡、機器人、回球軌跡追蹤識別設(shè)備和第三方視角零延時多協(xié)議通信

整個訓練系統(tǒng)涉及了多個設(shè)備（Hololens2 眼鏡、發(fā)球機器人、 回球軌跡識別設(shè)備、 第三方視角設(shè)備）、平臺（Windows UWP、 Android、 Ubuntu、 iOS），和多種通信協(xié)議（TCP / UDP / 藍牙通信）。在無縫整合所有這些設(shè)備的同時，系統(tǒng)還保證了信息在各個設(shè)備中近乎零延時的傳輸，從而保證了用戶的最佳體驗。

5. 總結(jié)

這個方案中四大技術(shù)應用的整合，開創(chuàng)性地將原本單一的技術(shù)領(lǐng)域充分融合，形成人機共融平臺。

完全仿人化的機器人在人類的運動中與人類協(xié)同互動；同時，基于創(chuàng)新的傳感技術(shù)，人工智能攝像頭對整個運動過程中的人，球，環(huán)境等數(shù)據(jù)進行實時采集分析，指導機器人與人類進行動態(tài)互動；利于創(chuàng)新的增強現(xiàn)實技術(shù)，機器人直接從三維空間的維度上向人類高效，直接的傳達信息。人工智能，智能機器人，增強現(xiàn)實，新一代通信技術(shù)等創(chuàng)新性技術(shù)在這一場景中得到了綜合應用。

在搭建系統(tǒng)的過程中，我們突破了多個技術(shù)壁壘和難點，可以預見，這將為各個行業(yè)提供更廣闊的解決方案，為企業(yè)帶來豐厚的商業(yè)價值，極可能成為未來技術(shù)發(fā)展的一個方向。

原文來自映維網(wǎng)：https://yivian.com/news/76831.html