智能眼鏡的尺寸和功率限制需要一個微型和低功耗的傳感解決方案。針對這個問題，中國科學院大學和清華大學的研究人員提出了AUGlasses。它通過在面部顳區放置慣性測量單元（IMU）來捕獲由面部肌肉運動引起的皮膚變形，從而實現不顯眼的低功耗面部重建。

IMU信號以及面部動作單元（AUs）的歷史數據由基于transformer的深度學習模型處理，以實時估計AU強度，然后用于面部重建。

結果表明，AUGlasses準確地預測了14個關鍵AU的強度（0-5級），跨用戶平均絕對誤差（MAE）為0.187（STD=0.025），并實現了跨用戶MAE為1.93mm（STD=0.353）的面部重建。團隊同時集成了各種預處理和訓練技術，以確保連續傳感的穩健性能。微觀基準測試表明，系統始終如一地使用微調的跨用戶模型進行精確的連續面部重建，并實現了0.35的AU MAE。

面部重建可以實現大量的應用，因為人臉包含有關情緒狀態、健康狀態、飲食活動，甚至疲勞水平的豐富信息。用戶可以通過活動面部肌肉進行交互和主動反饋。它同時是逼真數字化身的關鍵。

研究人員使用各種類型的傳感器來收集數據，以便在數字領域復制面部表情和肌肉運動。攝像頭和毫米波雷達能夠全面捕獲面部特征。然而，智能眼鏡的尺寸和功率限制需要一個微型和低功耗的傳感解決方案。

在研究中，團隊提出了AUGlasses。這是一副配備了三個低功耗慣性測量單元的智能眼鏡，并可用于精確的面部重建。所述IMU具有高靈敏度，可以快速準確地捕獲由面部肌肉運動引起的細微和短暫的皮膚變形。

研究人員進行了系統的分析，發現皮膚變形在顴弓上方的顳肌附近最為明顯，而這一發現得到了面部解剖學的證實。為了利用這一點，他們在眼鏡中加入了一個生物相容的彈性結構，將兩個IMU放置在顳區，以監測皮膚運動和形狀變化。

來自IMU的數據，結合面部動作單元（AU）強度的歷史記錄，將其輸入一個深度學習模型以預測當前的AU強度。選擇預測AU強度而不是面部特征點增強了系統的通用性，其結果是高頻AU序列輸出，以每秒30幀的速度運行，確保了下游應用的實時響應性和實用性。

團隊同時提出了一種新的訓練策略Prefix-conditioned Sequence Forecasting，促使模型學習跨多個高頻幀表現出的遠程依賴關系。然后將估計的AUs強度輸入Unity進行實時面部重建。

系統的優勢在于三個方面：

• 首先，低功耗傳感方法確保了對智能眼鏡續航的影響最小。IMU和藍牙通信的功耗僅為49.95 mW (3.7 V時13.5 mA)，低于目前的解決方案。如果傳感器僅工作25%的時間，則平均功耗低至12.5 mW。它同時具有隱私保護、輕便和舒適的特點。IMU不會暴露敏感的個人數據，如圖像或聲音，這消除了用戶對隱私的擔憂。同時，支撐彈性凝膠結構和IMU的總重量僅為0.83克，為目前商用智能眼鏡（即50g1）的1.66%。另外，盡管IMU與皮膚接觸，但接觸點實際上非常小。所以，傳感器帶來的額外重量和皮膚接觸對用戶來說幾乎是不明顯的。

• 其次，團隊設計了一系列技術來保證長期連續面部重建的準確性。在預處理階段，更新了移動偽影去除的映射參數，以確保其在用戶移動時的有效性；在推理階段，重新設置AUs作為模型輸入的值，以避免長時間感知過程中預測誤差的傳播；在訓練階段，設計一種新穎的Prefix-conditioned Sequence Forecasting預測策略，以促使模型從固定的觀測數據序列中學習，使其能夠基于更廣泛的背景而不僅僅是最近的過去來預測后續序列。這避免了曝光偏差，提高了連續面部重建的準確性和可靠性。

• 第三，系統僅通過預測14個AUs來重建整個面部。通過限制輸出AUs，避免了直接預測面部特征點的二維坐標所帶來的復雜性，同時獲得了良好的面部重建性能。

團隊首先進行了一系列優化傳感器位置和支撐結構參數的實驗，然后進行了坐姿和行走場景的用戶研究，以評估14個AU強度的預測精度、面部重建和長時間連續預測。

用戶研究結果表明，AUGlasses準確地預測了14個關鍵AUs的強度（0-5級），跨用戶平均絕對誤差（MAE）為0.187（STD=0.025），并實現了跨用戶MAE為1.93mm（STD=0.353）的面部重建。團隊同時集成了各種預處理和訓練技術，以確保連續傳感的穩健性能。微觀基準測試表明，系統始終如一地使用微調的跨用戶模型進行精確的連續面部重建，并實現了0.35的AU MAE。

總的來說，AUGlasses是一款低功耗的智能眼鏡，可以連續追蹤14個面部動作單元，并實現準確的面部重建。團隊設計了一種新的實時AUs估計架構，利用IMU數據和以前的AUs強度來估計當前幀的AUs強度。然后，基于14個AUs的預測強度在Unity中重建角色的面部，并通過提取51個面部landmark來將面部重建性能與ground truth進行比較。

重建的3D面部MAE僅為1.93 mm， NME為2.75%。主觀結果顯示，超過70%的參與者認為AUGlasses佩戴舒適，適合日常使用。后置分析表明，系統可以支持單個IMU，采樣率為50Hz，這使得功耗進一步降低到40.96 mW。

原文來自https://news.nweon.com/125707