一個由研究院、大學以及科技公司組成的團隊日前在SIGGRAPH2017(世界上影響最廣、規模最大,同時也是最權威的一個集科學、藝術、商業于一身的計算機圖形技術硬軟件展示、學術研討會)上展示了全新的VR實時數字人物沉浸技術。大會上先進的圖像捕捉、編輯、沉浸技術將計算機實時數字人物沉浸技術的水平又推向了新的水準。
MEETMIKE,是此次大會上新展出的一種VR沉浸技術。該項技術能夠實現人物現實的動作的實時數字影像沉浸。其中一位記者體驗了該項技術。記者在VR中扮演主持人的角色,對VR行業資深人士以及研究員進行采訪。其他一些佩戴VR頭盔的參與者可以在虛擬攝影棚里觀看采訪過程。
記者的VR體驗結果相當令人驚訝。采用Epic的Unreal引擎以及90FPS的VR沉浸,記者的電子影像表現出令人難以置信的清晰度,記者面部的眉毛、眼瞼、以及皮膚紋理毛孔都能清晰可見。
在體驗之前,記者首先要戴上一套Technoprops立體照相機裝置,以用于觀察記者的面部運動。面部圖像通過CubicMotion(著名人物面部動畫公司)的技術進行追蹤和控制,通過記者在Wikihuman項目(一個電子人像交流項目)的掃描,再轉到3Lateral(人物面部綁定技術公司)的面部處理裝置。
關于MEETMIKE:
----MEETMIKE有440,000個三角形正在進行實時沉浸,這意味著VR立體沉浸的速度在9毫秒,而75%的用于頭發的沉浸。
----MEETMIKE面部裝置有大概80個連接結構,大部分用于頭發以及面部汗毛的運動。
----面部的動作,只需要10個連接結構,用于下巴、眼睛以及舌頭的動作。
----在最終的頭部動作配套版本中,結合了750個混合變形。
----系統采用了傳統軟件設計的復雜機制以及三種AI深度學習工程。
整個項目雖然存在一些不是很清晰的地方,但是聽起來該記者的數字沉浸是在一臺GTX1080TiGPU、32GBRAM的PC上完成的。更多電腦配置數據暫時沒有公布。
更多資訊請關注機器視覺頻道