本文刊發于《現代電影技術》2024年第4期

　　專家點評

　　數字電影沉浸式音頻技術是現代電影制作與放映領域的重大創新，它通過提供更為豐富和真實的聲音體驗，顯著提升了觀眾的沉浸感和臨場感。在國際上，諸如Dolby Atmos和DTS∶X等系統已成為沉浸式音頻技術的代表。這些系統不僅規定了音頻編碼與傳輸的標準，還明確了音頻渲染和還音的具體要求，以確保沉浸式音頻在不同制作與放映環境中的一致性和互操作性。沉浸式音頻技術的核心在于運用對象音頻和元數據來實現聲音在三維空間的精準定位和渲染，而基于元數據的沉浸式音頻比特流實時處理是實現數字電影沉浸式音頻還音的關鍵。《數字電影沉浸式音頻實時處理技術研究》一文展示了國內電影專業技術研究機構在沉浸式音頻技術領域取得的顯著進展。文章詳細闡述了數字電影沉浸式音頻實時處理技術的多個方面，涵蓋技術規范解讀、實時處理方案設計，以及相關工具的研發與實現。特別值得關注的是，文中提出的沉浸式音頻實時處理方案和所研發的工具緊密結合了國際規范與國內技術現狀，著眼于推動國產沉浸式音頻技術的規范化和標準化發展，有助于中國技術與標準實現更廣泛的推廣與應用。

　　——童雷

　　教授

　　北京電影學院副院長

　　作 者 簡 介

　　董強國

　　董強國(1984-)，男，碩士，高級工程師，中國電影科學技術研究所(中央宣傳部電影技術質量檢測所)檢測認證南方中心副主任，主要研究方向：電影技術。

　　龔波(1969-)，男，博士，正高級工程師，中國電影科學技術研究所(中央宣傳部電影技術質量檢測所)副所長，主要研究方向：電影技術。

　　龔  波

　　摘要

　　本文首先對符合國際規范的數字電影沉浸式音頻還音技術進行概述，對數字電影集成媒體模塊(IMB)與沉浸式音頻處理器之間的對接協議規范進行解讀，提出一種沉浸式音頻實時處理方案，并對研發的一套數字電影沉浸式音頻實時處理工具的實現方法進行了闡述。通過對數字電影沉浸式音頻實時處理技術的研究，期望為符合國際相關規范的國產沉浸式音頻技術的研發提供借鑒，旨在推動國產沉浸式音頻還音系統向標準化和規范化發展。

　　關鍵詞

　　數字電影;沉浸式音頻;實時處理技術;元數據;渲染

　　1  引言

　　自有聲電影誕生以來，從1927年首部單聲道好萊塢影片《爵士歌王》到2012年首部沉浸式音頻制式影片《勇敢傳說》，電影還音制式經歷了單聲道、模擬和數字立體聲、環繞聲(5.1、7.1等)和沉浸式音頻制式共4個階段的發展。每次技術的變革都圍繞聲音如何在放映空間內精準定位還音展開。傳統的單聲道、立體聲和環繞聲是基于聲道的概念，依靠增加聲道數量來營造聲音在影廳的空間環繞效果。影廳為了獲得較為真實的沉浸式還音效果，需要在傳統聲道制式的基礎上增加大量的聲道。單純通過增加聲道來獲取沉浸感效果的方式，將會給電影聲音制作和還音帶來很大挑戰，且需要制作端和還音端的揚聲器聲場布局保持一致，造成放映系統間互操作性差，給發行機構帶來多版本發行壓力。數字電影沉浸式音頻采用對象+元數據的技術架構，元數據提供聲音發聲位置的三維空間坐標信息，通過渲染算法，將聲音對象渲染到元數據提供的三維空間坐標所在區域內，實現聲音在影廳空間內的精準定位發聲。這種通過元數據控制聲音位置的方式，具有內容制作便捷、揚聲器布局較為靈活、系統間兼容性強的技術特點，其同時具有高效的制作方式和靈活的渲染方式，不再拘泥于揚聲器系統布局。隨著音頻處理芯片性能的提升，該項技術將成為未來聲音制式的主要發展方向。

　　由于數字電影沉浸式音頻技術能為觀眾營造更加自然和逼真的視聽體驗，一經推出便獲得市場的高度認可。近幾年，隨著沉浸式音頻技術的發展，數字電影沉浸式音頻影廳已成為當今影院的熱門配置，國內廠家也紛紛推出各自的沉浸式音頻還音系統，但因國內廠家生產的音頻處理器僅支持數字電影集成媒體模塊(Integrated Media Block, IMB)AES/EBU接口的輸入，且最多支持8路AES/EBU音頻信號輸入，暫不支持基于元數據格式的沉浸式音頻比特流(IAB)接口。由于受到IMB輸出音頻信號通道數量的限制，導致各個廠家生產的沉浸式音頻處理系統還音各具特點，還音效果參差不齊，使國產系統難以在影院大范圍推廣，嚴重限制了國產沉浸式音頻技術的提升。

　　基于元數據的沉浸式音頻技術主要由影廳空間位置元數據+對象音頻文件組成，傳統的AES/EBU傳輸通道無法傳輸這種基于元數據+對象的音頻內容。SMPTE ST 430?14《數字電影同步信號和輔助數據傳輸協議》和SMPTE ST 2098?2《沉浸式音頻比特流規范》的發布，為我國沉浸式音頻傳輸技術的實現提供了很好的技術借鑒。為解決國產沉浸式音頻內容傳輸技術所面臨的難題，規范市場，助力企業的研發和生產，提高國產沉浸式音頻系統的國內外市場競爭力，推動國產沉浸式音頻技術的發展，我國亟需開展符合國內技術現狀、兼容國際標準的IMB與沉浸式音頻處理器之間的沉浸式音頻文件傳輸技術和實時處理技術的研究工作。

　　2  數字電影安全放映和傳輸技術相關規范解讀

　　數字電影沉浸式音頻處理系統為了能夠獲取IAB，需要與IMB進行通信，并從輔助數據軌獲取相關的IAB。SMPTE定義了數字電影輔助數據和同步信號的傳輸協議，本章節主要對如何從IMB輔助數據區提取輔助數據的相關規范進行解讀。

　　2.1 輔助內容同步協議

　　SMPTE ST 430?10 輔助內容同步協議是將合成播放列表(CPL)中的輔助資源同步到播放時間線的協議標準，規定了如何將輔助資源展示列表(RPL)中的輔助資源同步到播放時間線上，主要用于數字影院服務器(DCS)和一個或多個輔助內容服務器(ACS)之間的通信。其中，合成播放列表(CPL)定義了播放期間要呈現的資源，這些資源至少包括視頻和/或音頻，也可能包含字幕等。

　　DCS和ACS之間的主要通信方式為ACS向DCS發出連接請求后，DCS向ACS發出聲明以驗證ACS協議的正確性，ACS正確接收到聲明后向DCS發出聲明響應確認信息，然后DCS向ACS發出續租請求，ACS向DCS回復續租響應，隨后DCS向ACS發出獲取狀態請求，ACS回復確認獲取狀態響應，DCS向ACS發出設置RPL位置請求，ACS向DCS回復設置RPL位置響應狀態，DCS向ACS發出獲取狀態信息請求后，ACS向DCS發出獲取狀態響應，DCS發出終止續租請求后，ACS終止租約，DCS繼續發送續租請求。DCS和ACS之間的主要通信交互規則流程如圖1所示。

圖1　DCS和ACS間的通信交互規則

　　2.2 輔助資源展示列表

　　SMPTE ST 430?11 RPL用于指定數字電影服務器上內容資源所在的存儲位置，以及在單個素材或由多個素材組成的播放素材所在時間線上的相對位置。在播放開始前，DCS將RPL發送給ACS，ACS從DCS獲得時間線更新，并確定應提供哪些資源。RPL至少包含播放ID、時間線偏移、卷ID、編輯速率、卷資源ID、資源類型、語言、進入點、持續時間、固有持續時間、資源文件等信息，RPL架構如圖2所示。

圖2　RPL架構

　　2.3 輔助數據傳輸協議

　　SMPTE ST 430?14《數字電影同步信號和輔助數據傳輸協議》定義了一個用于將輔助數據軌跡文件中的數據項傳輸到處理器的傳輸協議，數據的傳輸使用超文本傳輸協議(HTTP)，圖像媒體模塊、服務器、DCS和ACS之間的通信傳輸規則如圖3所示。

圖3　同步信號和輔助數據通信規則

　　2.4 數字同步信號傳輸協議

　　SMPTE ST 430?14《數字電影同步信號和輔助數據傳輸協議》定義了用于處理器與圖像媒體模塊同步播放的同步信號協議，圖像媒體模塊播放視頻內容時會自動生成一個二進制同步信號，該同步信號精度可達到音視頻信號播放的幀速率級別。該同步信號應至少包含圖像播放狀態信息(如開始、播放、暫停)、播放ID、播放幀位置、采樣頻率、播放音視頻文件的UUID、合成播放列表UUID等信息。DCS與ACS間建立通信連接后，ACS接收到來自圖像媒體模塊發出的同步信號后，同步信號存放在ACS的緩沖存儲器中，根據同步信號的狀態進行播放，當播放ID發生變化時，將返回到緩沖存儲器提取新的播放信息，當ACS接收到的同步信號無效時，將返回到等待命令，ACS與DCS之間數字同步信號的通信流程如圖4所示。

圖4　數字同步信號通信流程

　　3 數字電影沉浸式音頻實時處理技術研究方案

　　數字電影倡導組織(DCI)發布的《基于對象的數字電影沉浸式音頻附錄》規定沉浸式音頻內容DCP打包時，應使用IMB的數字證書制作密鑰傳送消息(KDM)，完成沉浸式音頻內容與IMB的綁定，沉浸式音頻內容只有通過對應的IMB才能播放。根據數字電影放映技術要求，結合國際相關規范和國內技術現狀，基于對象的數字電影沉浸式音頻還音系統應由媒體播放服務器、沉浸式音頻處理器、聲頻功率放大器和揚聲器系統組成。IMB載入帶有KDM的沉浸式音頻播放素材后，首先應進行有效性檢驗、解密和播放，沉浸式音頻處理器接收到來自沉浸式音頻播放服務器傳輸的IAB后進行解碼，并將IAB文件實時渲染到相應的沉浸式音頻通道，經過均衡和延時調節，通過揚聲器系統將沉浸式音頻還原到影廳。基于對象的數字電影沉浸式音頻還音流程如圖5所示。本章節主要介紹IMB與沉浸式音頻處理器之間的通信、沉浸式音頻實時解碼和渲染、沉浸式音頻實時處理硬件接口要求等。

　　圖5　基于對象的數字電影沉浸式音頻還音流程

　　3.1 IMB與沉浸式音頻處理器之間的通信

　　數字電影沉浸式音頻處理器應能夠接收來自媒體播放服務器的IAB，并能夠與視頻實現同步播放。IMB加載數字電影沉浸式音頻文件后，將自動生成帶有播放內容幀率、時長、播放文件存儲地址等信息的RPL，并向沉浸式音頻處理器發送帶有播放當前幀、播放內容時長、音頻采樣速率、圖像和沉浸式音頻信號UUID等信息的同步信號。數字電影沉浸式音頻處理器應能夠向IMB提取播放RPL信息，獲取同步信號信息，根據RPL提供的播放文件存儲地址和同步信號信息，提取相關幀的沉浸式音頻內容，然后進行IAB的解碼和渲染，實現沉浸式音視頻同步播放。沉浸式音頻處理器與IMB之間的數據交互模式應符合圖6所示模式。

圖6　數字沉浸式音頻實時處理系統數據交互模式

　　時鐘同步信號傳輸接口采用AES/EBU接口，IAB傳輸采用HTTP協議RJ45以太網接口。數字電影沉浸式音頻實時接收協議要求如表1所示。

表1　數字電影沉浸式音頻實時處理傳輸協議要求

　　3.2 沉浸式音頻實時解碼和渲染

　　數字電影沉浸式音頻處理器接收到來自IMB的音視頻同步信號和IAB后，需要對其進行解包、解碼和渲染處理。數字電影沉浸式音頻實時解碼和渲染工具要求如表2所示。

表2　數字電影沉浸式音頻實時解碼和渲染要求

　　3.3 沉浸式音頻實時處理硬件接口

　　數字電影沉浸式音頻處理器的硬件接口應至少具備音視頻同步信號接收接口、IAB接收接口、數模轉換接口和調試接口。數字電影沉浸式音頻處理器接口應符合表3要求。

表3　數字電影沉浸式音頻實時處理器接口要求

　　4 數字電影沉浸式音頻實時處理技術的實現

　　2018年至今，中國電影科學技術研究所(中央宣傳部電影技術質量檢測所)圍繞數字電影基于對象元數據沉浸式音頻高新技術格式的國產化，以國際數字電影沉浸式音頻技術規范為參考，結合我國技術現狀，對沉浸式音頻的制作、編碼和打包、解碼和渲染算法進行了研究，已完成沉浸式音頻混錄、編碼和打包、沉浸式音頻還音端的解碼和渲染算法的實驗驗證研究。為了能夠實現國產沉浸式音頻處理器與IMB之間的IAB傳輸，推動國產沉浸式音頻技術產品化應用，我們聯合IMB生產廠家開展了IAB實時接收、解碼和渲染技術的研究工作，研發了一套數字電影沉浸式音頻實時處理工具，該工具可以實時接收來自IMB的基于對象的IAB和同步信號，并可實現IAB的實時解碼和渲染。該項技術的還音流程和系統間的通信協議符合圖5中的相關規定。本章節主要介紹數字電影沉浸式音頻實時接收技術中系統間的通信、RPL提取、同步信號接收和IAB提取技術的實現，以及數字電影沉浸式音頻實時解碼和渲染技術中沉浸式音頻實時解碼、渲染、均衡和延時調節技術的實現。

　　4.1 數字電影沉浸式音頻實時接收技術實現

　　依據SMPTE ST 430?10、SMPTE ST 430?11和SMPTE ST 430?14相關標準規定，筆者研發了一款IAB實時接收模塊，可實時接收來自圖像媒體模塊發出的音視頻同步信號，可實時接收和處理IAB。該模塊具備網絡鏈接、實時接收和讀取RPL、使用AES/EBU聲卡設備實時接收同步信號、根據RPL和同步信號的信息提取IAB的功能。IAB實時接收模塊主界面如圖7所示。

圖7　IAB實時接收模塊

　　(1)系統間的通信實現

　　IAB實時接收模塊與IMB之間的通信規則符合圖1中的相關規定，通信協議編碼標識如表4所示。

表4　通信協議標識

　　(2)RPL提取實現

　　RPL應符合圖2的RPL架構相關規定，IAB實時接收模塊接收的RPL主要包含 Resource PresentationList PlayoutID、ReelResources EditRate、ReelID、TimelineOffset、ReelResource Duration、EntryPoint、 Id、IntrinsicDuration、Language、 ResourceType、ResourceFile等信息，該模塊接收到的RPL示例如圖8所示。

圖8　RPL示例

　　(3)同步信號接收實現

　　當圖像媒體服務模塊加載數字電影IAB文件后，將實時向IAB接收模塊發送音視頻播放狀態的同步信號，當該模塊接收到該同步信號后， 需要對同步信號的狀態進行控制，同步信號接收通信規則符合圖4中的相關規定，IAB實時接收模塊接收到的同步信號信息主要包含Flags、Timeline Edit Unit、Playout ID、Edit Unit Duration、Sample Duration Numerator、Sample Duration Denominator、Primary Picture Output Offset、Primary Screen Output Offset、Primary Picture Track File Edit Unit、Primary Picture Track File UUID、Primary Sound Track File Edit Unit、Primary Sound Track File UUID、Composition Playlist UUID等內容，該模塊接收到的同步信號示例如圖9所示。

圖9　同步信號示例

　　(4)IAB提取實現

　　IAB實時接收模塊接收到來自RPL和同步信號的IAB文件存儲地址、播放ID和播放幀信息后，將向存儲服務器發出指定的IAB提取信息，服務器收到請求后向IAB實時接收模塊發送指定的IAB。該模塊提取IAB的通信規則符合圖3中的相關規定。IAB通信標識如表5所示。

表5　IAB通信標識

　　4.2 數字電影沉浸式音頻實時解碼、渲染實現

　　數字電影沉浸式音頻實時解碼渲染模塊接收到IAB后，需對其進行解碼和渲染處理，通過聲頻功率放大器和揚聲器系統還原到影廳。針對IAB的技術特點，筆者研發了一款數字電影沉浸式音頻實時解碼和渲染模塊，其主界面如圖10所示，主要用于播放UUID的獲取、AES/EBU音頻接口同步信號的獲取、渲染后的音頻信號輸出、渲染質量的調節等。

圖10　數字電影沉浸式音頻實時解碼和渲染模塊

　　(1)IAB解碼實現

　　數字電影沉浸式音頻實時解碼模塊支持符合SMPTE ST 2098?2相關規定的IAB解碼，其標識如表6所示。解碼后的數字電影沉浸式音頻文件以128個音頻文件+元數據的格式存在，該工具最多支持10個聲床和118個對象+元數據的解碼。

表6　IAB標識

　　(2)數字電影沉浸式音頻文件的渲染實現

　　數字電影沉浸式音頻渲染是將沉浸式音頻文件的聲床映射到相應的聲道上，根據空間位置元數據信息將對象聲音渲染到元數據所規定的影廳位置處。該工具的渲染算法基于6階HOA+幅度矢量合成混合算法，最大可渲染輸出49個通道，支持符合SMPTE 2098?1相關規定的沉浸式音頻空間位置元數據的渲染，可根據影廳尺寸和揚聲器布局預設揚聲器系統的數量和擺放位置，生成適配的沉浸式音頻渲染算法，數字電影沉浸式音頻渲染通道設置界面如圖11所示，該工具可設置房間尺寸;可設置揚聲器系統數量和擺放位置，輸入位置格式為揚聲器系統在影廳內的長(X)、寬(W)、高(Z)坐標;可進行揚聲器陣列的設置、揚聲器的音頻輸入信號路由設置等。

圖11　數字電影沉浸式音頻渲染通道設置界面

　　(3)均衡和延時調節

　　數字電影影廳的電聲響應特性應符合GY/T 312—2017 《電影錄音控制室、室內影廳B環電聲響應規范和測量》中相關規定。為使數字電影沉浸式音頻影廳能夠滿足上述要求，數字電影沉浸式音頻實時解碼和渲染工具支持對每個通道的揚聲器系統進行增益、延時和均衡調節，支持對單個聲床和對象通道進行B環電聲響應調試;調試數據可實時保存和調用，數字電影沉浸式音頻實時解碼和渲染工具B環電聲響應調試界面如圖12所示，該界面支持單個聲床和對象通道的B環電聲響應調試，支持31段均衡和延時調節。

圖12　B環電聲響應調試界面

　　5 總結

　　基于對象的數字電影沉浸式音頻技術采用對象+空間位置元數據的理念，通過空間聲渲染算法，將對象聲音按照元數據空間位置信息精準靈活地渲染到元數據所規定的影廳位置處，其全新的制作和還音理念逐步被國際社會所認可，已成為當今世界主流的數字電影沉浸式音頻制作和還音方式。基于對象+元數據和聲床的沉浸式制作和安全還音方式，將是未來沉浸式音頻發展的主要趨勢。

　　本文通過對數字電影安全放映和內容傳輸技術規范的解讀，提出一種兼顧國際安全放映規范的數字電影沉浸式音頻還音方案，聯合IMB廠家搭建了國產沉浸式音頻實時處理技術實驗環境，研發了一套數字電影沉浸式音頻實時處理工具，該工具可與IMB建立通信，實時獲取音視頻同步信號和IAB，實時對IAB進行解碼和渲染，并能夠對聲床和對象通道進行均衡和延時調節。

　　該項技術符合當前數字電影內容安全還音機制，為國產沉浸式音頻技術盡快得到應用、推廣、演示、落地和標準化提供了技術支撐，為國產沉浸式音頻技術的研發提供借鑒，旨在推動國產數字電影沉浸式音頻技術向標準化和規范化發展，最終實現沉浸式音頻制版的相對統一、系統間互操作以及與國際技術標準兼容，為中國電影沉浸式音頻技術和行業標準的國際技術市場推廣打下夯實基礎。