《三維菁彩聲（Audio Vivid）技術(shù)白皮書(shū)》解讀：讓音符在多維空間律動(dòng)

  戴上耳機(jī)，就能感受到“把環(huán)繞式音響裝進(jìn)耳朵里”的沉浸式體驗(yàn)。在不久前的2022總臺(tái)秋晚上，三維菁彩聲給我們帶來(lái)了“聲”臨其境的震撼。

  那么，這是如何做到的呢？又為何需要自主研發(fā)標(biāo)準(zhǔn)？近日，由中央廣播電視總臺(tái)、華為、當(dāng)虹科技等單位聯(lián)合起草，世界超高清視頻產(chǎn)業(yè)聯(lián)盟正式發(fā)布的《三維菁彩聲（Audio Vivid）技術(shù)白皮書(shū)》給出了答案。

自研三維聲標(biāo)準(zhǔn)：解決超高清音視頻“卡脖子”難題

  三維聲是超高清視頻“六維技術(shù)”的重要組成部分，可以帶來(lái)空間感、方位感和臨場(chǎng)感，讓人感覺(jué)聲音從“四面八方”“撲面而來(lái)”，帶來(lái)非?！罢鎸?shí)”和“沉浸”的體驗(yàn)。

  然而，我國(guó)的三維聲技術(shù)積累相對(duì)較少。國(guó)際主流的三維聲技術(shù)方案，長(zhǎng)期以來(lái)均由國(guó)外企業(yè)或標(biāo)準(zhǔn)組織制定。三維菁彩聲的推出和應(yīng)用，擺脫了超高清音視頻關(guān)鍵技術(shù)“卡脖子”難題。

  該標(biāo)準(zhǔn)由世界超高清視頻產(chǎn)業(yè)聯(lián)盟(UWA)牽頭，與AVS編解碼標(biāo)準(zhǔn)協(xié)同，聯(lián)合產(chǎn)業(yè)“端到端”生態(tài)共同發(fā)布。這有利于快速推動(dòng)超高清產(chǎn)業(yè)發(fā)展，提升超高清視頻核心技關(guān)鍵技術(shù)標(biāo)準(zhǔn)影響力。

  《白皮書(shū)》表示，Audio Vivid 技術(shù)標(biāo)準(zhǔn)的目標(biāo)是一個(gè)面向全球，技術(shù)先進(jìn)，更加開(kāi)放的、具備產(chǎn)業(yè)安全要求的技術(shù)標(biāo)準(zhǔn)和方案，同時(shí)產(chǎn)業(yè)生態(tài)政策友好，更加適合超高清產(chǎn)業(yè)生態(tài)各方進(jìn)行“端到端”的產(chǎn)業(yè)部署。2022總臺(tái)中秋晚會(huì)，是對(duì)三維菁彩聲技術(shù)的首次示范應(yīng)用。

編解碼+渲染：讓音符在多維空間律動(dòng)

  相對(duì)傳統(tǒng)聲音，三維聲增加了空間感和方位感，使聽(tīng)眾能再現(xiàn)在現(xiàn)實(shí)世界中所聽(tīng)到的聲音，從而滿(mǎn)足人們對(duì)聲音高度還原、高度沉浸的體驗(yàn)需求，同時(shí)可具備個(gè)性化選擇和交互體驗(yàn)。

圖1|Audio Vivid體驗(yàn)場(chǎng)景

  三維菁彩聲解決聲音從構(gòu)建到還原的整個(gè)環(huán)節(jié)，可以在家庭環(huán)境、影院環(huán)境、演唱會(huì)、體育賽事、個(gè)人、AR/VR 以及車(chē)載等多元場(chǎng)景中得以應(yīng)用。

圖2|Audio Vivid 集成場(chǎng)景

  《白皮書(shū)》顯示，三維菁彩聲的編解碼和渲染非常重要。尤其編解碼，針對(duì)不同的信號(hào)類(lèi)型采用不同的技術(shù)工具對(duì)輸入信號(hào)進(jìn)行編解碼，解決了很多“信息冗余”的問(wèn)題。比如，采用多聲道編碼技術(shù)，去除多聲道信號(hào)間的信息冗余；用基于心理聲學(xué)模型的預(yù)處理和基于 AI 的量化、熵編碼技術(shù)，去除單聲道、對(duì)象音頻信號(hào)中的信息冗余。這都為最終渲染出“聲”臨其境的體驗(yàn)提供保障。

  三維菁彩聲還是全球首個(gè)基于AI技術(shù)的音頻編解碼標(biāo)準(zhǔn)，支持主流三維聲編碼的同時(shí)，兼容單聲道、立體聲、環(huán)繞聲、三維聲，可以讓聲音在三維空間的任何位置精準(zhǔn)放置和移動(dòng)，準(zhǔn)確描述每一個(gè)聲音的位置、大小、軌跡、時(shí)間、長(zhǎng)度。戴上耳機(jī)，瞬間感受到音符在多維空間里的律動(dòng)，與聲音共鳴的，將是大腦而不是耳朵。

  在各方的聯(lián)合支持下，三維菁彩聲技術(shù)標(biāo)準(zhǔn)已經(jīng)完成了“端到端”的體系建設(shè)，并逐漸進(jìn)入落地應(yīng)用階段。例如，在核心的編解碼階段，當(dāng)虹科技的8K超高清編解碼技術(shù)已支持三維菁彩聲，聯(lián)合產(chǎn)業(yè)鏈上下游企業(yè)，可以為人們提供纖毫畢現(xiàn)、“聲”臨其境的體驗(yàn)。