合成視頻達(dá)到了新的高度，來自德國埃爾朗根 - 紐倫堡大學(xué)的研究者提出了一種新的場景合成方法，使合成視頻更接近現(xiàn)實(shí)。

合成逼真的虛擬環(huán)境是計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺中研究最多的主題之一，它們所面臨是一個重要問題是 3D 形狀應(yīng)該如何編碼和存儲在內(nèi)存中。用戶通常在三角形網(wǎng)格、體素網(wǎng)格、隱函數(shù)和點(diǎn)云之間進(jìn)行選擇。每種表示法都有不同的優(yōu)點(diǎn)和缺點(diǎn)。為了有效渲染不透明表面，通常會選擇三角形網(wǎng)格，體素網(wǎng)格常用于體繪制，而隱函數(shù)可用于精確描述非線性分析表面，另一方面，點(diǎn)云具有易于使用的優(yōu)點(diǎn)，因?yàn)椴槐乜紤]拓?fù)洹?nbsp;

近日，來自國埃爾朗根 - 紐倫堡大學(xué)視覺計(jì)算實(shí)驗(yàn)室的研究者提出了一種新穎的基于點(diǎn)的、可微的神經(jīng)渲染 pipeline，可用于場景細(xì)化和新穎的視圖合成。 

我們先來看下該研究的效果： 

有網(wǎng)友表示，這是電子游戲制作人的夢想。 

「這種效果是由 2D 圖像生成的，輸出是如此平滑，令人瘋狂，給人印象非常深刻?！笵eepMind 產(chǎn)品經(jīng)理 Alexandre Moufarek 表示。 

「如果你對這項(xiàng)研究感到困惑，不明白它為什么令人印象深刻，它實(shí)際上不是一個視頻， 它是由一組照片制作而成（順便說一下，不是平滑的照片）。該研究發(fā)布的流暢視頻是用神經(jīng)技術(shù)渲染的，效果非常自然。為制作者點(diǎn)贊。」有網(wǎng)友總結(jié)道。 

具體來講，該研究的輸入是點(diǎn)云和相機(jī)參數(shù)的初始估計(jì)，輸出是由任意相機(jī)姿態(tài)合成的圖像。點(diǎn)云渲染由使用多分辨率單像素點(diǎn)柵格化的可微渲染器執(zhí)行。離散柵格化的空間梯度由 ghost 幾何近似。渲染后，神經(jīng)圖像金字塔通過一個深度神經(jīng)網(wǎng)絡(luò)進(jìn)行著色計(jì)算和孔填充（hole-filling）。然后，可微、基于物理的色調(diào)映射器（tonemapper）將中間輸出轉(zhuǎn)換為目標(biāo)圖像。由于 pipeline 的所有階段都是可微的，該研究優(yōu)化了所有場景參數(shù)，即相機(jī)模型、相機(jī)姿態(tài)、點(diǎn)位置、點(diǎn)顏色、環(huán)境映射、渲染網(wǎng)絡(luò)權(quán)重、暈影、相機(jī)響應(yīng)函數(shù)、每張圖像曝光和每張圖像白平衡。 

該研究表明所提出的系統(tǒng)能夠合成比現(xiàn)有方法更清晰、更一致的新視圖，因?yàn)樵谟?xùn)練期間就對初始重建進(jìn)行了優(yōu)化。 高效的每像素點(diǎn)柵格化允許研究者使用任意相機(jī)模型并實(shí)時顯示超過 1 億點(diǎn)的場景。 

論文地址：https://arxiv.org/pdf/2110.06635.pdf 

源代碼會在之后進(jìn)行發(fā)布。 

技術(shù)細(xì)節(jié)

該研究提出的方法在 Aliev 等人的 pipeline 上構(gòu)建，并通過多種方式進(jìn)行了改進(jìn)。具體地，研究者添加了一個物理可微的相機(jī)模型和一個可微的色調(diào)映射器，并提供了一個更好地逼近單像素點(diǎn)柵格化的空間梯度的公式。 

這種可微的 pipeline 不僅可以優(yōu)化神經(jīng)點(diǎn)特征，而且在訓(xùn)練階段能夠糾正不精確的輸入。因此，該系統(tǒng)基于神經(jīng)渲染網(wǎng)絡(luò)的視覺損失調(diào)整相機(jī)姿態(tài)和相機(jī)模型，并結(jié)合暈影模型和每個相機(jī)的傳感器響應(yīng)曲線估計(jì)每個圖像的曝光和白平衡值。 

下圖 1 為這種方法的示意圖： 

完整的端到端可訓(xùn)練神經(jīng)渲染 pipeline 如下圖 2 所示，其中 輸入為新幀的相機(jī)參數(shù)、一個點(diǎn)云（每個點(diǎn)被分配給可學(xué)得的神經(jīng)描述器）和一個環(huán)境圖，輸出為給定新視點(diǎn)的 LDR 場景圖像。由于所有步驟都是可微的，因此可以同時對場景結(jié)構(gòu)、網(wǎng)絡(luò)參數(shù)和傳感器模型進(jìn)行優(yōu)化： 

具體地，該 pipeline 的第一個步驟是可微的柵格化單元（圖 2 左），通過使用相機(jī)參數(shù)將每個點(diǎn)映射到圖像空間，進(jìn)而將該點(diǎn)渲染為單像素大小的 splat； 

神經(jīng)渲染器（圖 2 中）使用多分辨率神經(jīng)圖像來生成單個 HDR 輸出圖像，它包含一個具有跳躍連接的四層全卷積 UNet，其中更低像素的輸入圖像連接到中間特征向量； 

該 pipeline 的最后一個步驟（圖 2 右）是可學(xué)得的色調(diào)映射操作器，它將渲染的 HDR 圖像轉(zhuǎn)換為 LDR。這個色調(diào)映射器模擬了數(shù)碼相機(jī)的物理鏡頭和傳感器特性，因此最適合智能手機(jī)、DSL 相機(jī)和攝像機(jī)的 LDR 圖像捕捉。 

可微的單像素點(diǎn)渲染

如上所述，可微的柵格化單元使用單像素大小的 splat 對多分辨率的變形點(diǎn)云進(jìn)行渲染。形式上來講，神經(jīng)圖像 I 的分辨率層 l ? {0,1...,L?1} 的是渲染器函數(shù)Φ_l 的輸出，如下公式（1）所示： 

點(diǎn)柵格化的前向傳遞可以分解為三個主要步驟，分別是映射、遮擋檢查和混合。下圖 3 展示了使用單像素點(diǎn)柵格化方法渲染的兩張彩色圖像的示意圖： 

點(diǎn)柵格化單元的后向傳遞首先計(jì)算參數(shù)相關(guān)的渲染器函數(shù)（1）的偏導(dǎo)數(shù)，如下公式（8）所示。使用鏈?zhǔn)椒▌t，研究者可以計(jì)算損失梯度并傳遞到優(yōu)化器。 

如下圖 4 所示，研究者通過在每個方向上將 p = (u, v) 移動一個像素來計(jì)算近似值。 

在下圖 5 中，在混合階段前插入一個 dropout 層，該層將點(diǎn)云分割為兩個集。第一個集正常地混合，并生成輸入圖像；第二個集，研究者稱之為假性觸控點(diǎn)（ghost point），不在前向傳遞中使用。 

通過進(jìn)一步的性能分析，研究者發(fā)現(xiàn)即使在小的分辨率層，數(shù)百個點(diǎn)也可以通過單個像素的模糊深度測試。為了將這一數(shù)字降低到合理的范圍，研究者采用了類似于 [72] 的隨機(jī)點(diǎn)丟棄方法。隨機(jī)丟棄的效果如下圖 6 所示，其中基于渲染點(diǎn)的數(shù)量對每個像素進(jìn)行上色。 

實(shí)驗(yàn)展示

在實(shí)驗(yàn)部分，研究者首先針對前向和后向單像素點(diǎn)柵格化的運(yùn)行時（runtime）與其他可微渲染系統(tǒng)進(jìn)行了比較。下表 1 展示了自己的方法與 Synsin、Pulsar、使用 GL POINTS 方法的 OpenGL 默認(rèn)點(diǎn)渲染的 GPU 幀時間的度量結(jié)果，計(jì)時時僅包含柵格化本身，不包括神經(jīng)網(wǎng)絡(luò)和色調(diào)映射器?？梢钥吹?，研究者的方法在所有指標(biāo)上均優(yōu)于其他方法。 

研究者提出了用于可微單像素點(diǎn)渲染的假性梯度（ghost gradient），并表示假性梯度在場景細(xì)化過程中可以提升梯度準(zhǔn)確性和增強(qiáng)穩(wěn)健性。他們通過一個消融實(shí)驗(yàn)來確認(rèn)這一說法。實(shí)驗(yàn)結(jié)果如下圖 7 所示，圖（上）展示了姿態(tài)優(yōu)化前后合成圖像和真值之間的像素誤差。可以清楚地看到，在添加位置和旋轉(zhuǎn)噪聲之前，使用假性梯度可以使感知損失收斂到初始解。 

新視角合成。除了場景細(xì)化外，該方法還可以在多視角立體數(shù)據(jù)集上合成新的視圖。下圖 8 展示了合成的兩個測試幀。比較結(jié)果可以發(fā)現(xiàn) Synsin、NPBG 和該研究所用方法可以很好地合成參考幀，而 Pulsar 和 NRW 的輸出稍差。 

該研究還在下表 II 中提供了定量評估。該表顯示了所有測試圖像的平均 VGG 損失、LPIPS 損失 [87] 和峰值信噪比 (PSNR)。所有方法都是通過最小化 VGG 損失來訓(xùn)練的。 

HDR 神經(jīng)渲染。出于評估目的，該研究從訓(xùn)練集中刪除了 20 個隨機(jī)選擇的幀，并讓系統(tǒng)從估計(jì)的姿勢中合成它們。存儲在圖像元數(shù)據(jù)中的測試幀的曝光值傳遞給色調(diào)映射器（tone mapper）。下圖 11 顯示了一些測試幀，左列是真實(shí)情況，中間是合成視圖，右列是每像素誤差圖。 

優(yōu)化的色調(diào)映射器 (TM) 類似于捕獲過程中使用的數(shù)碼相機(jī)的物理和光學(xué)特性。在推理時替換 TM 的結(jié)果如下圖 12 所示： 

本文來自微信公眾號“機(jī)器之心”（ID:almosthuman2014），編輯：杜偉、陳萍，36氪經(jīng)授權(quán)發(fā)布。