NVIDIA 昨日（22 日）在 Gamescom 2023 並無發布任何新的 RTX GPU，NVIDIA 今年著重於軟件、技術上的更新居多，他們發佈了 DLSS 3.5 更新，另外亦推出了 NeMo SteerLM AI NPC 功能。
以往的 DLSS 2 僅能提供超解像度、深度學習抗鋸齒，之後 NVIDIA 隨 GeForce RTX 40 系列顯示卡推出 DLSS 3 ，在每幀畫格之間利用 AI 補上畫面，令遊戲畫面動作看起來更流利。這次 DLSS 3.5 更新加入了 Ray Reconstruction ，利用 AI 強化遊戲畫面的光線表現。DLSS 3.5 使用的訓練數據比 DLSS 3 多出 5 倍，現時可以辨識不同光線追蹤效果，並能判斷是好是壞，再從訓練中選取較佳表現者。這些數據有助提升遊戲畫面表現。
▲圖片來源：NVIDIA
DLSS 3.5 Ray Reconstruction 功能使用 AI 輔助提升光線追蹤效果，這款 AI 採用了 NVIDIA 的超級電腦進行訓練，取代以往需要手動調校的降噪器（Denoiser）。使用 AI 後將能採集更多光線樣本，與之前的手動降噪器比較是否更好，從而並提升光影表現。
▲圖片來源：NVIDIA
▲NVIDIA 的示範影片
NVIDIA 預計 DLSS 3.5 將於今年秋天正式登場，第一批支援 DLSS 3.5 的遊戲有《Alan Wake 2》、《 Cyberpunk 2077》、《 Cyberpunk 2077: Phantom Liberty》、《Portal with RTX》等等。
▲第一批支援 DLSS 3.5 的遊戲（圖片來源：NVIDIA）
NVIDIA 亦在 YouTube 上傳了《 Cyberpunk 2077: Phantom Liberty》使用 4K DLSS 3.5 技術的遊戲畫面。
NVIDIA 表示，遊戲引擎以幾何形狀和材質構成場景，而這些幾何形狀及材質均會反映其於現實生活中的物理特性。這些物理特性會影響它們與遊戲中的光線互動的方式，影響它們的在遊戲裏的外觀。隨後遊戲引擎會從玩家的視覺「拍攝」光線樣本，以反映場景中光源的屬性，以及構成場景的幾何形狀和材質被光源照射後的反應。例如在遊戲中有光線照射到鏡子後，就會產生反射。
不過如果要獨立計算螢幕上每一粒像素的話，所需的計算力要求非常高，因此一般遊戲引擎會使用 Ray Sampling （光線樣本）。這項技術是向遊戲場景的光源及各處反光點發射光線，並採集樣本計算反射數據，作為場景照明、反射率和陰影的代表性樣本。這種技術足以讓遊戲引擎確認光線追蹤時場景的外觀光，而輸出的數據會間歇性出現噪點、斑點圖像。
▲傳統光線追蹤技術
為了填補傳統光線追蹤技術追蹤漏的像素，其後出現了手動降噪技術。
▲手動調整降噪技術
但上述技術亦有缺點，就是遊戲畫面可能會出現疊影（ghosting），以及會降低了畫面的動態效果（dynamic effect） 。除此之外，使用手動調整降噪亦會使遊戲畫面中的反射效果變差，以及全局光照（global illumination）效果變差。
▲手動調整降噪技術
NVIDIA 最新推出的 DLSS 3.5 能夠有效解決上述問題。DLSS 3.5 是 NVIDIA 新推出的增強型 AI 驅動的神經渲染器其中一部份，採用 NVIDIA 超級電腦訓練的 AI 取代舊式手動調節降噪器之餘更能夠提高所有 GeForce RTX GPU 的光線追蹤圖像質素。
▲NVIDIA DLSS 3.5 技術
▲開啟 / 關閉 DLSS 技術畫面雜訊比較
NVIDIA 上載了 《Portal with RTX》的實際遊戲畫面（見下面影片）。下圖左邊畫面顯示，開啟 DLSS 前，即使畫質設定成 Ultra 仍然能明顯能看見牆壁上的反射出現雜訊噪點；而右面則是開啟了 DLSS 3.5，DLSS 3.5 採用 AI 技術能夠辨識及反射相應圖案，以保持影像穩定，從而降低噪點並生成更擬真的反射。
NVIDIA 另外亦上載了《Cyberpunk 2077》實際遊戲畫面，展示 DLSS 3.5 的實力。從下圖畫面可見，NVIDIA 分別比較了關閉 DLSS、開啟 DLSS 2、開啟 DLSS 3 及開啟 DLSS 3.5 的遊戲畫面表現。明顯可見，DLSS 3.5 前的版本在處理複雜光源時顯得較為遜色，而 DLSS 3.5 版本除了能夠準確反映顏色外，更能夠保持 FPS 在 100 格以上。
除了畫質上的提升，這次 NVIDIA ACE 亦推出了能夠提高遊戲性的 NeMo SteerLM AI。NVIDIA ACE 是一款能夠用 AI 創造智能 NPC 的人工智能。這次 NVIDIA 新加入的 NeMo SteerLM 加強了 AI 的可調整參數，讓遊戲開發者可以微調 NPC 的智能及態度，從而令遊戲中的 NPC 回應更像真人，更人性化和更有感情。
NVIDIA 表示，目前市面上大部份 Language Model （語言模型）僅能夠提供「友善」的回應，而最新推出的 NeMo SteerLM 能夠按照開發者的意思調節，使遊戲裏的 NPC 可以按照玩家的行動作出相應的反應，讓 NPC 可以變得更幽默、更具創意，或是表現得負面。
▲畫面右邊可看到有不同調整參數
下面 NVIDIA 上載的影片可以看到不同參數下 NPC 會提供不同態度的回應。
NVIDIA 表示，現時已經有遊戲開發商開始使用 NVIDIA 生成式 AI 技術，例如經典驚慄遊戲《STALKER 2：Heart of Chornobyl》採用了 Audio2Face 製作角色臉部動畫。
資料來源：NVIDIA(DLSS)、 NVIDIA (NeMo SteerLM)、NVIDIA DLSS 3.5@YouTube、NVIDIA(ACE)