圖像生成 AI 現在已經變得越來越強大,不過影片生成則不是那麼容易。最近 Google 就發表了最新的一個影片生成模型,可以提供更暢順的影片。
Google 新公佈的 Lumiere 影片生成模型採用了全新的 Diffusion 模型技術 STUNet,可以讓模型認知物件在時間和空間中的定位,從而一次過生成整個影片,使動作更加流暢自然。以前的技術雖然可以逐格生成影片,不過連貫性始終有一定缺陷,讓人感到不自然。
Lumiere 的影片生成最多可以製作 80 格,比 Stable Video Diffusion 模型的 25 格要多,而且可以支援文字指令、圖片風格指令以及影片編輯指令等,用法相當多元化。不過目前 Lumiere 只是研究階段,未來實際提供相關產品相信還有一段長時間,特別是在解決濫用風險之前應該不會對外公開。
來源:ArsTechina