Filmen är den första helstora biograffilmen som visar upp ”visuell dubbning” från AI-företaget Flawless, vilket möjliggör att skådespelares framträdanden digitalt kan läpsynkroniseras med utländska språkdubbar.
I en presentation 2023 förklarade Flawless medgrundare Scott Mann att företagets TrueSync-teknologi använder djupinlärning för att skapa en volymetrisk 3D-representation av skådespelarnas ansikten genom hela filmen, som sedan kan ändras för att matcha den dubbade dialogen.
Den svenska filmen Watch the Skies, som ursprungligen släpptes som UFO Sweden, är på väg att lanseras i USA och kommer att visas med hjälp av AI-teknologi för visuell dubbning. Filmen premiärvisas på AMC Theatres den 9 maj och är en sci-fi-äventyrsfilm om en tonåring som tror att hennes bortgångne far har blivit bortförd av utomjordingar.
AI och visuell dubbning
Den innovativa teknologin kallas ”visuell dubbning” och är utvecklad av det AI-företaget Flawless. Deras teknik, som kallas TrueSync, gör det möjligt att digitalt justera skådespelarnas läppar så att det ser ut som att de talar på engelska, trots att de spelade in sina dialoger på svenska. Samtidigt spelar de in sina röster i en ljudstudio, och Flawless’ teknik anpassar endast läpprörelserna i filmen för att matcha det nya ljudspåret.
Visuell dubbning är en teknik där AI kan skapa anpassade versioner av en movie för olika marknader. Denna teknik kan innebära att AI-algoritmer används för att både översätta dialogen och synkronisera rörelserna av karaktärernas läppar med den nya dialogen. Detta kan öka tillgängligheten av filmen för en internationell publik och gör det enklare att sprida innehåll utan att kompromissa med kvaliteten.
WATCH THE SKIES – World’s first AI visible dubbed function movie
Orginal filmen – UFO Sweden Official Trailer 2 Loopy Image
Enligt Flawless kan denna teknik sänka trösklarna för att se utländska filmer och kan göra dem mer attraktiva för publiken, särskilt för dem som är ovilliga att se filmer med undertexter. Filmen Watch the Skies har fått stor uppmärksamhet för sin innovativa användning av AI och har säkrade visningar i 100 biografer över hela Amerika.
