„Maxton Hall“ als Testlauf
Prime Video: KI soll Synchronfassungen natürlicher wirken lassen
Amazon startet bei Prime Video ein neues KI-Experiment. Der Streamingdienst passt künftig die Mundbewegungen von Schauspielern nachträglich an eine übersetzte Synchronfassung an. Die sogenannte visuelle Synchronisation kombiniert künstliche Intelligenz mit klassischen VFX-Verfahren und soll dafür sorgen, dass Bild und gesprochener Dialog besser zusammenpassen.
Wichtig dabei: Die Stimmen werden bei der neuen Funktion nicht von einer KI erzeugt. Amazon verwendet weiterhin von menschlichen Synchronsprechern eingesprochene Tonspuren und verändert stattdessen das Videobild. Nach Angaben von Prime Video soll dadurch der bei Synchronfassungen häufig sichtbare Unterschied zwischen den Lippenbewegungen und den übersetzten Dialogen verschwinden.
Zum Start setzt Amazon die Technik bei der deutschen Eigenproduktion „Maxton Hall – Die Welt zwischen uns“ ein. Die englischen Synchronfassungen der ersten beiden Staffeln stehen weltweit bereits mit den angepassten Lippenbewegungen zur Verfügung. Wenn die dritte und zugleich letzte Staffel am 9. Dezember startet, soll auch diese die neue Technik nutzen.
„Maxton Hall“ macht den Anfang
Wie The Verge berichtet, will Amazon die Funktion künftig auf weitere Filme und Serien ausweiten. Konkrete Titel oder zusätzliche Sprachen nennt der Streaminganbieter bislang allerdings nicht.
Amazon betont, dass die Bearbeitung unter kreativer Kontrolle stattfindet und die künstlerische Gestaltung der Produktionen erhalten bleiben soll. Eingriffe dieser Art sind nicht völlig neu. Auch Meta und YouTube experimentieren mit KI-Systemen, die neben einer Übersetzung die sichtbaren Mundbewegungen an die jeweilige Sprache anpassen.
Amazon experimentiert schon länger mit KI
Prime Video setzt künstliche Intelligenz inzwischen an mehreren Stellen ein. Bereits im vergangenen Jahr startete Amazon einen Test mit KI-gestützten Synchronfassungen. Zunächst wurden zwölf ältere Filme und Serien auf Englisch und lateinamerikanischem Spanisch vertont, die zuvor überhaupt keine entsprechende Synchronfassung besaßen. Dabei arbeiten Lokalisierungsfachleute gemeinsam mit KI-Systemen. Amazon bezeichnet das Verfahren selbst als hybriden Ansatz.
Nicht alle KI-Experimente des Streamingdienstes verliefen bislang erfolgreich. Automatisch generierte Staffelzusammenfassungen musste Prime Video Ende vergangenen Jahres wieder entfernen, nachdem sich unter anderem bei „Fallout“ mehrere inhaltliche Fehler eingeschlichen hatten.
Bei der neuen Lippensynchronisation bleibt die eigentliche schauspielerische Leistung zumindest auf der Tonspur in menschlicher Hand. Die KI verändert stattdessen sichtbar das Ausgangsmaterial – und dürfte damit erneut Diskussionen darüber anstoßen, wie weit Streaminganbieter bei der nachträglichen Bearbeitung von Filmen und Serien gehen sollten.
Die Idee ist gar nicht schlecht. Bin auf die Umsetzung gespannt.
Da sonst völlige Ressourcenverschwendung für ein nicht vorhandenes Problem. Die Rechenkraft sollte lieber für sinnvolle Dinge eingesetzt werden.
+ 1 … wir sollten lieber die Schauspielleistung deutscher Schauspieler überarbeiten lassen! ^^
Darüber kann man sich nicht beschweren, solange noch mit echten Menschen synchronisiert wird. Bin gespannt wie das aussieht
Naja, ob die Schauspieler das so gut finden, wenn sie „verzerrt“ werden?
Als Schauspieler würde ich das schon diskutieren. Immerhin wird er nachträglich ‚verändert‘ und der Schauspieler selbst hat darauf keinen Einfluss mehr. Mich stört das ehrlich gesagt überhaupt nicht wenn die Synchronisation nicht zu den Lippen passt. Ich finde es manchmal sogar interessant wenn ich sehe dass der Schauspieler im Original nur 1-2 Worte sagt und in der synchronisierten Fassung mehr und höre mir dann gerne auch mal das Original an.
Gute Synchron-Dialogbücher passen zu den Lippenbewegungen. Das ist nämlich essentiell beim Schreiben der Dialoge.
Ja, aber diese kostenintensive Mühe würde man sich in Hollywood gerne sparen.
Ich denke, man hat sich schon so daran gewöhnt, dass es schon gar nicht mehr stört. Synchronsprecher haben es so gut es eben geht, perfektioniert.
Ich finde es nicht so toll die Mundbewegung und damit die Mimik der Schauspieler künstlich zu verändern.
Ja, geht mir ähnlich! Vieles (nicht alle!) was mit KI inzwischen möglich ist, finde ich ethisch gesehen leicht schmuddelig.
Finde ich auch, sogar so sehr, dass ich den originalen Sprech bei deutschen Filme störend finde.
Und schon wurde erkannt, warum das Ganze: Wenn das mit der KI als Sprecher zu viel Widerstand erzeugt, dann ersetzen wir halt erstmal die fähigen Sprecher mit dem billigen Hans Dampf und machen die Lippenanpassung mit KI.
Ich habe das mal bei „Fall“ gesehen, dort allerdings auch mit den Original-Stimmen der Darsteller. Das Ergebnis war fast kaum zu glauben.
Ich selbst bin höchst sensibel was Asynchronität betrifft (wenn ich minimale asynchrone Lippenbewegungen nicht ertragen kann, kann mein Partner das Problem noch gar nicht erkennen – selbst wenn ich es ihm ausdrücklich zeige). Deswegen kann ich synchronisierte Filme nicht anschauen, ich muss immer den O-Ton sehen. KI könnte mir eventuell auf diese Art auch mal einen synchronisierten Film zugänglich machen.
Das ist was ganz anderes. Asynchronität Zwischen Bild und Ton können Menschen sehr leicht erkennen. Da genügt eine Abweichung um wenige Millisekunden. Lippen bewegung, die nicht zum gesprochenen passen, das können wir beim besten willen nicht gut erkennen. Um das weiter zu übertönen, sind synchronisierte Tonspuren in der Regel auch etwas lauter als die Originalspur. Das menschliche Gehirn vertraut auf Dinge, die laut sind. Dadurch sieht man noch weniger, dass Lippenbewegungen nicht passen. Für asynchronität funktioniert das nicht.
In Zukunft werd ich dann wohl nur noch Original Ton schauen. Die Entwicklung gefällt mir nicht. Stellt Synchronsprecher ein!
Du hast den Beitrag nicht verstanden. Es geht nur um die optische Mundbewegung
Doch habe ich. Das ist auch eine Entwicklung, die mir und vielen missfällt. Das ist dann alles unecht und natürlich wird in letzter Konsequenz, die Synchronisation auch von einer Ki übernommen.
Interessant wäre es zu wissen, wie man dann einfach die Tonspur wechseln kann, wenn das ein anderes Video ist. Die deutschen Übersetzungen sind teilweise grausig, besonders wenn es um den amerikanischen Kontext geht bei Redewendungen, Persönlichkeiten, Ereignissen usw. Was daraus teilweise für das deutsche Publikum gemacht wird, ist wirklich krass. In Serien ist das auch richtig übel, wenn im englischen Original mal deutsch gesprochen wird. Dann wird daraus in der deutschen Synchronisation Niederländisch, Dänisch etc. Ich weiß meckern auf hohen Niveau. Wenn man immer auf Deutsch guckt, nimmt man das hin bzw. fällt das nicht auf. Aber wer gerne ins Orginal wechselt, stellt sich schon viele Fragen.
Eine echt interessante Frage. Der Videoteil wird sich ja nicht ändern wenn man die Tonspur wechselt. Dann ist es eigentlich doch richtig kacke :-)
Vermutlich wird Amazon dann wieder auf das früher eingesetzte Verfahren setzen, dass jede Serie und jeder Film mehrfach in die Mediathek aufgenommen wird. Unfassbar nervtötend war das. Apple macht das ja bis heute mit den Serien. Wohl gemerkt, ohne dass es bei der Bildspur einen Unterschied gibt. Schwachsinn sondergleichen. Es ist aber auch gut möglich, dass gerade in diesem Beispiel, die Amis die deutsche Fassung gar nicht zu sehen bekommen.
Na prima, Amazon hat eine ki Lösung gefunden für ein Problem, das nicht existiert. Der Gag an einer Synchronisation ist, dass man die Abweichungen zu den Lippenbewegung gar nicht bemerkt. Das ist zu mindestens 99 % der deutsch synchronisierten Produktionen für die meisten Sprachen der Fall. Es gibt sicherlich extreme Beispiele, bei Sprachen, bei denen die Mundbewegungen erheblich anders ablaufen, aber das ist jetzt echt Nische. Und bei Deutsch gesprochenen Dialogen, die Englisch synchronisiert werden, gibt es dieses Problem ohne jeden Zweifel nicht.
Amazon sollte lieber mal dafür sorgen, dass die Trailer synchronisiert werden.
Instagram experimentiert ja auch damit. Tatsächlich ist es schon interessant zu sehen, wenn der Sprecher plötzlich zur deutschen Sprache die Lippen bewegt.
Allerdings geht damit nun nicht nur der Charme der Originalstimme verloren, auch gewisse Mimiken um den Mund herum.
Außerdem wird hier natürlich von KI gesprochen.