Workshop: Generatives Erweitern in Adobe Premiere Pro - Magie mit KI

Workshop: Generatives Erweitern in Adobe Premiere Pro

Es ist mit Sicherheit jedem schon einmal passiert: man kommt aus Versehen auf die Aufnahmetaste und beendet die Aufnahme, obwohl die Szene noch nicht vorbei war. Oder man startet die Aufnahme zu spät – in jedem Fall ist klar: das Gezeigte ist zu kurz, die Aufnahme nicht brauchbar. Oder vielleicht doch? Mit dem letzten großen Update von Premiere Pro hat die „Generatives Erweitern“-Funktion Einzug gehalten, die aus Clips mit mindestens zwei Sekunden Länge ebenso viel Sekunden Material generiert. Zum Testzeitpunkt ist das Generative Erweitern noch frei nutzbar, wird aber laut Adobe Teil von Premium-Abonnements der Creative Cloud oder des Firefly-Modells des Herstellers. Damit sich das Upgrade lohnt, muss die Funktion jedoch gut funktionieren und um das Fazit einmal vorwegzunehmen: das tut sie. Und wie.

KI-Spielerei ist das Generative Erweitern definitiv nicht, wie Jonas Schupp im Video mit echten Praxisbeispielen aus dem Drehalltag zeigt.

EINFACHE KAMERABEWEGUNG

Doch der Reihe nach. Die erste Aufgabe ist – wie alle folgenden Aufnahmen – unserem Abschlussfilm „Von Pirmin, Pop und Tradition – 1300 Jahre Klosterinsel Reichenau“ entnommen. Denn am Anfang des Abspanns gibt es einen Drohnenflug über die namensgebende Insel, welche nach unserem Geschmack etwas zu kurz geraten ist. Eine langsame Kamerabewegung sollte eigentlich die Mindestanforderung an das Generative Erweitern sein. Also schnell den Clip in 25p gerendert, da die maximale Framerate des Ursprungsmaterials derzeit maximal 30p betragen darf, und die Funktion angewendet. Das geht denkbar einfach: Im Mauszeiger-Menü den „Generatives Erweitern“-Zeiger ausgewählt und den Clip in der Timeline länger gezogen. Danach rechnet Premiere Pro einige Zeit und präsentiert dann das Ergebnis. Dieses kann sich sehen lassen: Man muss schon sehr genau hinsehen, um die feinen Unterschiede in der Zeichnung von Gebäuden oder Bäumen festzustellen. Die Bewegung der KI-Kamera ist etwas langsamer als im Ursprungsmaterial, wir behaupten aber dass das keiner Person auffällt, die nicht explizit auf den KI-Einsatz hingewiesen wurde. Und selbst dann muss man noch sehr genau hinschauen.

Um Unterschiede zwischen originalem und generiertem Bild festzustellen, muss man schon sehr genau hinschauen. Selbst kahle, astreiche Bäume wurden entsprechend detailliert übernommen.

PERSONEN IN BEWEGUNG

Wir alle erinnern uns noch an die Anfänge der KI-Bildgenerierung. Zu viele Finger, seltsame Grimassen, stellenweise erinnerten die Kreationen eher an Aliens als an Menschen. Seitdem hat sich viel getan, trotzdem waren wir sehr skeptisch, ob Premiere Pro es hinbekommen würde, Menschen in Bewegung ohne Kontinuitätsprobleme darzustellen. Als Grundlage diente uns das Winken einer Frau, bei welchem die Aufnahme erst dann begann, als die Hand schon in der Luft war. Die Frau bewegte sich dazu, man kann also bewusst von doppelter Schwierigkeit für die Generierung sprechen. Hier haben wir die Generative Erweiterung am Clipanfang angesetzt in der Hoffnung, so das Winken als komplette Bewegung zu bekommen. Genau das schaffte Premiere Pro mit Bravour und hat dazu auch die Laufbewegung natürlich repliziert. Die Handbewegung vor dem Winken war noch ein bisschen „zackig“, aber natürlich genug, um den ganzen generierten Clip im Endprodukt zu verwenden. Hierzu empfehlen wir einen Blick ins Video, wo wir die Aufnahme ausführlich und im Kontext darstellen.

Selbst im Standbild fallen leichte Unregelmäßigkeiten im generierten Material erst auf den zweiten Blick auf. Der KI gelang es, sowohl die Personenbewegung als auch das Winken dieser natürlich wiederzugeben.

PAUSEN UND ATMOSPHÄREN-TON GENERIEREN

Die nächste Szene ist im Grunde das Gegenteil des automatischen Pausen- und Füllwörter-Rausschneidens, was wir in einem eigenen Workshop zur Textbasierten Bearbeitung behandelten. Dennoch hat es auch direkt damit zu tun. Denn in unserem Fall schnitten wir aus einem Interview ein „Äh“ heraus, wodurch der Wechsel auf die Moderatorin im anschließenden Clip allerdings zu rabiat wurde. Hier schufen wir uns durch das Generative Erweitern etwa fünf Frames Luft, um harmonisch umschneiden zu können. Anstatt sein „Äh“ zu sagen, hielt der Interviewpartner durch das Generative Erweitern in dieser Zeit den Mund geschlossen.

Die Funktion zum Generativen Erweitern ist denkbar einfach in die Mauszeiger-Werkzeugleiste integriert.

In einem weiteren Interview mussten wir in der Postproduktion ziemlich radikal eingreifen, da sich die Interviewpartnerin oft versprach und zudem der Ton durch eine unmittelbar am Veranstaltungsort befindliche Hauptstraße suboptimal war. Durch diese starke Nachbearbeitung fehlte dem Interview aber die Natürlichkeit. Beim Bild helfen Schnittbilder, auf der Audioseite muss ein Atmosphärenton her. Diesen holten wir uns, indem wir mittels Generativem Erweitern den Ton eines vergleichsweise langen Schnittbilds auf die passende Länge zogen. Die Generierung von reinem Audiomaterial erfolgt nicht nur deutlich schneller, das Endergebnis ist auch so natürlich, dass es vom Ursprungsmaterial nicht zu unterscheiden ist.

Ebenso einfach wie das Finden der neuen Funktion ist ihre Anwendung. Einfach den gewollten Clip länger ziehen und schon beginnt Premiere Pro mit der Berechnung, die bei reinem Tonmaterial natürlich deutlich schneller geht als bei Videoclips.

HÄRTETEST: PERSONEN, BEWEGUNG UND SCHRIFT

Teil des Abschlussfilms war die Dokumentation einer Radtour von der Reichenau bis nach Rügen, also einmal diagonal durch Deutschland. In diesem Zug passierten sie auch die Zonengrenze mit entsprechendem Hinweisschild. Dumm nur, wenn die Actioncam-Aufnahme kurz vor der Durchfahrt stoppt. Schafft es Premiere Pro die Durchfahrt nachzustellen und Schilder, Fahrradfahrer*innen und Umwelt gut nachzubilden? Jein. Beim ersten Abspielen fiel uns noch kein Unterschied auf, weil die Kamerabewegung trotz hohem Tempo gleichbleibt und das Schild gut aus dem Bildausschnitt herausgleitet. Bei genauerem Hinsehen offenbart sich jedoch, dass die Schrift auf dem Schild nicht mehr wirklich an eine solche erinnert und auch Farbe sowie Auflösung an den Bildrändern etwas ausfransen. Dennoch, für Social Media und ähnliche Plattformen reicht diese Qualität aus. Nur, wer das Video im richtigen Moment pausiert, wird die KI-Generierung bemerken.

Auch wenn es im Video nicht direkt auffällt, hat die KI noch Probleme mit Schrift, vor allem bei schnellen Kamerabewegungen.

PRODUKTDATEN

FAZIT

Wie sehr die Entwicklung der Künstlichen Intelligenz vorangegangen ist, wird mit dem Generativen Erweitern in Premiere Pro deutlich. Einfaches Material quasi aus der Luft zu beschwören und eigentlich unbrauchbare Aufnahmen damit noch retten zu können, dürfte wohl der Herzenswunsch von vielen Cutter*innen sein. Die Qualität der generierten Aufnahmen ist überraschend gut, vor allem im Ton sind sie nicht vom Ursprungsmaterial zu unterscheiden. Natürlich sind zwei Sekunden jetzt nicht viel, reichen aber, wie wir in diesem Workshop zeigen, oft schon aus. Zumal man annehmen darf, dass Adobe die Funktion weiter aktualisieren und erweitern wird. Die Frage, ob sich ein Upgrade auf die kommenden, diese Funktion enthaltenden Abonnements lohnt, muss man am Ende für sich selbst entscheiden. Profis werden die zusätzliche Sicherheit, die Ihnen diese Funktion bietet, zu schätzen wissen. Uns hat sie jedenfalls überzeugt.

Autor: Jonas SchuppBilder: Adobe, Jonas Schupp, Joachim Sauer MEDIENBUREAU

Viele weitere spannende Themen, Tests und Ratgeber gibt