Lumora PortfolioAlle Projekte
Logo Lumora Video-PipelineEigenes Produkt · Videoproduktion für YouTube, Reels und Anzeigen

Lumora Video-Pipeline

Die Video-Pipeline ist unser eigenes System für Videos, in denen jemand in die Kamera spricht. Sie sichtet das Rohmaterial, schreibt jedes Wort mit Zeitmarke ab und schneidet daraus einen Rohschnitt ohne lange Pausen und Versprecher. Grafiken, Untertitel, Musik und Formate entstehen als Code in Python und Remotion, darum lassen sich aus einem Dreh Dutzende Fassungen rendern. Im Einsatz für David Mergelmeyer Immobilien und für eine Anzeige von High Performance Mail.

Live
  • 6Bausteine
  • 7Anbindungen
  • 3Sprachen
  • 17Technologien
Remotion Studio mit dem Video für die Termin-Seite: Einblendungen am gesprochenen Wort und die Kapitel als Spuren im Zeitstrahl
  • 35Video-Anzeigen aus zwei Drehtagen, jede in 9:16 und 4:5
  • 5YouTube-Videos, dazu ein Video für die Termin-Seite und ein Objektvideo
  • 35 %kürzer nach dem automatischen Rohschnitt: 22:44 auf 14:41 Minuten beim Video zur Immobilienbewertung
  • 18Reels aus drei langen YouTube-Videos
Zusammenspiel

So hängt alles zusammen.

Links die Kanäle und Eingänge, in der Mitte unsere Systeme, rechts die angebundenen Dienste. Die Linien zeigen, wohin die Daten fließen.

01Material
03Lokal auf dem Mac
04Veröffentlicht

Von uns gebautAngebundenKnoten antippen oder mit der Maus darauf zeigen, um die Verbindungen zu sehen

Ablauf

Vom Rohdreh bis zum Upload

  1. Drehen

    Hauptkamera mit Funkmikrofon, auf Wunsch ein iPhone als zweiter Winkel. Die Takes landen im Google Drive.

  2. Sichten

    Die Pipeline liest jeden Take an, schreibt ihn ab und erstellt das Take-Sheet. Nur die gewählten Takes kommen ganz herunter.

  3. Rohschnitt

    Master, Wortzeiten und Schnittliste entstehen automatisch, Pausen und Versprecher fallen heraus.

  4. Regie

    Grafiken, B-Roll, Kapitel und Untertitel hängen an gesprochenen Wörtern. Vorschau im Remotion Studio.

  1. Ton und Formate

    Mischung mit Musik und fester Lautheit, dazu Hochformat und 4:5 aus demselben Projekt.

  2. Rendern

    Remotion rendert jede Fassung, danach wird der Ton neu eingesetzt und nachgemessen.

  3. Hochladen

    Videos mit Untertiteln und Thumbnail gehen zu YouTube, Anzeigen per API ins Werbekonto bei Meta.

01
Automatisierung

Sichten und Abschreiben

Vor dem Schnitt steht fest, was in jedem Take steckt. Die Pipeline liest von jeder Aufnahme im Google Drive nur den Anfang, schreibt den Ton lokal mit Whisper ab und zieht drei Standbilder. Daraus entsteht ein Take-Sheet mit Abschnitt, Pegel, Versprechern und Empfehlung. Erst danach kommen die Takes in voller Auflösung, die wirklich ins Video gehen.

Take-Sheet eines Drehtags: je Take Standbilder, Dauer, Pegel, Anfang der Abschrift und Empfehlung
  • Index aller Dateien im Drive mit Name, Größe und Datum, ohne Download
  • Je Datei nur die ersten 40 MB, bei 4K etwa die erste Minute
  • Dauer, Auflösung, Bildrate und Lautheit je Take
  • Abschrift lokal mit Whisper, kein Ton verlässt den Rechner
  • Drei Standbilder je Take für Ausschnitt, Schärfe und Licht
  • Take-Sheet mit Abschnitt, Hinweis und Empfehlung für den Schnitt
  • Kleine Proxy-Dateien der Kamera statt der vollen Aufnahmen, wo vorhanden
  • Zugriff auf das Drive nur lesend
Technik
  • Python
  • WhisperWhisper
  • FFmpeg
  • Google Drive
02
Automatisierung

Automatischer Rohschnitt

Aus den gewählten Takes baut die Pipeline einen bildgenauen Master und legt jedes gesprochene Wort auf die Zeitachse. Lange Pausen werden gekürzt, doppelte Sätze und Versprecher fallen nach einer geprüften Liste heraus. Geschnitten wird nur in gemessenen Sprechpausen. Fehlt danach ein Wort oder überlappen zwei Stücke, bricht der Lauf ab, statt einen fehlerhaften Schnitt abzuliefern.

Die ersten 55 Sekunden Aufnahme vor und nach dem Rohschnitt: drei Takes werden zu neun Stücken mit 38 Sekunden
  • Master aus allen Takes, jedes Bild genau auf der Zeitachse des Tons
  • Zweite Kamera über den Ton synchronisiert, Versatz und Drift gemessen
  • iPhone-Aufnahmen in HDR für den Schnitt nach SDR umgerechnet
  • Wortzeiten mit Whisper, jede Sprechinsel einzeln abgeschrieben
  • Pausen ab 0,42 s auf 0,26 s gekürzt
  • Doppelungen und Versprecher raus, jede Entscheidung im Protokoll
  • Ton auf die Probe genau geschnitten, nie in einen Atmer
  • Untertitel für YouTube aus denselben Wortzeiten
Technik
  • Python
  • WhisperWhisper
  • FFmpeg
  • Mac mini
03
Video-Produktion

Regie und Grafiken am Wort

Für jedes Video gibt es ein Regie-Modul in Python. Darin hängt jede Grafik an einem gesprochenen Wort statt an einer festen Sekunde. Remotion rendert daraus Grafiken, Kapitel, B-Roll und Untertitel als React-Code über dem Video. Jede Fassung lässt sich vorher im Remotion Studio ansehen.

Remotion Studio: Video für die Termin-Seite mit Kapiteln im Zeitstrahl und Einblendungen am gesprochenen Wort
YouTube-Thumbnail „7 Punkte, die ich vor dem Kauf prüfe“
YouTube-Thumbnail „Was ist meine Immobilie wert?“
  • Einblendungen an gesprochenen Wörtern statt an festen Zeiten
  • Animierte Grafiken als Bausteine, darunter Karte, Zeitstrahl, Kennzahl, Checkliste und Preisvergleich
  • Kapiteltitel hinter der Person, freigestellt mit Apple Vision
  • B-Roll aus eigenem Material und Stockvideos von Pexels
  • Wechsel in den zweiten Kamerawinkel mit einer Zeile in der Regie
  • Untertitel mit hervorgehobenen Wörtern und geprüften Korrekturen
  • Thumbnails aus einem Standbild mit weichem Hintergrund und einheitlichem Stil
  • Vorschau jeder Fassung im Remotion Studio im Browser
Technik
  • RemotionRemotion
  • React
  • TypeScript
  • Python
  • Swift
  • Pexels
04
Automatisierung

Ton und Formate

Die Tonmischung entsteht in Python: Stimme, Musik und Soundeffekte werden zu einer Datei mit fester Lautheit. Aus demselben Projekt kommen das Querformat für YouTube, das Hochformat für Reels und Shorts und 4:5 für den Feed. Im Hochformat sitzt der Ausschnitt auf dem Gesicht, Einblendungen bleiben vom Gesicht weg.

Dieselbe Anzeige im Hochformat 9:16 und im Format 4:5, Ausschnitt und Einblendungen je Format angepasst
  • Lautheit −14 LUFS und Spitzen bei −1 dBTP, je Video einstellbar
  • Musik von Epidemic Sound wird unter der Stimme leiser und stoppt an Pointen
  • Soundeffekte an den Momenten der Grafiken
  • Querformat 1920 × 1080, Hochformat 1080 × 1920 und Feed 1080 × 1350
  • Gesichtserkennung mit Apple Vision für den Ausschnitt im Hochformat
  • Reels aus Abschnitten des langen Videos, mit eigener Tonspur
  • Ton nach dem Render neu eingesetzt und nachgemessen, Versatz 0 ms
Technik
  • Python
  • FFmpeg
  • Swift
  • Epidemic SoundEpidemic Sound
  • RemotionRemotion
05
Automatisierung

Anzeigen und Reels im Stapel

Für Kampagnen entstehen viele Fassungen aus einem Dreh. Jede Anzeige ist in der Regie ein paar Zeilen: welche Sätze, welche Musik, welcher Abschluss. Ein Skript rendert alle nacheinander, legt sie nach Thema ab und schreibt eine Übersicht. Ein zweites lädt sie per API ins Werbekonto und legt die Kampagnen pausiert an.

Remotion Studio mit einer Video-Anzeige im Hochformat: Einstieg, Inhalt und Aufruf als Spuren
Standbilder aus drei Video-Anzeigen mit Untertiteln, Punkten zum Abhaken und zweitem Kamerawinkel
  • Anzeigen aus gesprochenen Sätzen zusammengesetzt, jede Grenze in der nächsten Pause
  • Zwei Einstiege je Thema und eigene Fassungen für einzelne Orte
  • Jede Anzeige in 9:16 und 4:5
  • Bausteine für Untertitel, Checkliste, Sterne, Bauchbinde und Termin-Karte
  • Render nacheinander in Ordner je Thema
  • Übersicht als Google-Tabelle mit Thema, Einstieg, Kampagne und Dauer
  • Upload zu Meta per API, Kampagnen pausiert bis zur Freigabe
  • Auswertung je Anzeige: Ausgaben und Klicks neben dem Verhalten auf der Zielseite
  • Bildausschnitt um das Gesicht vorbereitet, der Render läuft dreimal so schnell
Technik
  • Python
  • RemotionRemotion
  • FFmpeg
  • Meta
  • Facebook
  • Instagram
  • Google Sheets
06
Claude-Skill

Founder-Ad-Skill

Für Selfie-Videos, die schon geschnitten sind, gibt es einen eigenen Ablauf als Skill für Claude. Er schreibt das Video ab, gliedert es von Hook bis Aufruf und baut zuerst ein Style-Board über echten Bildern zur Freigabe. Danach entstehen Grafiken, Untertitel und ein freigestellter Sprecher vor dem Markenhintergrund in Remotion. Eingesetzt für eine Anzeige von High Performance Mail.

Standbild der Anzeige: Sprecher freigestellt vor dem Markenhintergrund, darüber die Verbindung von Claude und Klaviyo
  • Abschrift mit Whisper, Fachbegriffe und Markennamen korrigiert
  • Gliederung in Hook, Problem, Lösung, Nutzen, Aufruf und Abschluss
  • Style-Board über echten Bildern, gebaut wird erst nach Freigabe
  • Sprecher mit einem Matting-Modell freigestellt, als Video mit Alpha-Kanal
  • PDF-Seiten scrollen in einem Handy-Rahmen
  • Untertitel mit hervorgehobenem Wort oberhalb des Bereichs für Metas Knopf
  • Standbilder je Abschnitt vor dem vollen Render
  • Fassung für Anzeigen und für organische Beiträge aus derselben Vorlage
Technik
  • Claude
  • RemotionRemotion
  • React
  • TypeScript
  • Python
  • WhisperWhisper
  • FFmpeg
Technik

Programmiersprachen und Technik.

Programmiersprachen
  • Python
  • TypeScript
  • Swift
Frameworks und Bibliotheken
  • FFmpeg
  • RemotionRemotion
  • React
Künstliche Intelligenz
  • WhisperWhisper
  • Claude
Plattformen und Betrieb
  • Mac mini
Verbindungen

Womit alles verbunden ist.

Jede Anbindung mit dem, wofür sie im Alltag genutzt wird.

  • Google Drive

    Rohmaterial der Drehtage, nur lesend; Anfang jeder Datei für die Sichtung, danach die gewählten Takes

  • Whisper

    Abschrift mit Wortzeiten, lokal auf dem Mac mit dem Modell large-v3-turbo

  • Epidemic Sound

    Musik und Soundeffekte für YouTube-Videos, Reels und Anzeigen

  • Pexels

    Stockvideos als B-Roll, wo eigenes Material fehlt

  • Meta

    Upload der Anzeigen in beiden Formaten, Kampagnen pausiert anlegen, Ausgaben und Klicks je Anzeige auswerten

  • YouTube

    Videos mit Kapiteln, Untertiteln als SRT und Thumbnails in 1280 × 720

  • Google Sheets

    Übersicht aller gerenderten Anzeigen mit Thema, Einstieg, Kampagne und Dauer