4.7. Einstellungserkennung: Datensichtung mit VIAN

Nachdem die Einstellungs-Annotationen für den Trailer zu Der geteilte Himmel automatisch durch das Jupyter Notebook erstellt wurden, ist es an der Zeit, diese mithilfe des Annotations-Tools VIAN zu sichten. Die Installation und die für unsere Sichtung notwendigen grundlegenden Funktionen von VIAN wurden bereits im Kapitel zu den technischen Grundlagen vorgestellt.

Für die Sichtung in VIAN (oder einem anderen Annotationsprogramm) wurde vom Jupyter Notebook eine .eaf-Datei erstellt, mittels derer sich die Einstellungs-Annotationen in die entsprechenden Tools importieren lassen. Die Trailer-Datei zu Der geteilte Himmel können Sie [hier (link noch einfügen)] herunterladen.

Hinweis zum Import von .eaf-Dateien in VIAN

Starten Sie VIAN und wählen Sie durch einen Klick auf “Video öffnen” die entsprechende Videodatei aus, für die die Annotationen in der .eaf Datei importiert werden sollen.

Fig. 4.12 Auswahl einer Videodatei in VIAN.

Für den Import in VIAN Klicken Sie nun im Auswahlmenü auf der rechten Seite auf “Daten importieren” und dort auf “ELAN-Annotationen importieren”. Wählen Sie die erzeugte .eaf-Datei am entsprechenden Export-Speicherort aus. Der Import wird dann ausgeführt.

Fig. 4.13 Das Importmenü von VIAN.

Nach dem Import erscheinen die Annotationen als einzelne Spuren unter der Zeitleiste am unteren Rand des Hauptfensters. Wird das Video abgespielt, bewegt sich auch der rote Positionsanzeiger in der Zeitleiste. Sie können den Anzeiger außerdem mit der Maus verschieben oder auf die Zeitleiste Klicken, um zur entsprechenden Stelle im Video zu gelangen.

Fig. 4.14 Das Hauptfenster von VIAN nach dem Import von Annotationen.

Nach dem Import können Sie nun das Ergebnis der Einstellungserkennung für Der geteilte Himmel in VIAN sichten. Mit dem Abspielen des Trailers bzw. anhand der Navigation in der Timeline werden Sie feststellen, dass die Einstellungserkennung in diesem Fall tadellos funktioniert hat. Die einzelnen nummerierten ‘Annotationsblöcke’ sind perfekt mit den Einstellungswechseln synchronisiert. Insgesamt wurden 23 Einstellungen erkannt.

Fig. 4.15 Die Einstellungsannotationen nach dem Import in VIAN.

Allerdings funktioniert die Erkennung mit dem Standard-Schwellenwert von 0.5 nicht für alle Trailer der Filme Konrad Wolfs fehlerlos. Um mögliche Problemstellen und fehlerhafte Erkennungen von Einstellungsübergängen zu verdeutlichen, haben wir mithilfe des selben Jupyter Notebooks nur Einstellungserkennung automatisiert Annotationen zu Trailern zu Konrad Wolfs Mama, ich lebe und Solo Sunny erstellt. Hier können sie die Trailer und die zugehörigen .eaf-Annotationsdateien für Mama, ich lebe (Link noch einfügen!) und Solo Sunny (Link noch einfügen!) herunterladen und die Ergebnisse selbst überprüfen.

Im Trailer zu Mama, ich lebe werden zu Beginn Standbilder aus anderen Produktionen Konrad Wolfs gezeigt. Hier wurde bei einem Schwellenwert von 0.5 der Übergang zwischen zwei ähnlichen Bildern innerhalb der Einstellung 12 nicht erkannt:

Fig. 4.16 Der erste Fehler in Mama, ich lebe.

Ein weiterer Fehler im selben Trailer findet sich beim Übergang von einer Totalen in eine Nahaufnahme in der Bewegung in Einstellung 36:

Fig. 4.17 Der zweite Fehler in Mama, ich lebe.

Auch in die Einstellungserkennung zum Solo Sunny Trailer hat sich ein Fehler eingeschlichen. Der kurze Wechsel zu einer Einstellung am Ende von Einstellung 5 wurde nicht erkannt:

Fig. 4.18 Der Fehler in Solo Sunny.

Es zeigt sich also, dass die Ergebnisse automatisiert erstellte Annotationen immer überprüft und ggf. ergänzt und korrigiert werden müssen. In den oben dargestellten Trailer-Beispielen ergeben sich z.B. insbesondere Probleme bei der Einstellungserkennung, wenn die aufeinander folgenden Frames unterschiedlicher Einstellungen für die Prozesse der Computer Vision eine zu große Ähnlichkeit aufweisen oder wenn Übergänge durch starke Bewegungen im Bild nicht erfasst werden.

Durch das Experimentieren mit unterschiedlichen Schwellenwerten lassen sich ggf. bessere Erkennungsergebnisse erzielen. Die mit dem Notebook bzw. Computer Vision erstellten Annotationsergebnisse werden dabei nie vollkommen fehlerfrei sein. Dennoch lassen sich Ergebnisse erzielen, die exakt genug sind, um mit ihnen weiter zu arbeiten.

Übung

Versuchen Sie, die oben aufgelisteten Fehler durch eine erneute Auswertung der Trailer mit einem anderen Schwellenwert zu beseitigen. Sie können die zusätzlichen Trailer hier herunterladen [Link folgt].

Lösung

Öffnen Sie das Jupyter Notebook zur Einstellungserkennung in Colab (vgl. Unterkapitel Ausführung des Notebooks).

Verändern Sie nun im ersten Codeblock des Notebooks die voreingestellten Parameter.

Fig. 4.19 Einstellung der Parameter im Notebook in Colab.

Mit THRESHOLD = 0.5 wird der Schwellenwert eingestellt, hier ist er mit 0.5 festgelegt. Verändern Sie diese Einstellung, zulässig sind Werte zwischen 0.0 und 1.0. (1) Hier können Sie also mit verschiedenen Schwellenwert-Einstellungen experimentieren.

Da Sie dieses Mal mit einer eigenen Videodatei arbeiten wollen, müssen Sie zusätzlich DOWNLOAD_TESTFILES = False setzen, damit die für Demonstrationszwecke vorbereitete Videodatei nicht heruntergeladen wird. (2) Standardmäßig ist dieser Parameter im Notebook auf True eingestellt.

Führen Sie nun den Codeblock durch einen Klick auf das Dreieckssymbol oben links im Block aus. (3)

Fig. 4.20 Warnmeldung vor der Ausführung des Notebooks.

Evtl. wird eine Warnung angezeigt, dass das Notebook nicht von Google erstellt wurde, klicken Sie auf “Trotzdem ausführen” rechts unten. Dadurch werden die Ordner “videos_shots” und “export_shots” in der Colab-Umgebung erstellt.

Nun wird die Videodatei, hier die Trailerdatei, in die Colab-Umgebung hochgeladen.

Fig. 4.21 Ordner für die Videodateien in Colab.

Klicken Sie auf das Ordnersymbol in der linken Randspalte von Colab. (1) Es öffnet sich eine Liste mit den verfügbaren Ordnern. In den Ordner “videos_shots” laden Sie die zu annotierende Trailerdatei hoch. (2) Wenn Sie mit der Maus auf den Ordnernamen deuten werden rechts drei Punkte sichtbar, ein Klick auf die Punkte öffnet ein Fenster zum Hochladen der Datei.

Führen Sie nun die weiteren Codeblöcke des Notebooks nacheinander aus.

Fig. 4.22 Ausführen der Codeblöcke in Colab.

Klicken Sie hierzu wiederum bei jedem Codeblock auf das Dreiecksymbol in der linken oberen Ecke des Blocks. (1) Bedenken Sie, dass je nach Rechenkapazität die Google Colab zur Verfügung stellt das Ausführen eines Codeblocks einige Zeit in Anspruch nehmen kann, insbesondere im Codeblock zur “Anwendung des Modells”. Indem Sie alle Codeblöcke einzeln nacheinander ausführen, können Sie deren spezifischen Funktionen nochmals nachvollziehen und werden sofort auf eventuell auftretende Probleme aufmerksam.

Durch einen Klick auf “Alle ausführen” in der Colab Kopfzeile können auch alle Codeblöcke automatisch nacheinander ausgeführt werden. (2) Dies vereinfacht den Ablauf, wenn Sie etwa lediglich den Schwellenwert ändern wollen und alle Codeblöcke in einen ersten Durchlauf bereits erfolgreich ausgeführt wurden.

Fig. 4.23 Export der Annotationsdateien.

Am Ende des Notebooks werden die entstandenen Annotationsdateien im Ordner “export_shots” der Colab-Umgebung abgelegt. (1) Zusätzlich öffnet sich ein Dialogfenster, mit dem Sie die Annotationsdateien als Zip-Datei mit dem Namen export.zip auf Ihrem Computer speichern können. (2)

Achtung

Beim mehrmaligen Ausführen des Jupyter Notebooks, etwa mit neuen Schwellenwerten, werden die erzeugten Annotationsergebnisse im Ordner “export_characters” durch die neu erzeugten Dateien überschrieben. Sie sollten also darauf achten, dass sie vor jedem neuen Durchgang die bereits vorhandenen Exportdateien zu den Annotationsergebnissen auf Ihrem Rechner lokal abspeichern, um auch weiterhin mit ihnen arbeiten zu können.

Entpacken Sie ggf. die Exportdateien in einen Ordner ihrer Wahl. Importieren Sie nun die Annotationsergebnisse mit der .eaf-Datei in VIAN (vgl. “Hinweis zum Import von .eaf-Dateien in VIAN” in diesem Kapitel).

Sie können nun die Annotationsergebnisse in VIAN sichten und überprüfen. Wiederholen Sie die Annotation mit verschiedenen Schwellenwerten und Trailern und überprüfen Sie jeweils die Ergebnisse in VIAN. Welche Schwellenwerte führen zu den besten Ergebnissen?

Ein Schwellenwert von 0.25 bereinigt z.B. die Fehler im Mama, ich lebe Trailer. Im Fall des Trailers zu Solo Sunny führt derselbe Schwellenwert allerdings zu einer falsch erkannten Einstellung. So wurde etwa Einstellung 53 fälschlicherweise aufgeteilt, da plötzlich ein grelles Licht im Bild sichtbar wird:

Fig. 4.24 Der neu entstandene Fehler in Solo Sunny.

Ein Schwellenwert, der für einen Film gute Ergebnisse liefert, passt nicht zwangsläufig auch für andere Filme. Es kann daher je nach Forschungsvorhaben sinnvoll sein, für jeden Film einen passenden Schwellenwert zu finden.