6. Zusammenfassung und Reflexion#
Digitale Werkzeuge, digitale Methoden und der Umgang mit Daten spielen auch in den Geisteswissenschaften eine immer wichtigere Rolle - insbesondere im Bereich der Digital Humanities. In dieser Open Educational Resource (OER) wollten wir anhand einer Fallstudie erkunden, wie digitale Ansätze sinnvoll für die Bearbeitung einer filmwissenschaftlichen Fragestellung eingesetzt werden können. Die Fallstudie nimmt dabei vor allem die automatisierte Erstellung von Film-Annotationen in den Blick. Im Mittelpunkt der exemplarischen Untersuchung stehen die Filme Konrad Wolfs. Ausgangspunkt für die Fallstudie bildet folgende Frage: Welche besonderen stilistischen Merkmale weisen die Filme Konrad Wolfs auf? Die ersten beiden inhaltlichen Kapitel der OER beschäftigen sich mit theoretischen Grundlagen zur Filmanalyse und automatisierten Automation, die beiden darauf folgenden Kapitel widmen sich der praktischen Umsetzung in Form der Erstellung und Auswertung der Annotationsdaten.
6.1. Zusammenfassung#
Die OER beginnt mit einem Kapitel zu Grundlagen der Filmanalyse und automatisierten Annotation. Zunächst werden verschiedenen Perspektiven auf das Themenfeld Filmanalyse und unterschiedliche Herangehensweisen an filmanalytische Arbeit dargestellt. Daran anschließend folgt eine Auseinandersetzung mit dem Begriff Annotation, der Frage welche Stellung Annotationen bei der Filmanalyse haben und was mit automatisierter Annotation gemeint sein kann. Dabei arbeiten wir heraus, dass Annotationen keine Endergebnisse sind, sondern Ausgangspunkte für die weitere wissenschaftliche Analyse bilden. Bei der automatisierten Annotation ergeben sich strukturierte Datensätze mit bestimmten Werten, die sich durch ihre spezifische Form sehr gut computergestützt weiterverarbeiten und mit digitalen Tools quantitativ auswerten lassen. Die Möglichkeiten und Grenzen quantitativer Ansätze in der Filmwissenschaft werden im weiteren Verlauf des Kapitels diskutiert, etwa am Beispiel der statistischen Stilanalyse. Dabei wird deutlich, dass eine rein quantitative, statistische Erfassung stilistischer Merkmale nicht ausreicht, sondern diese immer auch in ihren konkreten Funktionen und Bedeutungen betrachtet werden müssen. Die quantitative Auswertung muss also immer auch mit qualitativen Herangehensweisen ergänzt werden. Abschließend werden im Kapitel mögliche Fragestellungen formuliert, die sich auf quantitative Ansätze beziehen und für die die Arbeit mit automatisiert erstellten Annotationen sinnvoll sein können.
Das zweite theoretische Kapitel beschäftigt sich mit den Einsatzmöglichkeiten von Computer Vision für die Filmanalyse. Zunächst werden die Grundlagen von Computer Vision und mit dem Themenbereich verbundene zentrale Begriffe und Konzepte geklärt, wie z.B. Algorithmus, Machine Learning, Deep Learning oder Modell. Darauf aufbauend werden die Schritte erklärt, die bei Prozessen der Computer Vision prinzipiell durchlaufen werden. Dadurch wird die Funktionsweise von Computer Vision besser verständlich. Bei der Filmanalyse kann Computer Vision in zahlreichen Bereichen eingesetzt werden, etwa zur automatisierter Erkennung und Annotation filmischer Elemente. Dies ist besonders bei der Verarbeitung bzw. Annotation großer Mengen an filmischen Material wie etwa beim “Distant Viewing” nützlich. Gemeinsame Merkmale oder wiederkehrender Muster in großen Korpora können so einfacher festgestellt werden. Im Kapitel gehen wir auch auf die Grenzen von Computer Vision und automatisierter Annotation ein. Nicht für alle Annotationen existieren bereits Modelle, mit denen diese zuverlässig durchgeführt werden können. So lassen sich Kamerabewegungen oder Einstellungsgrößen nach wie vor nur unzureichend durch Computer Vision erfassen. Zudem muss beachtet werden, dass in den Modellen zu Computer Vision immer auch Weltsichten, Wertvorstellungen und Bias eingeschrieben sind, die somit auch Einfluss auf die Annotationsergebnisse haben.
Für die praktische Umsetzung haben wir uns für die automatisierte Annotation von Einstellungsübergängen und das Auftreten von Figuren in Filmen entschieden. Hierfür haben wir im Kapitel zur automatisierten Annotation von Filmen einen Workflow entwickelt und vorgestellt. Im Abschnitt zur Auswahl der Modelle wird erläutert, was bei der Auswahl beachtet werden muss, wie unser Auswahlprozess ablief und welche Modelle wir für unsere Erkennungsaufgaben einsetzen: TransNetV2 für die Einstellungserkennung und InsightFace für die Figurenerkennung. Nach Einführungen, in denen die grundlegenden Abläufe vorgestellt werden, folgen die Jupyter Notebooks, in denen der Python-Code zur Einstellungs- und Figurenerkennung umgesetzt wird. Durch die Kommentare im Notebook wird die Funktion der einzelnen Codeblöcke erläutert und dargelegt, welche Elemente für die Anpassung des Codes für eigene Projekte verändert werden können. Als Beispiele werden Videodateien zu Trailern zu Filmes Konrad Wolfs annotiert. Die Ergebnisse der mit den Notebooks automatisiert erstellten Annotationen werden in verschiedenen Dateiformaten ausgegeben, die mit digitalen Tools weiter verarbeitet und ausgewertet werden können. In der OER verwenden wir das Annotationstool VIAN um die Annotationsdaten zu sichten und zu überprüfen. Dabei machen wir auf mögliche Probleme und Erkennungsfehler aufmerksam und geben Hinweise, wie diese behoben werden können.
Im abschließenden Kapitel erfolgt die explorative Auswertung der mit den Jupyter Notebooks erstellen Annotationsdaten zu den Filmen Konrad Wolfs: Die Einstellungserkennung wurde für alle Spielfilme Wolfs durchgeführt, die Figurenerkennung mit ausgewählten Figuren aus den Filmen Sonnensucher, Der geteilte Himmel und Solo Sunny. Die Ergebnisse werden als Annotationsdateien zum Download zur Verfügung gestellt. In einem eigenen Abschnitt wird die Struktur der Annotationsdaten kurz vorgestellt und welche Elemente der Daten wir für die Auswertung verwendet haben. Ausgangspunkt für die Auswertung bilden Visualisierungen, für die wir wiederum zwei Jupyter Notebooks mit kommentierten Python-Code entwickelt haben: Eine Grafik zu den Einstellungslängen und der Einstellungsanzahl in den Filmen, eine Grafik zur Figurenpräsenz und eine zu den Figurenbeziehungen in den annotierten Filmen. Aus den Visualisierungen sind verschiedene Auffälligkeiten ersichtlich. Sterne und Goya heben sich bezüglich der Darstellung der Einstellungslängen von den restlichen Filmen ab. Die Figurenpräsenz und Figurenbeziehungen unterscheiden sich in den untersuchten Filmen Sonnensucher, Der geteilte Himmel und Solo Sunny deutlich voneinander und weisen sehr unterschiedliche Muster auf. Als nächster Schritt müssten diese Auffälligkeiten nun wieder an den einzelnen Filmen konkret untersucht und dabei deren Entstehungskontext einbezogen werden.
6.2. Reflexion und Ausblick#
Die OER und die Fallstudie haben gezeigt, dass automatisiert erstelle Annotationen zu Filmen für die Analyse von Filmen nützlich und hilfreich sein können. Annotationen manuell anzufertigen kann sehr arbeitsintensiv sein und nimmt häufig sehr lange Zeit in Anspruch. Hier können Workflows zur Automatisierung nützlich sein - insbesondere wenn ein sehr großes Korpus an Filmen im Kontext des “Distant Viewing” betrachtet werden soll. Den Möglichkeiten zur automatisierten Annotation sind jedoch auch Grenzen gesetzt - insbesondere technische. Für die Annotationsaufgaben müssen geeignete Modelle zur Verfügung stehen. Da solche Modelle meist nicht speziell für die Filmanalyse entwickelt wurden, müssen diese vor ihrem Einsatz kritisch beurteilt werden: Welche Trainingsdaten liegen den Modellen zugrunde? Wer hat sie für welche Zwecke entwickelt? Sind mögliche Bias enthalten? Auch die Zuverlässigkeit der Annotationsergebnisse muss kritisch überprüft werden: In welchen Bereichen treten Erkennungsfehler auf? Wie können diese möglicherweise behoben werden, z.B. durch die Wahl anderer Schwellenwerte? Im Rahmen eines Forschungsprojektes muss bei der Arbeit mit automatisiert erstellten Annotationen daher auch immer angegeben werden, welche Modelle mit welchen Einstellungsparametern (z.B. Schwellenwerte) verwendet wurden. Nur so kann später nachvollzogen werden, wie die Annotationen automatisiert erstellt wurden. Die Setzung der Parameter und die Auswahl der Modelle werden somit zu einem elementaren Bestandteil des Forschungsprozesses.
Wie sich gezeigt hat werden die automatisiert erstellten Annotationsdaten niemals vollkommen fehlerfrei sein. So können Figuren z.B. nur dann erkannt werden, wenn auch ihr Gesicht im Bild gut sichtbar ist. Trotz dieser enthaltenen Fehler sind mithilfe der Annotationsdaten aber dennoch bestimmte wiederkehrende Muster und auffällige Abweichungen bei der Verwendung stilistischer Elemente in einem Korpus erkennbar. Dies kann bei sehr großen Film-Korpora besonders nützlich sein, die von einzelnen Forschenden nicht komplett gesichtet oder annotiert werden könnten. Hier sind automatisierte erstellte Annotationen bei deren Erschließung und Auswertung hilfreich. Im besten Fall können solche Annotationsdaten sogar zu neuen Fragestellungen und Perspektiven auf die untersuchten Korpora führen.
Nicht zuletzt entwickeln sich die technischen Möglichkeiten von Computer Vision rasant. Neue Modelle können möglicherweise anspruchsvollere Annotationsaufgaben zu audiovisuellen Material ausführen. Dabei bleibt es wichtig zu beachten, dass eine rein quantitative Erfassung von filmischen Merkmalen mit automatisierten Annotationen nicht ausreichend ist. Diese quantitativen Ergebnisse müssen immer interpretiert, hinterfragt und an konkrete Filme und deren Zeit- und Entstehungskontexte zurückgebunden werden.