# Einsatzbereiche für die Filmanalyse
In den letzten Abschnitten wurden allgemeine Grundlagen und Funktionen von Computer Vision beschrieben. In diesem Abschnitt soll nun genauer darauf eingegangen werden, wie die Methoden der Computer Vision im Rahmen der Filmwissenschaft und Filmanalyse eingesetzt werden können.
Eine erste Bestandsaufnahme liefern Kader Pustu-Iren et al. {cite}`bd-Pustu-Iren_Sittel_Mauer_Bulgakowa_Ewerth_2020`. Auch wenn dieser Artikel über mögliche Einsatzbereiche von Computer Vision in der Filmwissenschaft bereits vor einigen Jahren entstanden ist und die Technik der Computer Vision sich sehr schnell weiterentwickelt, gibt der Beitrag doch nach wie vor einen guten Überblick über das Themenfeld.
Pustu-Iren et al. stellen zunächst die Vorteile einer Verbindung von quantitativen mit qualitativen Ansätzen in der Filmwissenschaft vor und weisen darauf hin, dass für quantitative Vorgehensweisen computergestützte Methoden wie Computer Vision sehr nützlich sein können. Sie gehen auf digitale Tools wie Advene, Cinemetrics, ANVIL oder ELAN ein, die für die Annotation von Filmen verwendet werden können, jedoch hauptsächlich für eine manuelle, nicht für eine automatisierte Annotation grundlegender filmischer Merkmale vorgesehen sind.
Durch die aktuellen Entwicklungen im Bereich der Computer Vision und des Deep Learning sehen sie jedoch Potenziale für die automatisierter Erkennung und Annotation filmischer Elemente. Als Beispiele gehen sie auf verschiedene Bereiche näher ein, wie z.B. die Erkennung von Einstellungsübergängen, die Erkennung von Szenen, die Erkennung von Kamerabewegungen, die Objekterkennung und Erkennung visueller Konzepte, die Gesichts- und Personenerkennung, die Erkennung von Räumen, die Geolokalisation von Orten auf Fotos oder die Einschätzung der Entstehungszeit von historischen Fotografien.
Anhand von vorliegenden Studien stellen Pustur-Iren et al. einen Vergleich zwischen der Erkennungsleistung bzw. 'Performance' von Menschen und Maschinen mithilfe von Computer Vision bei verschiedenen Annotationsaufgaben an. Aufgrund der rasanten Entwicklung der technische Möglichkeiten ist dieser Vergleich vermutlich nicht mehr ganz aktuell, es zeigte sich jedoch, dass Menschen und Maschinen bei der Erkennung von Gesichtern ein ähnlich gutes Ergebnis erzielten, bei der Geolokalisation ergaben sich bei der maschinellen Erkennung sogar deutlich bessere Ergebnisse als bei Menschen.
Angesichts dieser guten Erkennungsleistungen plädieren Pustu-Iren et al. dafür, Computer Vision Ansätze für die Filmwissenschaft einzusetzen, auch wenn diese noch fehleranfällig sein können: "Although these methods are still prone to errors (to a lesser or greater extent), they can highly raise the exploration of media sources and help in finding patterns." {cite}`bd-Pustu-Iren_Sittel_Mauer_Bulgakowa_Ewerth_2020` Automatisierte Annotation mit Computer Vision kann die filmanalytische Arbeit und quantitative Vorgehensweisen in der Filmwissenschaft unterstützen. Bisher existieren jedoch nur wenige digitale Tools zur Filmanalyse, die automatisierte Annotationsvorgänge integrieren. Lediglich die Erkennung von Einstellungen ist bereits Teil einiger Tools. Zudem wäre nach Pustu-Iren et al. ein webbasiertes, leicht zu bedienendes "all-in-one software tool" wünschenswert. Auf ein solches Tool - TIB-AV-Analytics - werden wir weiter unten noch eingehen.
In ihrem Artikel erwähnen Pustu-Iren et al. auch das "Distant Viewing Toolkit", das auf der Programmiersprache Python basiert und mit dem einige automatisierte Annotationen mithilfe von Computer Vision durchgeführt werden können. Entwickelt wurde das Distant Viewing Toolkit von Taylor Arnold und Lauren Tilton. Der Ansatz des "Distant Viewing" wurde von ihnen maßgeblich mitentwickelt und stellt eine neue Herangehensweise in der Filmwissenschaft dar {cite}`bd-Arnold_Tilton_2023`. Beim 'Distant Viewing' werden große Sammlungen oder Datenbanken von digitalen Abbildung hinsichtlich gemeinsamer Merkmale oder wiederkehrender Muster untersucht:
>Some questions regarding visual messages require identifying subtle patterns across a large collection of images. For example, we might want to understand how improving television quality during the twentieth century changed the way shot angles were used to tell a story. Or, how lighting decisions in Hollywood films from the 1970s were used to challenge or establish gendered or racial stereotypes. {cite}`bd-Arnold_Tilton_2023`
Die Sichtung oder manuelle Annotation einer solch großen Menge an Filmmaterial bzw. an visuellen Daten kann durch Forscher:innen selbst nicht mehr geleistet werden. Modelle oder Algorithmen zu Computer Vision haben jedoch die Möglichkeit, große Kollektionen visueller Daten zu bearbeiten, also auch die einzelnen Frames eines umfangreichen Korpus an Filmen. Computer können sonst nur schwer zugängliche Muster und Zusammenhänge erfassen und dadurch neue Perspektiven auf die visuellen Daten eröffnen. Auf die Bedeutung von 'Viewing' in diesem Kontext wurde bereits im [vorigen Abschnitt](../vision/grundlagen.md) eingegangen, der Begriff 'Distant' hat für Arnold und Tilton eine zweifache Bedeutung:
>Our use of the terms distant and viewing each signals a component of generating annotations from images. The first is the distance from the eye, for computational methods "see" by calculating images as numbers. The second is distance as scale. Through computer vision, interpretation of images can exceed a person’s physical ability to view and remember. {cite}`bd-Arnold_Tilton_2023`
Für das 'Distant Viewing' untersuchen sie mit dem Distant Viewing Toolkit dabei nicht nur Frames von Filmen eines Korpus, sondern auch andere Archive oder Sammlungen mit Bildmaterialien - wie digitalisierte Fotos oder Filmposter. Ihr Beispiel zum Distant Viewing von Videomaterial bezieht sich auf zwei US-amerikanische Fernsehserien aus den 1960er und 1970er Jahren: *Bewitched* (1964–1972) und *I Dream of Jeannie* (1965–1970). Beides sind Situation Comedies (kurz: Sitcoms) bei denen Hauptrollen von Frauen gespielt werden und die zu ihrer Entstehungszeit als innovativ galten. Es handelt sich um ein großes Filmkorpus mit insgesamt 393 Episoden und 150 Stunden an Material, aus dem sich 13 Millionen einzelner Frames ergeben, die ins Distant Viewing einflossen {cite}`bd-Arnold_Tilton_2023`.
Für Arnold und Tilton stehen dabei verschiedene Fragen im Mittelpunkt der Untersuchung, insbesondere Fragen zu verschiedenen visuellen Formen und deren Funktionen: Wie wird die Bildschirmzeit der Hauptfiguren verwendet, um diese einzuführen? Wie werden durch Einstellungslängen bestimmte narrative Bögen in den Serien etabliert? Wie werden durch visuelle Formen bestimmte Beziehungen und Nähe zwischen den Figuren hergestellt? Mit dem digitalisierten Material der Episoden der Serien findet ein Prozess des 'Distant Viewing' statt, indem Computer Vision Algorithmen zunächst zur Einstellungserkennung, dann zur Erkennung von Personen und Gesichtern auf das Material angewendet werden. Darauf aufbauend werden auf der Grundlage der erkannten Größe und Anzahl der erkannten Personen in einem Bild die Einstellungen einzelnen Einstellungsgrößen bzw. Einstellungs'typen' zugeordnet.
Der visuelle Stil der beiden Sitcoms wird also mit Methoden des Distant Viewing genauer untersucht. Die Ergebnisse können hier nicht im Detail dargelegt werden. Arnold und Tilton können aber mittels Distant Viewing deutliche Unterschiede im visuellen Stil der beiden Serien feststellen. So finden sie etwa heraus, dass in *Bewitched* die weibliche Hauptfigur Samantha ungefähr gleich lang im Bild ist wie die männliche Darrin. Dagegen ist in *I Dream of Jeannie* die männliche Hauptfigur Tony und viele weitere männliche Protagonisten deutlich länger im Bild als die weibliche Hauptfigur Jeannie. Dass Tony in der narrativem Struktur zentral ist wird hier also auch durch die visuelle Gestaltung unterstützt.
In dieser Form des Distant Viewing zeigen sich aber auch bereits Problemfelder und Grenzen des Vorgehens und der automatisierten Annotation. Es werden lediglich vier Einstellungs'typen' festgelegt, die sich anhand der Anwendung von Computer Vision Algorithmen bestimmen lassen: close shot, two shot, group shot, over-the-shoulder. Dies sind deutlich weniger als normalerweise bei der Analyse von Filmen und der manuellen Annotation als 'Einstellungsgrößen' unterschieden werden. Auch kann es problematisch sein, einfache Beziehungen zwischen Einstellungslängen oder visuellen Formen und narrativen Mustern herzustellen. Diese unterliegen meist sehr komplexen Gefügen.
Die Möglichkeiten und Grenzen loten auch Thomas Schmidt et al. aus, indem sie fünf kanonische Filme mit Methoden der Computer Vision untersuchen. Dafür wenden sie verschiedene Modelle für unterschiedliche Erkennungsaufgaben an: "As computer vision methods we explore image-based object detection, emotion recognition, gender and age detection with state-of-the-art models." {cite}`bd-Schmidt_El-Keilany_Eger_Kurek_2021` Das Analysekorpus besteht dabei aus Filmen verschiedener Genres, die in verschiedenen Jahrzehnten entstanden sind: *Metropolis* (1927, Science-Fiction/Drama), *Wizard of Oz* (1939, Fantasy/Musical), *Some Like it Hot* (1959, Comedy), *Breakfast at Tiffany's* (1961, Romantic Comedy) und *Marvel's The Avengers* (2012, Action/Fantasy).
Mit Computer Vision wurde jeweils ein Frame pro Sekunde aus den einzelnen Filmen untersucht. Durch das Modell zur Objekterkennung können 80 Objektklassen erfasst werden, für die Emotionserkennung wurden zunächst die Gesichter im Bild erfasst, dann deren Emotionen anhand von sieben Klassen: "anger, disgust, fear, happiness, sadness, surprise and neutral“ {cite}`bd-Schmidt_El-Keilany_Eger_Kurek_2021`. Für die Gender- und Alterserkennung verwendeten sie ein Modell, das mit einem IMDB-Wiki Dataset mit 500 000 Gesichtern trainiert wurde.
Bei der Objekterkennung wurden bei allen Filmen Personen im Bild am besten erfasst. Es ergaben sich aber auch sehr viele falsche Erkennungen, z.B. Schusswaffen als Handtaschen oder die Figur des 'ängstlichen Löwen' in Wizard of Oz als Hund. Potenzial für Methoden der Computer Vision sehen Schmidt et al. aber in der Ermittlung von motivartigen Auftreten von Objekten, wie z.B. das Motiv der Uhr, das in Metropolis mehrfach erkannt wurde. Sie kommen zum Schluss, dass vortrainierte Modelle zur Objekterkennung durch für Forschungsfrage wichtige Objekte ergänzt werden müssten.
Bei der Emotionserkennung ergebe sich als Wert meist 'neutral' oder 'sad', bei Komödien tritt in der Tat sehr oft 'happy' als Emotion im Gesicht von Figuren auf. Dennoch seien die Ergebnisse insgesamt eher inkonsistent. Auch bei der Alters- und Gendererkennung lassen sich Ungenauigkeiten feststellen: Das erkannte Durchschnittsalter bei allen Filmen liegt ungefähr bei 40 Jahren, während jedoch die meisten Hauptdarsteller:innen in etwa 30 Jahre alt sind. Zudem werden in dem Filmen korrekterweise mehr Männer als Frauen erkannt, da es sich bei *Wizard of Oz* meist um Fantasiefiguren handelt können diese oft nicht eindeutig zugeordnet werden und werden somit als 'androgyn' klassifiziert.
Trotz gelegentlicher Fehler und Ungenauigkeiten sehnen Schmidt et al. jedoch ebenfalls großes Potenzial für Methoden der Computer Vision in der Filmwissenschaft und den Gender Studies: "We plan to explore the relationship of gender representations with expressed emotions throughout the time to explore how the representation of gender roles developed." {cite}`bd-Schmidt_El-Keilany_Eger_Kurek_2021` Da die automatisierte Erfassung von Emotionen und insbesondere die Erkennung und Zuordnung von Gender bei Figuren im Film immer noch ein schwieriges und umstrittenes Unterfangen ist, erscheint das geplante Projekt sehr ambitioniert. Dennoch zeigt sich auch hier, dass es sich lohnt, Ansätze der Computer Vision für die Filmanalyse einzusetzen und mit ihnen zu experimentieren.
Für die einfache Anwendung von Modellen und Algorithmen zu analytischen Zwecke in der Film-, Medien oder Kommunikationswissenschaft bieten sich webbasierte Plattformen an. Matthias Springstein et al. stellen TIB-AV-Analytics (TIB-AV-A) vor, das hierfür entwickelt wurde. Das Projekt beinhaltet nicht nur Modelle zur Computer Vision, sondern auch solche zur Audio- und Texterkennung: "To date, TIB-AV-A provides to most complete set of automatic video analysis methods and, unlike existing platforms, integrates state-of-the-art algorithms from computer vision, natural language processing, and audio analysis for automatic extraction of multimodal information from videos." {cite}`bd-Springstein_Stamatakis_Plank_Sittel_Mauer_Bulgakowa_Ewerth_Müller-Budack_2023` Die verschiedenen Funktionen von TIB-AV-A werden dabei modular durch Plugins realisiert, Import- und Exportfunktionen für die Annotationsergebnisse sind ebenfalls vorhanden.
Im Audiobereich ist etwa die Darstellung der Audiospur der Videodatei in Wellenform möglich, ebenso die Umwandlung von gesprochener Sprache in schriftlichen Text. Mithilfe der Plattform können auch verschiedenste visuelle Eigenschaften einer Videodatei bestimmt und annotiert werden, wie etwa Informationen zu Farben und Helligkeit (Brightness). Einstellungsübergänge werden ebenso erkannt, aus ihnen ergeben sich auch Informationen zur Einstellungsdichte die ausgegeben werden. Für die Erkennung von Einstellungsrößen wurde ein Modell eigens trainiert. Mit weiteren Modellen können visuelle Konzepte erfasst werden, wie Objekte, Orte, Personen, dargestellte Handlungen und Emotionen in Gesichtern. Auch können Inhalte von Bildern als textuelle Beschreibungen ausgegeben werden. Diese verschiedenen Formen von Mustererkennungen können durch logische Operatoren (*or/and*) verbunden werden, wodurch eine sehr differenzierte Ausgabe von bestimmten visuellen Merkmalen oder Mustern möglich wird.
Alle Funktionen sind über ein Web-Interface zugänglich, über das Videodateien hochgeladen werden können. Die Einstellungserkennung wird nach dem Hochladen der Datei automatisch erstellt, da die Abfolge der Einstellung die Basis für eine Timeline und damit für andere Annotationen bildet. Die weiteren Erkennungen können durch Plugins jeweils einzeln durchgeführt und im Web-Interface ausgegeben werden. Weitere Funktionen für die Plattform sind in Entwicklung, neue Modelle und Algorithmen können durch zusätzliche Plugins eingebunden werden. Zudem werden die Annotationsergebnisse in verschiedenen Formen visualisiert, wobei die Visualisierungsmöglichkeiten ebenfalls weiter entwickelt werden.
Auch hier ergeben sich ähnliche Probleme und Grenzen wie bei den oben vorgestellten Projekten zur Filmanalyse mit Computer Vision: Bestimmte Merkmale wie Einstellungsgrößen oder Emotionen der dargestellten Personen lassen sich mit bisher vorliegenden Modellen oft nur unzureichend bestimmen. Dies wird sich mit besseren und leistungsfähigeren Computer Vision Modellen voraussichtlich noch ändern. Bei der Anwendung einzelner Erkennungs-Plugins kann es außerdem zu relativ langen Bearbeitungszeiten kommen - viele Modelle benötigen große Rechenkapazitäten, die zum Zeitpunkt des Ausführend der Modelle auch vorhanden sein müssen. In der Weboberfläche kann dabei immer nur ein Film bearbeitet werden, prinzipiell ist es aber möglich, die Erkennungsprozesse auch für mehrere Filme gleichzeitig durchzuführen.
In diesem Kapitel wurden verschiedene Anwendungsbereiche für Computer Vision in der Filmwissenschaft und bei der Analyse von Filmen aufgezeigt. Es hat sich gezeigt, dass Methoden der Computer Vision in diesen Bereich sehr hilfreich sein können, es aber auch Beschränkungen gibt. Auf Möglichkeiten und Grenzen bei der automatisierten Annotation von Filmen soll im folgenden Abschnitt nochmals genauer eingegangen werden.
## Literatur
```{bibliography}
:filter: docname in docnames
:keyprefix: bd-
```