2.2. Annotation als Ausgangspunkt für filmanalytischer Arbeit#
2.2.1. Definition Annotation#
Wie im letzten Abschnitt dargelegt wurde sind Annotationen zu Filmen ein grundlegender Ausgangspunkt für eine Filmanalyse. Doch was ist mit Annotation eigentlich gemeint? Durch Annotationen werden Objekte mit zusätzlichen Informationen versehen. Nach Jan Horstmann und Melanie Seltmann bezeichnet Annotation “eine (semantische) Anreicherung von Untersuchungsgegenständen” (Horstmann and Seltmann, 2023). Auch Adelheid Heftberger, die sich intensiv mit verschiedenen Formen von Annotationen zu den Filmen Dziga Vertovs beschäftigt hat, fasst den Begriff Annotation recht weit: “Unter Annotation verstehe ich ganz allgemein eine Anmerkung als Erklärung oder Ergänzung zu einem bereits vorhandenen Text, der in beliebiger medialer Form vorliegen kann” (Heftberger, 2016).
Bei unserem Beispiel steht die mediale Form des Films im Fokus. Annotationen spielen aber auch in anderen Bereichen eine wichtige Rolle, wie z.B. in der Kunstgeschichte bei Studien zur Komposition oder zur Ikonographie von Kunstwerken (Arnold and Tilton, 2022). In der Film- und Medienwissenschaft sind Annotationen zu Merkmalen wie Mise-en-scene, Einstellungslängen oder Montagearten gängige Formen. Taylor Arnold und Lauren Tilton weisen darauf him, dass solche Annotationen und die Verwendung von Annotationstools zum einen das Close Reading einzelner Werke erleichtern; zum anderen werden durch Annotationen zusätzliche Metadaten zu den annotierten Gegenständen wie Filme erzeugt, die wiederum die Zugänglichkeit und Auffindbarkeit von audiovisuellen Materialien verbessern, indem sie das Information Retrival - also die computergestützte Suche von Informationen z.B. in Datenbanken - unterstützen (Arnold and Tilton, 2022).
Dennoch gestaltet sich der Austausch und die Wiederverwendung von Annotationen zu Filmen und der daraus resultierenden Metadaten oft schwierig. Bisher existieren keine Annotationstandards für audiovisuelle Medien - im Gegensatz zu Texten (durch die Text Encoding Initiative (TEI)) oder Musik (durch die Music Encoding Initiative (MEI)) (Burghardt et al., 2020). Die Schwierigkeit einheitliche Standards zu definieren liegt auch darin begründet, das beim multimodalen Medium Film sehr viele unterschiedliche Annotationsebenen berücksichtigt werden müssen (z.B. Text, Bild, Ton) und der Fokus der Annotation wie bereits im letzten Abschnitt angesprochen je nach Forschungsfrage und Perspektive für die Analyse sehr unterschiedlich ausfallen kann.
Was genau annotiert werden soll muss für jedes Filmanalyse-Projekt also immer wieder neu festgelegt werden. Die generierten Annotationen bilden dann die Datengrundlage für die Analyse. Sie stellen strukturierte Forschungsdaten dar, mithilfe derer nach bestimmten Mustern und wiederkehrenden Elementen gesucht werden kann. Hierfür bietet sich wiederum der Einsatz digitaler Tools an, insbesondere wenn ein großes Korpus an Filmen annotiert wurde und analysiert werden soll.
Gängige Parameter für filmanalytische Annotationen sind Elemente wie Einstellungsgröße, Montage, Kameraperspektive, Kamerabewegung, Ton, Farbe oder Licht. Kurzdefinitionen dieser Parameter und weiterführende Literatur zum Thema finden sich in der Fallstudie I zum Bewegten Bild. Für die Annotation eines Films muss dieser zudem in einzelne Segmente bzw. zeitliche Einheiten unterteilt werden. Hier werden in der Regel vier Grundeinheiten unterschieden: Frame, Einstellung, Szene und Sequenz. Auch diese Einheiten werden in der Fallstudie I zum Bewegten Bild detaillierter erläutert. Thomas Scherer weist zurecht darauf hin, dass die filmische Einstellung nicht ausschließlich als kleinste zeitliche Einheit gesehen werden muss, sondern dass in der Filmtheorie auch andere Einteilungen möglich sind. Als Beispiel verweist er auf “die Schauspielanalyse in der Traditionslinie Béla Balàzs’” (Scherer, 2025).
Der Prozess des Annotierens kann in verschiedenen Formen stattfinden: manuell, semi-automatisch oder automatisiert (Horstmann and Seltmann, 2023). Beim manuellen Annotieren werden alle Annotations-Parameter von der annotierenden Person bei der - meist mehrmaligen und sehr detaillierten - Sichtung des Films selbst erfasst. Der Vorteil manueller Annotationen ist, dass auch sehr komplexe Bedeutungen und Strukturen notiert werden können, die sich einer automatisierten Annotation entziehen. Der Nachteil eines manuellen Vorgehens zeigt sich im meist sehr hohen Zeitaufwand, insbesondere wenn sehr viele unterschiedliche Parameter festgehalten werden sollen. Die manuelle Annotation kann zwar durch digitale Tools vereinfacht und unterstützt werden, dennoch bleibt der Annotationsprozess sehr zeitintensiv - wie sich z.B. bei der Annotation mit der AdA-Filmontologie und den Annotationstool Advene in der Fallstudie I zum Bewegten Bild zeigt.
Beim semi-automatischen Annotieren wird die manuelle Annotation durch einzelne Automatisierungen unterstützt. Es handelt sich also um eine Kombination von manuellen und automatisierten Elementen. So können in einem Annotationstool z.B. automatisiert Screenshots erstellt werden, die einzelne manuell hinzugefügte Annotationsparameter besser erkennbar machen. Auch können Einstellungslängen bzw. Einstellungswechsel automatisiert erkannt werden und damit als zeitliche Segmente für die weitere Annotation dienen. Dies automatisierte Einstellungserkennung muss jedoch überprüft und ggf. korrigiert werden - was u.a. für unseren Workflow zur automatisierten Annotation noch eine Rolle spielen wird.
Die Möglichkeiten der automatisierten Annotation sollen im folgenden Abschnitt kurz umrissen werden.
2.2.2. Automatisierte Annotation#
Komplexere automatisierte Film-Annotationen wurden in den letzten Jahren durch die sich sehr schnell weiterentwickelnde Deep-Learning Modelle und Computer-Vision-Technologien möglich. Auf diese Begriffe und Themenbereiche werden wir in einem eigenen Kapitel der OER noch genauer eingehen. An dieser Stelle ist es wichtig zu betonen, dass es sich bei automatisierten Annotationen nicht um ‘Interpretationen’ oder Herausarbeitung von ‘Bedeutungen’ in einem Film handelt, sondern lediglich um Wahrscheinlichkeitsaussagen, ob bestimmte filmische Eigenschaften oder Merkmale zu einem bestimmten Zeitpunkt eines Films vorliegen.
In dieser Fallstudie zu Konrad Wolfs Filmen werden wir uns v.a. auf automatisierte Erkennung von Einstellungen und Figuren fokussieren. Für beide Bereiche liegen bereits Modelle und Algorithmen aus anderen Kontexten vor, die für die filmanalytische Arbeit adaptiert werden können. Der automatisierten Annotation sind gerade durch die Art der verfügbaren Modelle zur automatisierten Erkennung Grenzen gesetzt - auch wenn sich die Technik in diesem Bereich rasant entwickelt. Wir werden darauf in einem eigenen Kapitel näher eingehen. Neben Einstellungswechsel und Figuren können z.B. auch bestimmte Objekte im Bild bereits recht gut erkannt werden, ebenso wie Farbwerte. Auch funktioniert die Transkription von gesprochenen Dialogen in geschriebenen Text recht passabel. Dietmar Kammerer weist darauf hin, dass Einstellungsgrößen bisher nicht zuverlässig automatisiert durch Algorithmen erkannt werden können (Kammerer, 2017). Auch Figuren- und Kamerabewegungen sind in der Regel nicht gut automatisiert annotierbar.
Wichtig ist es im Blick zu behalten, dass Annotationen - ob manuell oder automatisiert erstellt - keine Endergebnisse sind, sondern Ausgangspunkte für die wissenschaftliche Analyse. Bei der automatisierten Annotation ergeben sich strukturierte Datensätze mit bestimmten Werten, die erst noch interpretiert werden müssen. Durch ihre strukturierte Form lassen sich automatisiert erstellte Datensätze sehr gut computergestützt weiterverarbeiten und mit digitalen Tools quantitativ auswerten.
Im folgenden Kapitel wird es nun um quantitative Ansätze in der Filmwissenschaft gehen, für die automatisiert erstellte Annotationsdaten besonders nützlich sein könnten.
2.2.3. Literatur#
Arnold, T., & Tilton, L. (2022). Analyzing Audio/Visual Data in the Digital Humanities. In J. O’Sullivan (Ed.), The Bloomsbury handbook to the digital humanities, 179–188. London: Bloomsbury Academic. / Bloomsbury Collections-Plattform: weder Titelblatt noch Impressum vorhanden. doi:10.5040/9781350232143.ch-17
Burghardt, M., Heftberger, A., Pause, J., Walkowski, N.-O., & Zeppelzauer, M. (2020). Film and Video Analysis in the Digital Humanities – An Interdisciplinary Dialog. Digital Humanities Quarterly, 14(4). doi:https://doi.org/10.63744/nqfasq3agfhs
Heftberger, A. (2016). Kollision der Kader: Dziga Vertovs Filme, die Visualisierung ihrer Strukturen und die Digital Humanities. München: edition text + kritik.
Horstmann, J., & Seltmann, M. (2023). Annotation. Working Paper 2 der Zeitschrift für digitale Geisteswissenschaften. doi:10.17175/WP_2023_002_V2
Kammerer, D. (2017). Qualitative Verfahren der Filmanalyse. In M. Hagener, & V. Pantenburg (Eds.), Handbuch Filmanalyse, 1–13. Wiesbaden: Springer Fachmedien Wiesbaden. doi:10.1007/978-3-658-13352-8_26-1
Scherer, T. J. J. (2025). Geteilte Vision? Algorithmisches Sehen an der Schnittstelle von Filmwissenschaft und Digital Humanities. In B. Groß, & T. Morsch (Eds.), Handbuch Filmtheorie, 1–24. Springer VS, Wiesbaden. doi:10.1007/978-3-658-09514-7_42-1