# Möglichkeiten und Grenzen
In den vorgen Abschnitten wurden die grundlegenden Funktionsweisen von Computer Vision kurz vorgestellt und wie diese für filmanalytische Zwecke eingesetzt werden können. Eine manuelle Annotation von Filmen ist sehr zeit- und arbeitsaufwändig. In der Regel ist eine mehrmalige Sichtung der Filme notwendig, die Annotationen können durch digitale Tools zwar unterstützt, müssen aber immer noch von einzelnen Annotator:innen umgesetzt werden.

Eine automatisierter Annotation mithilfe von Computer Vision Methoden kann diesen Prozess erheblich erleichtern. Wie in den vorgen Abschnitten bereits ausgeführt wurde ist zudem durch Computer Vision die Annotation großer Korpora möglich. Eine tiefgehende Erschließung von solchen großen Film-Korpora wäre durch Menschen bzw. rein manueller Annotation meist nicht machbar. So können aufgrund der automatisiert erhobenen Annotationsdaten wiederkehrende Elemente und Muster in einer großen Anzahl an Filmen untersucht werden, die sonst verborgen blieben, also ein [Distant Viewing](../vision/einsatz.md) durchgeführt werden. Zudem ermöglicht diese große Menge an Annotationsdaten auch ein [Scaleable Viewing](../filmanalyse/quantitativ.md/#scaleable-viewing), also eine immer wieder neue Anordnung des Untersuchungsmaterials und ein 'Hineinzoomen' in das Untersuchungskorpus, um einzelne Filme mit wiederkehrenden Mustern genauer in den Blick zu nehmen. Somit können sich durch automatisierte Annotation mit Computer Vision neue Perspektiven auf die untersuchten Filme eröffnen.

Dabei muss beachtet werden, dass die Algorithmen oder Modelle für Computer Vision in der Regel nicht für die Filmanalyse bzw. die automatisierte Annotation von Filmen erstellt wurden. Daher können sich Probleme bei den Erkennungsprozessen ergeben. Älteres, filmhistorisches Material kann durch schlechtere Bildqualität oder abweichende Farbgestaltung (z.B. in Schwarz-Weiß statt in Farbe) zu Schwierigkeiten bei der Annotation führen. Ebenso kann es z.B. zu Fehlern bei der Objekterkennung kommen, indem elektronische Geräte wie Handys oder Tablets in Filmen erkannt werden, zu deren Entstehungszeit diese Geräte noch nicht existierten. Wie in den vorigen Kapiteln ausgeführt wurde, geschieht das 'Sehen' bei Computer Vision ja auf der Grundlage von in Zahlenwerte umgesetzten Bildern und es werden Wahrscheinlichkeiten für die Erkennung eines Objekts ausgegeben. Dadurch sind auch falsche Erkennung möglich und was erkannt wird hängt grundlegend damit zusammen, mit welchem Material das Modell 'trainiert' wurde (vgl. [Kapitel Zentrale Begriffe und Konzepte](../vision/begriffe.md)).

Diese Probleme und möglichen Erkennungsfehler deuten bereits darauf hin, dass Computer Vision Modelle oder Algorithmen nie 'neutral' oder 'objektiv' sind. Was wie durch Computer Vision 'gesehen' wird unterliegt sozialen, kulturellen und politischen Einflussfaktoren. So entstehen Bias durch die spezifische Zusammensetzung des Trainingsmaterials und die Entscheidung, einen bestimmten Datensatz zum Training zu verwenden, wie Christoph Musik und Matthias Zeppelzauer darlegen:

>Bias in gender and race was also discovered in a more recent evaluation of three commercial gender classification systems. Using another image dataset, it was shown that darker-skinned females belong to the most commonly misclassified group with error rates of up to 34,7%. Similarly, in the early years of speech recognition a constant bias of speech recognition systems towards male speech was observed. This bias originated from the fact that it was mainly men who developed those systems at this time and they used their own voices to record their training data (speech sequences) due to a lack of large training corpuses. This inherent tendency to bias bears the risk for a “new type of digital divide” that requires close attention in research. {cite}`be-Musik_Zeppelzauer_2018`

In den Modellen zu Computer Vision sind also immer auch Weltsichten, Wertvorstellungen und Bias eingeschrieben. Das Trainingsmaterial zu den Modellen wurde oft manuell annotiert, wodurch in diese Annotationen auch die Sichtweisen der Annotierenden einfließen. Wichtig ist, sich dieses Sachverhalts bei der Anwendung von Computer Vision immer bewusst zu sein und bei der Auswahl von Modellen möglichst sorgfältig vorzugehen. Dabei sollten mögliche Bias durch die Modelle und deren Entstehungskontexte mit beachtet werden.

Taylor Arnold und Lauren Tilton weisen darauf hin, dass die Anwendungsfelder und damit auch die Entwicklung von Computer Vision stark von industriellen und staatlichen Interessen beeinflusst sind, aber dennoch oder vielleicht auch gerade deswegen Modelle in alternativen Bereichen eingesetzt werden sollten:

>The annotations for computer vision are largely driven by industry and government applications. Whether they are trying to identify trucks and light posts for self-driving cars or people for surveillance technology, computer vision methods are often driven by entanglements with capitalism, state power, and militarism. However, computational image analysis should not just be the domain of multinational corporations and government. We can use distant viewing to ask different questions and to critique and question our visual cultures of computer vision. {cite}`be-Arnold_Tilton_2023`

In der Anwendung von Computer Vision für die Filmannotation und die Filmanalyse oder in anderen Bereichen der Digital Humanities werden deren Mechanismen und Modelle auch immer auf den Prüfstand gestellt, kritisch hinterfragt und deren Rolle im Rahmen gesellschaftlicher und politischer Prozesse reflektiert. 

Beim Einsatz von Methoden der Computer Vision für die automatisierte Annotation von Filmen sollte also auch immer beachtet werden, in welchen Kontexten die hierfür notwendigen Prozesse und Modelle entstanden sind: Wer hat diese für welche Zwecke mit welchen Trainingsdaten als Grundlage auf welche Weise entwickelt? Die generierten Annotationsdaten können für die Bearbeitung filmwissenschaftlicher Fragen sehr nützlich sein, insbesondere für die Erforschung großer Filmkorpora, die mit manuellen Annotationen nur schwer erfasst werden könnten. Die aus der automatisierten Annotation entstehenden Daten müssen aber immer kritisch beurteilt und auf ihre Korrektheit überprüft werden. Wurden z.B. Einstellungsübergänge oder Figuren korrekt erkannt? Zudem muss transparent dargelegt werden, welche [Alogorithmen](../vision/begriffe.md/#algorithmus), [Modelle](../vision/begriffe.md/#modell) und [Schwellenwerte](../vision/begriffe.md/#schwellenwert) bei der automatisierten Annotation mit Computer Vision verwendet wurden. Die erzeugten Annotationsdaten werden dabei nie vollkommen fehlerfrei sein, also z.B. nicht alle Einstellungsübergänge oder Auftreten von bestimmtem Figuren in einem Film korrekt erfassen; dennoch sind sie in der Regel exakt genug, um mit ihnen im Rahmen der Beantwortung von filmwissenschaftlichen Fragestellungen zu arbeiten.





## Literatur
```{bibliography}
:filter: docname in docnames
:keyprefix: be-
```