3.6. Resümee

In diesem Kapitel werden die Funktionsweisen von Computer Vision dargestellt und deren Einsatzmöglichkeiten für die filmanalytische Praxis thematisiert. Dabei werden folgenden Teilbereichen behandelt:

Keypoints

Grundlagen Computer Vision

Computer Vision oder auch ‘maschinelles Sehen’ ist ein Teilgebiet der Künstlichen Intelligenz (KI). Im Rahmen von Computer Vision werden visuelle Quellen wie Bilder oder Videos durch Computer bzw. Maschinen verarbeitet und analysiert. Sie kommt etwa im Bereich der Texterkennung, des autonomen Fahrens oder der Biometrie zum Einsatz. Bei Videodateien werden die einzelnen Bilder, also ‘Frames’ aus denen sich diese zusammensetzen analysiert. Die darin enthaltenen Informationen wie Helligkeit, Farbe oder auch Formen lassen sich mit numerischen Werten in verschiedenen Formaten beschreiben und mithilfe von Computer Vision extrahieren. So können Muster erkannt und etwa Wahrscheinlichkeitswerte für die Übereinstimmung mit Vergleichsmustern bestimmt werden. Letztlich wird jedoch immer von Menschen festgelegt, welche Merkmale oder Muster genau durch Computer Vision annotiert und ‘gesehen’ werden. Sie ist also nie ‘neutral’ oder ‘objektiv’, sondern immer auch mit Werten und Weltvorstellungen verbunden.

Zentrale Begriffe

Im Kontext von Computer Vision ist immer wieder von verschiedenen Begriffen und Konzepten die Rede. Mit Algorithmus ist etwa die genaue Beschreibung einzelner aufeinanderfolgender Schritte zur Bearbeitung einer Aufgabe gemeint. Algorithmen sind dabei transparent, da prinzipiell jeder Schritt reproduzierbar ist. Durch ein Modell wird bei der Eingabe von Daten eine bestimmte Ausgabe erzeugt, z.B. die Wahrscheinlichkeit, ob ein Gesicht auf einem Bild einer Referenzabbildung entspricht. Modelle werden durch Trainingsdaten mithilfe von Algorithmen ‘geschult’. Beim Machine Learning werden aus Daten Muster abgeleitet und auf diese Weise Lösungen ‘gelernt’. Für das maschinelle Erlernen von Einstellungsgrößen müsste z.B. ein Datensatz erstellt werden, in dem die einzelnen Einstellungsgrößen wie Close Up oder Totale annotiert sind und der als Grundlage für den Lernprozess dienen kann. Deep Learning ist ein Teilbereich des Machine Learning und beruht auf sogenannten künstlichen neuronalen Netzen. Aus Rohdaten werden hier Merkmale selbständig gelernt, ohne dass vorgegeben wird, welche Merkmale genau erfasst werden sollen. Für Menschen ist meist nicht mehr nachvollziehbar, wie ein Modell mittels Deep Learning genau entstanden ist. Ein Schwellenwert legt z.B. fest, ab welchem Wahrscheinlichkeitswert den ein Modell ausgibt, ein Merkmal als erkannt gilt. Die Festlegung eines Schwellenwertes beeinflusst daher maßgeblich, wie viele und welche Treffer sich bei einem Erkennungsprozess ergeben.

Funktionsweise Computer Vision

Computer Vision folgt bestimmten Abläufen, auch beim Einsatz für die Filmanalyse. Zunächst muss festgelegt werden, was überhaupt erkannt und annotiert werden soll - z.B. Farben, Objekte im Bild etc. - und welche Modelle oder Algorithmen dafür zur Verfügung stehen. Für die Dateneingabe wird dann eine Datengrundlage geschaffen, bei Videodateien werden einzelne Bilder - also Frames - extrahiert, die analysiert werden können. Darauf kann eine Vorverarbeitung der Bilddaten bzw. Frames erfolgen, bei der etwa deren Qualität verbessert wird oder einzelne Bereiche für die automatisierte Erkennung ausgeschnitten werden. Schließlich wird das ausgewählte Modell angewendet, also Wahrscheinlichkeitswerte für die Erkennung bestimmter Merkmale erzeugt, wie etwa Figuren im Bild. Auf diese vom Modell erzeugten Wahrscheinlichkeiten werden nun Schwellenwerte angelegt, die festlegen, ab welchen Wert ein Merkmal als erkannt gilt. Schließlich werden Annotationsdaten in strukturierter Form ausgegeben (Wahrscheinlichkeitswerte, Werte zum Farbverlauf etc.), die zur Auswertung weiter verarbeitet werden können.

Einsatzbereiche für die Filmanalyse, Möglichkeiten und Grenzen

Automatisierte Annotation mit Computer Vision kann die filmanalytische Arbeit und quantitative Vorgehensweisen in der Filmwissenschaft unterstützen. Durch die automatisierte Annotation großer Filmkorpora wird etwa ein Distant Viewing möglich, also die Untersuchung großer Mengen an Video- bzw. Bilddaten hinsichtlich möglicher gemeinsamer Merkmale. Die Sichtung oder gar manuelle Annotation einer solch großen Menge an Filmmaterial kann durch Forscher:innen selbst nicht mehr geleistet werden. Durch entsprechende Modelle für Computer Vision können sonst nur schwer zugängliche Muster und komplexe Zusammenhänge erkannt und somit neue Perspektiven auf das Videomaterial eröffnet werden. Einschränkungen bei den Möglichkeiten der automatisierten Annotation ergeben sich durch die Art der Modelle, die zur Verfügung stehen. So sind Einstellungserkennung, Figuren- oder Objekterkennungen bereits sehr gut möglich, während z.B. die Erkennung von Einstellungsgrößen oder Figurenemotionen noch sehr fehleranfällig sind. Insgesamt muss beachtet werden, dass die Algorithmen oder Modelle für Computer Vision in der Regel nicht für die Filmanalyse bzw. die automatisierte Annotation von Filmen erstellt wurden, es können sich also häufig Erkennungsfehler ergeben. Computer Vision Modelle sind zudem nie ‘neutral’ oder ‘objektiv’: Was wie durch Computer Vision ‘gesehen’ wird unterliegt sozialen, kulturellen und politischen Einflussfaktoren. Werte, Normen und Bias sind in die Modelle immer eingeschrieben.

Auch wenn sich beim Einsatz von Computer Vision für die Filmanalyse Fehler in der Erkennungen ergeben zeigt sich dennoch, dass durch die automatisierte Annotation von Filmen neue filmanalytische Möglichkeiten und Perspektiven entstehen können.