VideoSearch4Archives

Entwicklung eines Softwaresystems zur Szenen- und Personenerkennung für die automatische Erschließung von wissenschaftlich genutzten Videoarchiven

Fakten

Leitung

Prof. Dr. Ralph Ewerth

Projektbearbeitung

Kader Pustu-Iren

Förderung durch

Deutsche Forschungsgemeinschaft (DFG)

Laufzeit

1. Januar 2018 – 31. Dezember 2020

In Rahmen des Projektes sollen neue Verfahren zur automatischen Erfassung von visuellen Konzepten sowie Personen in großen Videobeständen entwickelt werden. Hierbei stellt die Stiftung Deutsches Rundfunkarchiv (DRA) die Aufzeichnungen von DDR-Fernsehübertragungen mit vielen Tausend Stunden Videomaterial zur Verfügung. Ein spezieller Fokus liegt dabei bei der Identifizierung von bedeutenden Persönlichkeiten der DDR Geschichte. 

Kooperationen

  • Stiftung Deutsches Rundfunkarchiv, Standort Potsdam-Babelsberg, Angelika Hörth
  • Philipps-Universität Marburg, Lehrstuhl Verteilte Systeme, Prof. Bernd Freisleben

Beschreibung

Das Deutsche Rundfunkarchiv (DRA) ist eine gemeinnützige Stiftung bürgerlichen Rechts mit Standorten in Frankfurt am Main und Potsdam-Babelsberg. Sammlungsschwerpunkte des Archivs am Standort Frankfurt am Main sind Aufnahmen aus Zeitgeschichte und Musik seit Beginn der Tonaufzeichnung und historische Tonträger. 1994 erfolgte die Erweiterung um die Rundfunkarchive des Hörfunks und Fernsehens der DDR zunächst als Standort in Berlin, heute in Potsdam-Babelsberg. In gemeinsamen Vorarbeiten sind ausgewählte Spezialbestände der DDR-Fernsehüberlieferung digitalisiert und mithilfe von innovativen Verfahren der inhaltsbasierten Videoanalyse durchsuchbar gemacht worden. Hierbei handelt es sich um ca. 3.000 Stunden Videomaterial, das die DDR-Fernsehnachrichtensendung "Aktuelle Kamera", Magazinsendungen und Teile der DDR-Fernsehfilmüberlieferung beinhaltet. Durch die Verwendung und Weiterentwicklung von automatischen Verfahren zur inhaltlichen Analyse von Videos haben Wissenschaftlerinnen und Wissenschaftler ganz neue Möglichkeiten erhalten, Recherchen nach bestimmten Szenen, Personen, sowie nach ähnlichen Motiven durchzuführen. Die Nachhaltigkeit der erzielten sehr guten Ergebnisse dieser Szenenerkennung (Erkennung visueller Motive bzw. Konzepte) gilt es für die Zukunft sicherzustellen. Im beantragten Vorhaben wird ein von Archivmitarbeitern nutzbares Softwaresystem entwickelt, das künftig dem DRA und auch anderen Archiven die einfache Integration von automatischen Videoanalyseverfahren für eine Bildinhalt-basierte Suche erlaubt. Die Software wird auf Verfahren des Deep Learning basieren, wodurch zugleich die Personen- und Konzepterkennung verbessert und auf weitere forschungsintensive Teile des Fernsehbestandes ausgeweitet werden kann. Im Einzelnen werden die folgenden Ziele verfolgt:

  1. Entwicklung eines nachhaltigen Softwaresystems zur bedienerfreundlichen Erweiterung der Lexika (Konzepte bzw. Personen),
  2. Integration der Software in die Digitalisierungsabläufe des DRA, um die automatischen Verfahren künftig auf dem Gesamtbestand des Fernseharchivs anwendbar zu machen,
  3. Verbesserung der Erkennungsraten für Konzepte bzw. Personen durch Anwendung von Deep-Learning-Methoden,
  4. Erweiterung des Konzeptlexikons um circa 100 weitere Konzepte,
  5. Erweiterung des Personenlexikons auf circa 100 Persönlichkeiten der DDR-Geschichte,
  6. Verbesserung der Erkennungsraten für Konzepte bzw. Personen durch Benutzerfeedback und Ähnlichkeitssuche,
  7. Entwicklung von geeigneten Visualisierungen für die effektive Suche.

Auf diese Weise ist es Wissenschaftlerinnen und Wissenschaftlern nicht nur möglich, Rechercheanfragen auf Basis der umfangreichen Lexika für Konzepte und Personen durchzuführen, sondern sie können diese für eigene Forschungszwecke beliebig und mit geringem Aufwand erweitern. Die entwickelten Softwarewerkzeuge werden anderen wissenschaftlichen Einrichtungen in Form von Open Source zur Verfügung gestellt.

zurück zur Liste