Ein Beitrag der Forschungsgruppe „Visual Analytics” der Technischen Informationsbibliothek wurde auf der diesjährigen ACM International Conference on Multimedia Retrieval, die vom 6. bis 9. Juni in Bukarest (Rumänien) stattfand, mit dem „Best Multimodal Paper Award“ ausgezeichnet. Insgesamt wurden 95 Beiträge in der Rubrik “Full Paper“ zur Begutachtung eingereicht, von denen 20 zur Präsentation eines Langvortrags auf der Konferenz eingeladen wurden.
Christian Henning und Ralph Ewerth zeigen in dem Beitrag „Estimating the information gap between textual and visual representations“, dass (absichtlich) gemeinsam platzierte Bild- und Textinformationen oftmals keinen hohen inhaltlichen Bezug besitzen, zum Beispiel in Online-Nachrichten. Bislang sind verwandte Arbeiten im Bereich Multimedia Retrieval allerdings in der Regel von dieser Annahme ausgegangen. In dem Beitrag werden zwei Maße eingeführt, die der formalen Beschreibung von inhaltlichen Bild-Text-Bezügen dienen: Cross-modal Mutual Information (CMI) beschreibt den Anteil der sowohl im Bild als auch im Text enthaltenen gemeinsamen Informationen, während Semantic Correlation (SC) den Grad der gemeinsamen Bedeutung beziehungsweise Interpretation beschreibt. Schließlich wird in dem Beitrag ein neuartiges auf Deep Learning basierendes System vorgeschlagen und experimentell evaluiert, das automatisch Bild-Text-Zusammenhänge hinsichtlich CMI und SC schätzen kann. Es gibt verschiedene Anwendungen für das System: Zum Beispiel können hiermit Suchergebnisse für Online-Nachrichten so optimiert werden, dass der Nutzerin oder dem Nutzer Meldungen mit ereignisspezifischen Bildinhalten zuerst präsentiert werden.
Referenz: Christian Andreas Henning and Ralph Ewerth: “Estimating the Information Gap between Textual and Visual Representations“. In: Proceedings of ACM International Conference on Multimedia Retrieval, Bucharest, Romania, pp. 14-22, 2017. DOI: 10.1145/3078971.3078991
