Gesichtserkennung und Scanner
Überblick
Information und Dokumentation
Verwandte Ergebnisse
In einem multimedial ausgestatteten Rundgang, bestehend aus zehn Stationen mit acht Themenräumen, werden im Neubau des Fasnachtsmuseum Schloss Langenstein historische, soziale und sinnliche Aspekte der fünften Jahreszeit erfahrbar. Jede Station ist dabei Teil eines vernetzten Gesamtsystems, jedoch können alle digitalen Module als Einzelanwendungen genutzt werden. Durch einen virtuellen Guide werden Besucher*innen individuell, anonym und unabhängig von einem physischen Gerät durch die Ausstellung begleitet, um interaktiv und partizipativ Wissen zu erarbeiten oder spannende Inhalte zu entdecken. Dieser Beitrag beschreibt eine interaktive Anwendung, die Besucher*innen eine virtuelle Fastnachsmaske aufsetzt.
Bibliographische Angaben
- Institution
- Museen der Schwäbisch-alemannischen Fastnacht
- Teilprojekt
- Kulturgut Fastnacht digital
- Autor*innen
- Michael Fuchs
- Veröffentlicht
- 07.07.2022
- Lizenz der Publikation
- CC BY 4.0
- Kontakt
- Michael Fuchs
Fasnachtsmuseum Schloss Langenstein
+49 (0) 7732 988 233
info@fasnachtsmuseum.de
Grundsteinlegung eines neuen Museumsgebäudes
Die in die Jahre gekommene Dauerausstellung des Fasnachtsmuseums Schloss Langenstein im Süden Baden-Württembergs wird seit 2017 neu konzipiert. 2022 war die Grundsteinlegung eines neuen Museumsgebäudes, das den Anforderungen eines modernen, digitalisierten, inklusiven und nachhaltigen Museums entspricht und die digitalen Anwendungen von Beginn an integriert.
Die Neugestaltung soll den Besucher*innen mehr Hintergrundinformationen zur Fastnachtskultur, zur Geschichte, zur alemannischen Sprache sowie dem Kulturerbe Südwestdeutschlands bieten und gleichzeitig Bezüge zur Gegenwart herstellen. Die Neuinszenierung soll aber auch den Zauber der Masken und Kostüme näherbringen und den Besucher*innen die Faszination dieses populären Festes durch die Beantwortung von Fragen nach der Verknüpfung von Geschichte, Orten und Menschen, Hintergründen zu Kostümen und Masken sowie der musikalischen Untermalung der närrischen Zeit vermitteln. Ziel der neuen Ausstellung ist es, bisher unentdeckte Besonderheiten der Fastnachtsbräuche sichtbar zu machen, die Besucher*innen stärker einzubeziehen und eine reduzierte und zugleich beeindruckende Präsenz der Exponate zu erlangen.
Die Maskensammlung des Museums besteht aus mehreren hundert Objekten aus dem südwestdeutschen Raum, wovon ein Großteil in 3D eingescannt wurde. Wie können diese Exponate spannender, interaktiv und partizipativ nähergebracht werden, sodass die Besuchenden eine persönliche Bindung mit dem Objekt aufbauen können? Die Lösung wurde in der Entwicklung einer Augmented Reality Anwendung gesehen, die im Folgenden vorgestellt wird.
KI-basiertes Gesichts- und Maskenscanning
Wissen und Inhalte lassen sich nicht nur im Fastnachtsmuseum einfacher und besser vermitteln, wenn zuvor ein emotionaler bzw. persönlicher Bezug erzeugt wurde. Eine allgemeine Information wir somit zu einer persönlichen. Dies gelingt durch den intuitiven Einsatz einer KI, die Masken und Besucher*innen miteinander verbindet.
Onboarding
Die Besucher*innen treten dazu an eine spezielle Onboarding-Station mit interaktivem Bildschirm, der über Buttons und eine Kamera bedient wird. Die Besucher*innen sind aufgefordert, Grimassen zu schneiden, die von der Kamera aufgenommen werden. Das Videomaterial wird von einer dahinterliegenden KI analysiert und mit dem in 3D eingescannten Fundus an Fastnachtsmasken abgeglichen. Je nach Grimasse wird den Besucher*innen ihre individuelle Maske virtuell auf dem Bildschirm aufgesetzt. Zu dieser Maske werden Informationen eingeblendet, die auf die Herkunft und Bedeutung verweisen um eine emotionale Bindung von Besucher*in und Kontext der Maske zu entwickeln. Auf diese Weise wird immaterielles Kulturerbe fassbar und erlebbar und bekommt einen Anwendungscharakter.
Machine-Learning Modul
Der Maskenscanner besteht aus zwei miteinander verknüpften Anwendungen, die unabhängig voneinander nachgenutzt werden können. Zum einen handelt es sich um das Machine-Learning-Modul, das in der Lage ist, die Gesichter der Nutzer*innen mit den zuvor gespeicherten Bilddaten der Masken zu vergleichen und eine passende Maske auszuwählen. Dieses Modul ist unabhängig von der Maskenscanner-Anwendung nachnutzbar und kann für Bildähnlichkeitsvergleiche verwendet werden. Voraussetzung hierfür ist, dass das Modul mit entsprechenden Trainingsdaten ausgestattet wird.
Unity-Anwendung
Das zweite Modul ist die Unity-Anwendung des Maskenscanners selbst. Diese kommuniziert mit dem Machine-Learning-Modul und stellt die Anbindung der Webcam, das Overlay der Masken und die GUI bereit. Dieses Modul kann kombiniert oder einzeln nachgenutzt werden und ermöglicht es andere Masken oder Objekte auf den Gesichtern der Nutzer*innen zu platzieren.
Der dritte nachnutzbare Teil betrifft die 3D-Masken selbst. Diese lassen sich als 3D-Modelle abrufen und in anderen Kontexten und Anwendungen problemlos wiederverwenden.
Nachnutzung und Weiterentwicklung
Automatische Besuchererkennung und Wiedergabe personalisierter Inhalte über „unsichtbaren Guide“
Über Sensoren werden die Besucher*innen während des Besuchs erkannt und personalisiert begleitet. Wir stellen die entsprechenden Algorithmen und Anleitungen zur Nachnutzung zur Verfügung. Der virtuelle Guide ist hardwareunabhängig. Für die Anwendung der Sensoren werden Raspberry Pi 3B oder 4 Einplatinencomputer benötigt. Als Bluetooth-Sender kann Beacontechnologie verschiedner Hersteller benutzt werden.
KI-basiertes Gesichts- und Maskenscanning
Die Besucher*innen treten dazu an eine spezielle Onboarding-Station mit interaktivem Bildschirm, der über Buttons und eine Kamera bedient werden kann. Die Besucher*innen sind aufgefordert, Grimassen zu schneiden, die von der Kamera aufgenommen werden. Das Videomaterial wird von einer dahinterliegenden KI analysiert und mit dem Archivmaterial an Masken abgeglichen. Im Ergebnis wird Besucher*innen ihre individuelle Maske aus dem Fundus digitalisierter Exponate offeriert und virtuell auf dem Bildschirm aufgesetzt. Zu dieser Maske werden Informationen eingeblendet, die auf die Herkunft und Bedeutung verweisen.
Der Maskenscanner besteht aus zwei miteinander verknüpften Anwendungen, die unabhängig voneinander nachgenutzt werden können. Zum Einen handelt es sich um das Machine-Learning-Modul, das in der Lage ist, die Gesichter der Nutzer*innen mit den zuvor gespeicherten Bilddaten der Masken zu vergleichen und eine passende Maske auszuwählen. Dieses Modul ist unabhängig von der Maskenscanner-Anwendung nachnutzbar und kann für Bildähnlichkeitsvergleiche verwendet werden. So können beispielsweise mit Webcams angefertigte Bilder von Besucher*innen auch mit anderen Objekten verglichen werden. Voraussetzung hierfür ist, dass das Modul mit entsprechenden Trainingsdaten ausgestattet wird.
Das zweite Modul ist die Unity-Anwendung des Maskenscanners selbst. Diese kommuniziert mit dem Machine-Learning-Modul und stellt die Anbindung der Webcam, das Overlay der Masken und die GUI bereit. Dieses Modul kann kombiniert oder einzeln nachgenutzt werden und ermöglicht es andere Masken oder Objekte auf den Gesichtern der Nutzer*innen zu platzieren.
Der dritte nachnutzbare Teil betrifft die 3D-Masken selbst. Diese lassen sich als 3D-Modelle abrufen und in anderen Kontexten und Anwendungen problemlos wiederverwenden.
Bereitstellung der Nachnutzung
Die Quelldateien mitsamt technischer Dokumentation stehen anderen Kultureinrichtungen zum Download und zur individuellen Anpassung auf GitHub zur Verfügung. Weitere Elemente der Nachnutzung finden Sie im Anhang dieser Publikation.
Sie sind an der Nachnutzung der digitalen Anwendung interessiert? Bitte wenden Sie sich an Michael Fuchs, info@fasnachtsmuseum.de. Weitere Elemente der Nachnutzung finden Sie im Anhang dieser Publikation.
Anhang
- Dokumentation 2017-2020 (inkl. Anleitung Photogrammetrie)
- Systemdesign und technische Dokumentation Personalisierte Stationen
- Technische Dokumentation Sensoren
- UX-Tests 2020
- AR Anwendung mit AR-Brille: Ein Erfahrungsbericht
- KI im Museum, Veröffentlichung in der Museumskunde, Band 84 sowie Gestensteuerung und taktile Interfaces für die Mensch-Maschine-Kommunikation
- Erfahrungsbericht: Kostengünstige 3D-Scanning Technologien
Weitere Ergebnisse im Teilprojekt
Digitale Vermittlungstools
Informationen und Ratschläge zur Anfertigung von 360-Grad-Aufnahmen
Museen der Schwäbisch-alemannischen Fastnacht
Digitale Vermittlungstools
Lively Exhibition
Museen der Schwäbisch-alemannischen Fastnacht
