SwellAR – ein AR Low-Fidelity-Prototyp zur Augmentierung von Karten

Entwicklung

Mit dem Prototyp „SwellAR“ wurde der Frage nachgegangen, wie die Erweiterung einer im Ausstellungsraum prominenten Wandkarte mit innovativen Technologien realisiert werden kann. Als Testfeld sollte eine für den Ausstellungsbereich Ozeanien des Ethnologischen Museums im Humboldt Forum geplante, ca. 11 x 28 Meter große Wandkarte dienen, die den Besucher im Kubus Süd empfängt. Das zu entwickelnde Konzept sollte durch einen Low-Fidelity-Prototypen technisch wie konzeptuell getestet und Lösungsansätze für die räumlichen Gegebenheiten definiert werden.

Entsprechend der Aufgabenstellung des Teilmoduls „xstream Digital“ im Teilprojekt der Staatlichen Museen zu Berlin sollten beim Low Fidelity-Prototypen neue Narrative im Raum erprobt werden, die zukunftsweisende Zugänge und Kontextualisierungen zu Schlüsselexponaten ermöglichen. Parallel zur Konzeption weiterer VR- und AR-Projekte stand zunächst an, sich intensiv mit den Inhalten des geplanten Dauerausstellungsbereiches Ozeanien auseinanderzusetzen. Im Austausch mit der zuständigen Kuratorin, Dr. Dorothea Deterts, und der Projektleitung der Staatlichen Museen zu Berlin im Humboldt Forum, Bettina Probst, wurde die Grundrichtung für die konzeptuelle Arbeit festgelegt: Bei dieser Anwendung galt es zu testen, wie sich mit Hilfe der Augmented-Reality-Technologie Gegenwartsbezüge und vor allem multiperspektivische Ansichten ergänzend zu den Themen der Dauerausstellung herstellen lassen.

Die Entwicklung des Low Fidelity-Prototypen erfolgte in iterativen Schleifen. Die zentralen Meilensteine waren die Erstellung eines Grundkonzeptes in Form eines Mediendrehbuches, ein öffentliches Ausschreibungsverfahren zur Gewinnung einer Produktionsfirma, die Produktion selbst sowie die Vorbereitung und Auswertung eines Testings mit Probanden. 

Inhaltliches Konzept

Zentrale Objekte des Ethnologischen Museums Berlin sind u.a. die originalen Südsee-Boote, die ab 2021 in ihrem neuen, sich über zwei Etagen erstreckenden Dauerausstellungsraum (sog. Kubus Süd) im Humboldt Forum gezeigt werden. Inhaltlich ist dieser Bereich der Präsentation mit dem Titel „Ozeanien: Mensch und Meer“ überschrieben. Gezeigt werden sechs historische Boote aus unterschiedlichen Regionen Ozeaniens, die jeweils durch ein spezielles Thema kontextualisiert sind. Kernbotschaft dieses Ausstellungsbereiches ist, dass der Pazifik als der größte Ozean der Welt ein Meer von Inseln und kein Niemandsland ist – ein weites Meer, das nicht trennt, sondern verbindet. 

Die Besucher*innen betreten den Raum über eine Empore. Auf der Längswand, ihnen gegenüber, befindet sich eine ca. 11 x 28 Meter große, wandfüllende Karte Ozeaniens, die Besuchern eindrücklich die geografische Ausdehnung Ozeaniens und das Verhältnis von Meer und Land vor Augen führt. Diese Karte ist der Ausgangspunkt für die Erweiterung der Ausstellungsinhalte durch Gegenwartsbezüge mittels Augmented-Reality.

Der inhaltliche Ansatz für das Medienkonzept war die Aussage des fidschianischen Schriftstellers Epeli Hau´ofa: „Wir sind Ozeanien, wir sind das Meer, wir sind der Ozean“ und die darin sichtbare identitätsstiftende Rolle und zentrale Bedeutung des Meeres für die Menschen in Ozeanien. Durch die AR-Anwendung sollte daher das Besuchser*innenlebnis im Raum um aktuelle Perspektiven zum Meer erweitert werden. Und zwar aus der Sicht der Menschen von vor Ort und aus der Sicht des Meeres selbst. Uns beschäftigte die Frage, wie die Stimmen der Menschen Ozeaniens, ihre Meinungen, Äußerungen, Befürchtungen als Videos, Bilder oder Texte erhoben und eingebunden werden könnten. Komplexer aber gestaltete sich die Frage nach der Stimme des Meeres. Wie können wir diese verständlich und stets aktuell visualisieren? 

Grundlegend war hier eine weitere Botschaft der Dauerausstellung im Kubus Süd, und zwar, dass das Meer für die Menschen Ozeaniens keine leere Fläche, sondern eine strukturierte, lesbare und nutzbare Landschaft ist. Grafische Karten reduzieren meist die Darstellung des Meeres auf eine abstrahierte, unbewegliche und kaum strukturierte Fläche. Im Laufe unserer Recherchen wurde sehr schnell deutlich, dass die täglichen wie langfristigen Veränderungen des Meeres aus vielen unterschiedlichen Facetten und Momenten bestehen. Daten – zu bspw. Strömungen, Wellenbewegungen, Temperaturschwankungen oder zum Anstieg des Meeresspiegels werden durch Institutionen wie Geomar oder NASA kontinuierlich erhoben und in weiten Teilen der wissenschaftlichen Öffentlichkeit zur Verfügung gestellt. Die Stimme des Meeres darzustellen hieß für uns datenbankbasierte Daten zu nutzen und in eine verständliche, nachvollziehbare Visualisierung zu übersetzen. 

Als Anregung für die Darstellung von globalen Daten diente die Plattform earth. Im Laufe des Konzeptionsprozesses des Low-Fidelity-Prototypen entschieden wir uns für eine begrenzte Darstellung von Daten, in diesem Fall konzentrierten wir uns prototypisch auf die Visualisierung aktueller Strömungsdaten. Für die Stimmen der Menschen zur heutigen Bedeutung des Meeres wurde auf rechtefreie Videos und Fotos zurückgegriffen. Für eine Realisierung als vollwertige App war an eine Erhebung von Stimmen vor Ort durch Vertreter der Herkunftsgesellschaften gedacht. Zum Zeitpunkt der Konzeption des Low Fidelity-Prototypen wurde für eine nächste Projektstufe angedacht, Stimmen partizipativ vor Ort durch Kooperationspartner zu erheben, aufzuarbeiten und über ein Redaktionssystem in die App zu integrieren. Dadurch sollten die zukünftigen Besucher*innen ein stellvertretendes, doch unmittelbares Bild der Menschen zu bspw. Bedeutungen, Wünschen, Befürchtungen und Zukunftsperspektiven in Bezug auf das Meer erhalten. Im Austausch mit der Kuratorin des Ethnologischen Museums für Ozeanien wurde entschieden, den inhaltlichen Schwerpunkt für mögliche weitere Entwicklungen unter dem Thema Klimawandelfolgen in Ozeanien zu bündeln.

Technisches Konzept

Der SwellAR-Prototyp ist zur individuellen Erkundung mithilfe eines mobilen Besucher*innen-Geräts (BYOD, bring your own device) gedacht. Er wurde gemeinsam mit der Refrakt GbR entwickelt und umgesetzt. Zum Zeitpunkt der Konzeption war der Kubus Boote noch nicht eingerichtet. Die daraus resultierenden Unklarheiten bezüglich der Lichtverhältnisse, Sichteinschränkungen durch die Exponate auf die Karte, etc. ließen nicht zu lösende aber für die Augmentierung zwingend notwendige Antworten auf grundsätzliche Fragen offen. Mit diesem Prototyp sollten daher erste Ansätze für alternative Augmentierungen erprobt werden. Dafür wurden drei Kartenausschnitte im A3-Format definiert und Aufsteller damit bedruckt, um diese als zu augmentierende Fläche zu nutzen. Der jeweilige Kartenausschnitt fungiert dabei als Marker, der die Anwendung auslöst. Für die zu visualisierenden Daten zum Ozean wurden Strömungsdaten der betreffenden Regionen ausgewählt.

Die Strömungsvisualisierung stützt sich auf frei verfügbare Datensätze der NASA, die über den öffentlichen PO.DAAC-Server (Physical Oceanography Distributed Active Archive Center) abrufbar sind. Die Meeresströmungsdaten im OSCAR-Format (Ocean Surface Current Analysis Realtime) decken den Meeresraum in einer Auflösung von ⅓ Breiten- bzw. Längengrad ab und werden ungefähr alle fünf Tage aktualisiert. Die Anwendung lädt bei jedem Start die neuesten Daten für die entsprechenden Kartenausschnitte herunter und transformiert die rohen Geschwindigkeitsvektoren in eine Strömungstextur. Diese bildet die Grundlage für eine Partikelsimulation mittels OpenGL. Basierend auf Vuforia/ARKit wird über die Kamera des Gerätes eine Augmented-Reality-Erweiterung erzeugt, die die visualisierten Strömungsdaten nahtlos auf die entsprechenden vordefinierten Kartenausschnitte projiziert. Über einen zweiten, interaktiven Layer werden die Stimmen der Menschen von vor Ort als Video-, Bild- und Textinhalte der Datenvisualisierung hinzugefügt. Sie sind als Buttons in die Karte integriert und durch Berührung zu aktivieren.

Implementierung

Mit „SwellAR“ sollte das Konzept zur Augmentierung der großen Wandkarte anhand der Visualisierung von Echtzeitdaten zum pazifischen Ozean und der Einbindung von Videos, Fotos und Texten im Gesamtzusammenhang getestet werden. Die Ergebnisse der Entwicklung fließen in eine konzeptionelle Weiterentwicklung ein, die sich mit dem Thema des Klimawandels und dessen Folgen für Ozeanien beschäftigt. Eine Implementierung in der vorliegenden Form in die Ausstellung ist nicht beabsichtigt.

Bereitstellung zur Nachnutzung

Mit dem Prototyp „SwellAR“ wurde ein Nutzungsszenario für die Erweiterung von Karten, bzw. Wandkarten mittels AR-Technologie erprobt. Insbesondere Vorhaben, die Kontextualisierungen anhand kartenbasierter Narrative mit einem gegenwärtigen, multiperspektivischen Anspruch beabsichtigen, können von den Erfahrungen und vom Code dieses Prototypen profitieren.Der Code zu „SwellAR“ wurde auf Basis von Vuforia 7.1.34 entwickelt und steht auf GitHub unter einer BSD 3-Clause License zur freien Verfügung.

Evaluierung

Die Anwendung wurde ausführlich mit nicht an der Entwicklung beteiligten Mitarbeitern der Staatlichen Museen zu Berlin getestet und die Ergebnisse dann über einen Fragebogen und Gespräche ausgewertet. Für die Handhabung der Anwendung ergaben sich daraus wichtige Hinweise. So erwies sich beispielsweise die Größe der Kartenausschnitte (DIN-A3) sogar für die individuelle Selbsterkundung als zu klein. Die Visualisierung der Stimme des Meeres durch Echtzeitdaten kam sowohl inhaltlich als auch gestalterisch bei den Probanden gut an. Besonders anschaulich wurde dieser Ansatz durch einen kurz vor dem Testing durch eine der Regionen ziehenden Taifun, dessen Auswirkungen auf die Meeresströmungen unmittelbar sichtbar waren. Die Einbindung einer Legende mit detaillierteren Erläuterungen zu den visualisierten Daten wurde als wünschenswerte Ergänzung der Karte benannt. Weiterhin wurde eine intensivere Verknüpfung der beiden Informationsebenen sowie perspektivisch ein Bezug zur Rauminszenierung gewünscht. 

Für eine perspektivische Weiterentwicklung wurde weiterhin ein höherer Grand an Interaktivität angeregt. Beispielsweise wurde die Möglichkeit genannt, dass Besucher*innen die verschiedenen Ebenen (Strömungsvisualisierung, Markierung von Multimedia-Inhalten, Beschriftung der Karte, Art der visualisierten Daten, etc.) selbstständig ein- und ausblenden können. 

Für die Einbindung der Stimmen der Menschen Ozeaniens konnten zwei Szenarien festgehalten werden: ein Bereich innerhalb der Anwendung zum Hochladen und Verwalten von Contents und das Anlegen eines eigenen Kanals auf einer externen Bild-/Videoplattform.

Erfahrungen

Im Laufe der konzeptuellen Entwicklung des Prototyps „SwellAR“ wurde die wichtige Erkenntnis gewonnen, dass die spezifischen Raumverhältnisse eine entscheidende Rolle für die Verwendung der Augmented-Reality-Technologie spielen. So stellte sich früh heraus, dass eine unmittelbare Augmentierung der großen Wandkarte mit üblichen Smartphones oder Tablets von der Empore aus technisch nicht zu realisieren war. Zum Zeitpunkt der Entwicklung der AR war davon auszugehen, dass bei den zu erwartenden Lichtverhältnissen im Raum und der aktuellen Leistungsfähigkeit der Kameras in den Endgeräten keine saubere Positionierung von augmentierten Elementen möglich seien würde. 

Einige Aspekte des konzeptuellen Ansatzes bilden dennoch den zentralen Grundstein für eine weitere in Konzeption befindliche Augmented-Reality-Anwendung zum Klimawandel und dessen Folgen für Ozeanien. Im Rahmen dieser neuen Anwendung wird eine Visualisierung im Raum mit Hilfe der Augmented-Reality Technologie von klimarelevanten Echtzeitdaten (CO2, Ph-Wert, Extremwetter, Meerespiegelanstieg) angestrebt.

Mehr erfahren

• Navarro, Cristina und Dietmar Fuhrmann. “xstream Digital – partizipative Narration mit digitalen Medien neu denken! Die Entwicklung von zwei Augmented Reality Anwendungen für das Ethnologische Museum im Humboldt Forum als iterativer Prozess. ” In Konferenzband EVA Berlin, hrsg. von Andreas Bienert, Anko Börner, Eva Emenlauer-Blömers und James Hemsley, 258–264. Berlin: Staatliche Museen zu Berlin, 2018. https://www.eva-berlin.de/wp-content/uploads/2018/11/EVA_2018_Konferenzband_elektronisch.pdf
• Katharina Fendius, Nadja Bauer, Josefine Otte, Stephanie Thom, Cristina Navarro, Dietmar Fuhrmann, Timo Schuhmacher, Ceren Topcu. 2019. “Visitor Journeys neu gedacht.” Museumskunde 84: 126–133. https://www.museumsbund.de/wp-content/uploads/2021/06/museumskunde-2019.pdf

Nachnutzung und Weiterentwicklung

Der museum4punkt0-Prototyp wurde in einer Kooperation zwischen der Stiftung Preußischer Kulturbesitz und der Hochschule für Technik und Wirtschaft Berlin mit Studierenden weiter verwendet. Die Erkenntnisse des Prototyps einer Narration im Ausstellungsraum mit Augmented-Reality flossen in die Konzeption und Entwicklung ein. Als Ergebnis entstand ein hybrides Format mit Ausleih-Geräten für Gruppen, das seit Sommer 2022 bestehendes Angebot der interpersonellen Vermittlung des Ethnologischen Museums im Humboldt Forum ist.

Das Angebot ist unter folgenden Links buchbar:

• für Erwachsene (frei buchbar)
• für Schulgruppen

Nachnutzbare Elemente

Swell AR Projektdokumentation zum Augmented Reality App Prototypen (PDF)

Weitere Ergebnisse im Teilprojekt

Studien und Handreichungen

(De-)Coding Culture. Wie Besucher*innen mit KI Museen neu erleben

Staatliche Museen zu Berlin – Preußischer Kulturbesitz

Mit (De-)Coding Culture rücken wir sie in den Mittelpunkt. Für die Erweiterung der Sammlungen Online bei den Staatlichen Museen zu Berlin durch Technologien der Künstlichen Intelligenz haben wir deswegen die Besucher*innen selbst zu Wort kommen lassen. In drei Workshops sind wir mit einer Fokusgruppe in den Austausch getreten, haben Fragen gestellt und gemeinsam alle Aspekte rund um den Museumsbesuch diskutiert. Aus den Erkenntnissen haben wir einen Visions-Prototyp für eine KI-basierte Museums-App entwickelt.

Digitale Vermittlungstools

Visuelle Exploration zweier musealer Sammlungen

Staatliche Museen zu Berlin – Preußischer Kulturbesitz

Ziel des Projektes es, die Objekte der Staatlichen Museen zu Berlin auch im virtuellen Raum angemessen und zeitgemäß zur Verfügung zu stellen.

Studien und Handreichungen

Value Proposition Canvas als Werkzeug besucher*innenorientierter Angebotsentwicklung an Museen

Staatliche Museen zu Berlin – Preußischer Kulturbesitz

Beim Value Proposition Design geht es darum, die Zielgruppe bei der Entwicklung eines Formats im Fokus zu behalten.

Alle anzeigen