Object by Object – White-Label-Augmented-Reality-App

Entwicklung der Idee

Ziel der AR-App ist es, Kultureinrichtungen auf innovative Art und in aufmerksamkeitsstarker Form in ihrer Outreach Strategie zu unterstützen. Interessent*innen können mit der App auch jenseits von Gebäuden und Öffnungszeiten angesprochen werden. Die App macht Inhalte und Objekte in neuer Form zugänglich.  

Ausgangspunkt für die Entwicklung der White-Label-App war ein Interesse an der Nachnutzung des App-Prototypen „Object by Object – Berlin der Zwanziger“, der im Projekt museum4punkt0 zu einem früheren Zeitpunkt entwickelt worden war. Der Prototyp hatte wertvolle Einsichten auf drei Ebenen geliefert:

1. Die Machbarkeit einer App, die per AR einen Zugang zu ansonsten unzugänglichen Objekten und Informationen im Öffentlichen Raum schafft, wurde bestätigt.
2. In der konkreten Umsetzung konnten eine Reihe Learnings auf der Ebene der eingesetzten Technik im Backend, im Storytelling, für die User Experience (UX) und für die Content-Erstellung und Pflege gesammelt werden.
3. Das Interesse am Prototyp bestätigte die Einschätzung, dass eine derartige App einen Bedarf und Nutzen in der Kulturerbewelt adressiert.

Aufgrund der konkreten Nachfrage für eine Nachnutzung durch den Saarländischen Museumsverband (SMV) wurden die Bedingungen geklärt, unter denen eine entsprechende Nachnutzung bzw. Weiterentwicklung des Prototyps als White-Label-Version realisiert werden konnte. Beim museum4punkt0 Verbundtreffen im September 2023 in Görlitz nutzte die zentrale Projektsteuerung die Möglichkeit, im Rahmen einer kollegialen Fallberatung im Kreis von Kolleg*innen mit AR-Erfahrung Feedback auf offene Fragen und Problemstellungen des Projektes einzuholen.

Aus den Konsultationen und der Diskussion mit den Nachnutzungsinteressenten ergaben sich die folgenden Anforderungen:

• Nachnutzung: Konzepte, Ideen und Learnings des App-Prototyps mussten berücksichtigt werden, während die seine technische Basis optional weiterentwickelt werden konnte.
• White Label: Entwickelt werden sollte ein technisch und strukturelles Grundgerüsts, das von verschiedenen Einrichtungen mit Inhalten und Brandings an eigene Nutzungsszenarien angepasst werden kann.
• Plattformen Android und iOS: In Erweiterung des reinen iOS Prototyps sollte eine native App auch für Android entwickelt werden.
• Ortsunabhängige Lauffähigkeit: Während der Prototyp explizit für den urbanen Raum entwickelt wurde, sollte die White-Label-Lösung ortsunabhängig explizit auch im ländlichen Raum eisetzbar sein. Die dort nicht immer sichere Verfügbarkeit von GPS-Positionsbestimmung und mobilem Datentransfer mussten bei der Weiterentwicklung Berücksichtigung finden.
• Stärkung des Gamification- und Belohnungs-Systems: In Ergänzung zum Proof of Concept des Prototyps, lagen der Weiterentwicklung konkrete Ideen zu den Zielgruppen der Endnutzer zugrunde. Die gewünschte Ansprache von Kindern und Jugendlichen sowie Schulklassen sollte durch eine Stärkung der Dramaturgie und der Nutzungsanreize unterstützt werden.    
• Selbsterklärende Nutzung: Da der Einsatz auch oder hauptsächlich außerhalb von Einrichtungen und deren Öffnungszeiten intendiert ist, müssen alle Funktionen und Abläufe intuitiv ohne zusätzliche Einführung oder Hilfe verständlich sein. Ein Support durch Servicepersonal ist nicht vorgesehen.
• Nachhaltige Daten- und Akkunutzung: AR-Apps sind nach wie vor auch für aktuelle Endgeräte sehr anspruchsvoll in punkto Rechenleistung und Stromverbrauch. Das erforderte entsprechende Szenarien für die technische Umsetzung und den Nutzungsprozess, gerade auch jenseits von Stromquellen und in ggf. hellem Sonnenlicht.

Aufbau

Die Anwendung bietet die Möglichkeit, eine oder mehrere Touren anzulegen, auf denen die Nutzer*innen die gewünschten Inhalte Stück für Stück selber entdecken. Diese Touren enthalten POI (Points of Interest) an vordefinierten Orten. Diese POI sind im realen Raum durch QR-Codes gekennzeichnet. Scannen die Nutzenden diese mit der App, so startet eine AR-Sequenz. Diese kann einen oder mehrere Inhalte enthalten: Text, Bild, Film, Audio oder 3D-Objekte.

Die Applikation kann in zwei unterschiedlichen Modi verwendet werden.

• Im Entdecker-Modus können die Nutzer*innen die Tour frei absolvieren. Dieser Modus ist vor allem für einzelne Nutzende oder Familien mit wenigen Mitspielenden gedacht.
• Im Challenge-Modus können die Nutzer*innen an jedem Ort der Tour Punkte sammeln und Quiz-Fragen beantworten. Dieser Modus richtet sich vor allem an größere Gruppen, wie z.B. Schulklassen.

Der Aufbau besteht aus dem übergreifenden Menü und vier Bereichen:

• Planung
  Der Einstieg in die Touren erfolgt über eine karten- oder listenbasierte Übersicht aller Touren. Der Zugriff auf die Übersicht und eine Beschreibung der Touren ist ortsunabhängig möglich.
• Tour
  Die Touren erschließen über eine Kartenansicht der Umgebung einen oder mehrere lokale Points of Interests (POI). Die Nutzer*innen wählen vor dem Einstieg in eine Tour den Modus, in dem sie die App nutzen wollen: Entdeckermodus ohne oder Challengemodus mit Punktevergabe.
• POI / AR
  Ein Scan eines QR-Codes an den jeweiligen POI vor Ort öffnet Augmented-Reality-Sequenzen und zeigt die damit verbundenen Inhalte (3D-Objekte, Videos, Audio, Bild, jeweils optional mit Text) .
• Belohnung
  Um die Auseinandersetzung mit den Inhalten und den Nutzungsanreiz zu stärken, erhalten die Nutzer*innen nach dem Besuch von POI und dem Aufruf der AR-Sequenzen verschiedene Belohnungen. Alle im Nutzungsverlauf gefundenen Objekte werden in einer Sammlung in der App abgelegt. Nach Abschluss einer Tour können die Nutzer*innen auf diese zugreifen, auch wenn sie nicht mehr vor Ort sind. Der Besuch alle POI einer Tour schaltet einen Bonus-POI frei. Nach dem Abschluss einer Tour wird die Option zu einem Selfie mit einer amüsant gestalteten Grafik-Dekoration freigeschaltet.
  
  Im Challenge-Modus sammeln die Nutzer*innen Punkte für alle angesehenen Objekte und können in einem inhaltlichen Quiz zusätzliche POI Bonuspunkte gewinnen.

• Menü
  Über das Menü sind zentrale Informationen und Einstellungen zugänglich. Darunter ist auch die Möglichkeit, die App zurückzusetzen und die Sammlung zu leeren. So kann eine Tour erneut von Beginn an absolviert werden, zum Beispiel wenn ein Endgerät von wechselnden Personen benutzt wird.

Im primären Szenario durchläuft eine Nutzung diese Bereiche linear, wobei pro Tour in der Regel mehrere POI angeboten werden.

Storytelling

Auch wenn die konkreten Inhalte bei der Entwicklung der White-Label-Lösung nicht im Vordergrund standen, mussten einige Entscheidungen getroffen werden, die in Zusammenhang mit der inhaltlichen Vermittlung stehen. Inhaltliche Anker sind im Konzept von Object by Object seit dem iOS Prototypen die POI, die in einer oder mehreren Touren gruppiert sind. Eine Verbindung der POI und der darin enthaltenen AR-Inhalte durch eine Geschichte bzw. Rahmenhandlung liegt nahe, um die Inhalte interessanter zu machen und die Vermittlung zu unterstützen. Eine Anforderung für Object by Object war es jedoch, dass eine Nutzung auch fragmentiert oder selektiv möglich sein sollte. Anders als im Museumsgebäude sind wir bei der Nutzung im freien Raum von einem eher ungerichteten, intuitiven Nutzungsszenario ausgegangen.  In Object by Object folgen die Touren und POI daher nicht einer linearen Erzählung. Die Inhalte bauen nicht inhaltlich aufeinander auf. Es gibt auch keine Vollständigkeit im Sinn von fehlenden Informationen, wenn ein POI/Inhalt nicht besucht oder aufgerufen wurde. Eine Ausnahme sind die Bonus-POI, die jedoch keine notwendigen Informationen enthalten – sie sind nur optional. Das bedeutet, dass in der Entwicklung von Inhalten auf eine klassisch lineare Handlung verzichtet werden muss. Eher sind die Inhalte als eine Art Puzzleteile zu sehen, die in sich geschlossen sind und trotzdem zusammen ein großes Bild ergeben.

Technische Umsetzung

Die konzeptionellen und dramaturgischen Konzepte des Object by Object iOS Prototyps konnten inklusive den dort generierten Learnings in der White-Label-Lösung nachgenutzt werden. Das galt nicht für die ursprünglichen Codes und Backend-Lösungen. Der Test des Prototyps brachte diverse Erkenntnisse zu Verbesserungspotenzial in punkto Stabilität, Performance und Nutzerfreundlichkeit für die Redaktion. Zudem sollte die neue Anwendung zusätzlich auch auf Android Geräten laufen.  

Die White-Label-Augmented-Reality-App Object by Object wurde in der Entwicklungsumgebung Unity (2021.3.25f1) entwickelt. Code und Dokumentation sind auf GitHub verfügbar und stehen unter der MIT-Lizenz zur Nachnutzung zur bereit.

Die erzeugten Apps erfordern eine Android-Version 11 und neuer beziehungsweise iOS-Version 14 und neuer. Die Applikation kann sowohl auf Smartphones als auch auf Tablets verwendet werden.

Zur Pflege der Inhalte wird das Content Management System (CMS) „Wezit Studio“ eingesetzt. Über dieses sind die grafischen und textlichen Elemente der Benutzeroberfläche, das Branding, die Inhalte und die Struktur der Touren redaktionell definierbar.

Um einen POI und dessen Inhalt anzulegen, wird ein Bild des QR-Codes des POI im CMS abgelegt. Seine physische Position dient als Referenz für die Position der virtuellen Objekte in der AR-Szene, deren Position so ebenfalls über das CMS relativ zur Position des Markers im Raum verortet werden kann. So ist die Pflege auch von Inhalten der AR-Szenen durch Redakteure vom Schreibtisch aus möglich, ohne den POI vor Ort aufsuchen zu müssen.

Sparsames Datenhandling

Je nach Anzahl der Touren, POI und eingebundenem Material kann das Datenvolumen einer AR-App schnell sehr groß werden. Die App setzt daher auf eine reduzierte Installation und das Nachladen der Inhalte pro Tour erst on-demand. Um auch hierbei Datenvolumen der Nutzer*innen und ggf. damit verbundene Wartezeit vor Ort zu sparen, ist ein selektiver Download der erforderlichen Daten schon vor dem Besuch einer Tour zum Beispiel von zu Hause aus möglich. Hier ist, anders als im Kontext der Nutzung im ländlichen Raum, oft ein WLAN verfügbar. Das schont das (mobile) Datenvolumen und die Akkulaufzeit der Endgeräte und gewährleistet ein flüssiges Erlebnis vor Ort.

Triggern der AR-Szenen

Der Start eines POI erfolgt über das Scannen des entsprechenden QR-Codes vor Ort. Eine exakte Positionsbestimmung per GPS oder ein Scan und eine Bilderkennung der Umgebung sind nicht erforderlich. Dieser Ansatz wurde gewählt, da er deutlich robuster ist gegenüber fehlendem GPS- oder Mobildaten-Empfang vor Ort. Auch Störungen in der Umgebung, wie baulichen und vegetativen Veränderungen oder ungünstige Licht- und Wetterbedingungen sind so weniger gravierend.

Optional vereinfachte Darstellung

Um die Nutzung im geplanten Kontext mit wechselnden Lichtverhältnissen, Spiegelungen der Bildschirme oder einer gemeinsamen Nutzung durch mehrere Personen zu vereinfachen, wurde eine Funktion zur Anpassung der Schriftgröße und der Kontrastwerte in die textbasierten Screens der App integriert. 

Bereitstellung der Nachnutzung

Die Quelldateien mitsamt technischer Dokumentation steht anderen Kultureinrichtungen zum Download und zur individuellen Anpassung auf GitHub zur Verfügung.

Anregungen

In der Planung und Umsetzung hat es sich als sehr hilfreich erwiesen, auf die Erfahrungen mit dem Prototypen zurückgreifen zu können. Weitere Erfahrungen, die wir als Anregungen an ähnliche Entwicklungen weitergeben können:

• Mit Pilot-Institutionen zusammenarbeiten: Aufgrund des Interesses des Saarländischen Museumsverbandes konnten wir Anforderungen und Konzepte an konkreten Testfällen aus der Praxis prüfen und mit realen Beispiel-Inhalten arbeiten. 
• Inhalte frühzeitig planen: Sicher für jedes Projekt gilt, dass Inhalte frühzeitig geplant und erstellt werden sollten, um auch diese in die Konzeption und Umsetzung einfließen zu lassen und Iterationen zu ermöglichen. Das nichtlineare Storytelling von Object by Object erforderte hier zum Beispiel eine Feedbackschleife mit den Autor*innen der Piloteinrichtungen.  
• Modularer Aufbau: Um nachnutzenden Einrichtungen Flexibilität zu ermöglichen, sollte in Bezug auf Dramaturgie und Umfang der Inhalte ein modularer Aufbau gewählt werden. Mit der flexiblen Anzahl von Touren, POI und Inhalten sowie dem nichtlinearen Storytelling bietet Object by Object diese Flexibilität.

Weitere Ergebnisse im Teilprojekt

Digitale Vermittlungstools

Object by Object – Auf den Spuren der Zwanziger in Berlin

Stiftung Preußischer Kulturbesitz

„Object by Object“ ist eine für iOS entwickelte App. Die App ermöglicht mithilfe von persistenter Augemented Reality, Museumsobjekte im Kontext des Stadtraums zu entdecken.

Digitale Vermittlungstools

Object by Object – White-Label-Augmented-Reality-App

Stiftung Preußischer Kulturbesitz

Die Anwendung „Object by Object – White-Label-Augmented-Reality-App“ ist eine mobile Augmented Reality (AP) App für Entdeckungstouren im öffentlichen städtischen oder ländlichen Raum.

Studien und Handreichungen

Test und Evaluierung des Tools „Conceptboard“ im Verbundprojekt

Stiftung Preußischer Kulturbesitz

Beschreibung der Nutzungserfahrungen des Tools „Conceptboard“ im Teilprojekt Z (zentrale wissenschaftliche Projektsteuerung) von museum4punkt0.

Alle anzeigen