Fallstudie: Usability und User Experience erfolgreich umsetzen

Besucher*innenforschung

Im Rahmen des CAS Studiengangs „Usability und User Experience erfolgreich umsetzten“ an der Fachhochschule Nordwestschweiz wurde im Fasnachtsmuseum Schloss Langenstein eine Fallstudie durchgeführt. Die befragten Besucher*innen deckten eine große Bandbreite bezüglich Fachwissen, Alter, Technikaffinität etc. ab. Durch die Evaluation der Aussagen der Besucher*innen und unseren Beobachtungen vor Ort konnten wir verschiedene Personas erstellen und ihre jeweiligen Bedürfnisse an den Museumsbesuch herausarbeiten. Die Bedürfnisse der Nutzer*innen bildeten einen Teil der Anforderungen an ein zukünftiges Device zur individualisierten Museumsführung. Die Personas halfen dabei, eine Richtung für die Entwicklung zu finden und sie dienten zur ständigen Überprüfung, ob die jeweiligen Anforderungen erfüllt wurden.

Vorüberlegungen

Um den Ist-Zustand im Museum zu erfassen, wurde ein Methodenmix angewendet: Einerseits ist eine Besuchergruppe und einen Guide während einer Standardführung beobachtet und anschließend befragt worden. Andererseits sind Individualbesucher*innen beobachtet und befragt worden.

Des Weiteren wurde ein „Concierge Test“ durchgeführt. Indem der Guide sich von den Interessen der Besucher*innen leiten lässt, sollte die zukünftige Lösung einer individualisierten Besucherführung simuliert werden. Außerdem wurde ein „Fake Door Experiment“ konzipiert, bei dem den Besucher*innen an der Kasse angeboten wurde, einen Tablet-Guide auszuleihen (welcher so nicht existiert), um die Bereitschaft zur Annahme des Angebots zu testen. Hierbei war Unterstützung durch das Kassenpersonal eingeplant. Besucher*innen und Guides sollten vor, während und nach den Beobachtungen befragt werden. Für die verschiedenen Befragungen wurden unterschiedliche Fragebögen erstellt. Für die Guides wurde ein Briefing entworfen; für die Besucher*innen eine einführende Projektzusammenfassung sowie eine Einverständniserklärung, da sie mit Bild und Ton aufgenommen werden sollten. Auf eine quantitative Methode wurde verzichtet, da die Anzahl der Testnutzer*innen zu klein war und eine Gesprächssituation mit offeneren Antwortmöglichkeiten vielversprechender erschien.

Der zeitliche Ablauf mit den eingeladenen Gästen wurde so eingetaktet, dass jeweils ein Teammitglied flexibel war, um Individualbesucher*innen auf ihrem Rundgang durch die Ausstellung beobachten zu können.

Methode

Durch eine Kontextanalyse sollten Erkenntnisse über die Bedürfnisse der Museumsbesucher*innen an eine digitalisierte und individualisierte Museumsführung gewonnen werden. Im November 2017 führten wir im Fasnachtsmuseum Schloss Langenstein Befragungen und Beobachtungen durch und evaluierten diese anschließend. Aus diesen Ergebnissen wurden in den nächsten Schritten Personas und Anforderungen abgeleitet. Zur Besucherbefragung wurde eine qualitative Untersuchungsmethode eingesetzt. Wir befragten und beobachteten insgesamt 20 Besucher*innen und Stakeholder (zwei erfahrene Guides sowie das Kassenpersonal).

Die Beobachtungen erfolgten in unterschiedlichen Situationen:

• Standard Gruppenführung mit einem Guide.
• Concierge Test: Simulation des neuen Service der individualisierten Besucherführung in einer 1:1 Führungssituation, in der sich der Guide von den Besucherinteressen leiten lässt.
• Beobachtung von Individualbesucher*innen. Mittels eines Fake Door Experiments versuchten wir das Interesse der Besucher*innen an einer iPad-Lösung zu ermitteln. Mittels eines Werbeaufstellers und eines iPads simulierten wir, dass für die Besucher iPads zur Verfügung standen, mit welchen sie durch das Museum gehen können und ergänzende Informationen abrufen können.
• Vor und nach dem Museumsbesuch führten wir als Ergänzung zu den Beobachtungen Interviews durch.

Durchführung

Feldphase

Aufgrund der eingeschränkten Öffnungszeiten des Museums und der Schließung von Dezember bis Februar umfasste die Feldphase einen Tag. Das Sample der befragten Personen bezog einerseits durch die Museumsleitung eingeladene Besucher*innen (siehe oben) wie auch spontane Individualbesucher*innen ein. Von den befragten 25 Personen waren 21 Besucher*innen und vier vom Personal. Zwei Personen haben wir zweimal befragt, da sie das Museum zuerst individuell besucht und im Anschluss an einer Concierge Test-Führung teilgenommen haben. Für die Teilnahme an den Interviews erhielten die Besucher*innen ein kleines Dankeschön in Form von Schokolade. Dies wurde ihnen vor der Teilnahme nicht mitgeteilt.

Beobachtung und Befragung: Gruppenführung

Vor der regulären Öffnungszeit des Museums fand am Morgen eine Gruppenführung statt. Diese Führung wurde von der Museumsleitung eigens für den Feldtag organisiert. Die Autor*innen dieser Studie nahmen an dieser Führung ebenfalls teil und beobachteten den Ablauf der Führung sowie die Reaktionen der Gruppe. Die Führung wurde von einem Guide mit mehrjähriger Erfahrung durchgeführt. Insgesamt nahmen acht Personen an der Führung teil (fünf Besucher*innen und drei Studienautor*innen), was weniger ist als bei einer normalen Führung. Die Führung wurde auf Video aufgezeichnet, jedoch nur für den Fall, dass im Nachgang etwas nachgeschaut werden müsste. Eine Analyse des Videomaterials war nicht vorgesehen. Nach der Führung folgte die Befragung anhand des Fragebogens.

Beobachtung und Befragung: Der Concierge Test

Bei einem Concierge Test (Toivonen, 2015; Göthensten & Hellström, 2017) wird eine Dienstleistung, die zukünftig digital angeboten werden soll, manuell durchgeführt. Im Gegensatz zum Wizard of Oz Experiment wird hier nicht die Illusion eines bestehenden digitalen Produkts erzeugt. In dieser Studie ist dies die Dienstleistung einer digitalen Museumsführung. Um herauszufinden, wie die digitale Museumsführung ausgestaltet sein sollte, wurde diese manuell simuliert. Einer der beiden erfahrenen Museumsguides übernahm die Rolle der Führung und versuchte für die Teilnehmenden (jeweils ein Paar) eine ideale Führung zu gestalten. Dabei war es die Aufgabe des Guides, die Tour anhand der zuvor abgefragten Interessen der Besucher*innen zu gestalten. Ziel dieses Concierge Tests war es, zu ermitteln, welche Interessen wie ermittelt werden können und welche Konsequenzen dies auf die Führung hat. Die Führungen wurden auf 30 Minuten festgesetzt und von zwei Beobachtern begleitet. Im Anschluss an die Führung wurden sowohl die Besucher als auch der Guide interviewt.

Beobachtung und Befragung: Individualbesucher*innen

Besucher*innen, welche spontan kamen und nicht an einer Führung teilnahmen, wurden vom Kassenpersonal gefragt, ob sie bereit wären von den Studienautoren während eines Teils ihres Besuches begleitet zu werden. Vor dem Besuch wurden erste Fragen gestellt, während des Besuchs erfolgte eine Begleitung. Der Beobachter hielt sich teilweise im Hintergrund auf und stellte gelegentlich einige Fragen. Diese Fragen waren nicht vordefiniert und entsprechend abhängig vom gezeigten Verhalten der Besucher. So wurde zum Beispiel gefragt, warum gewisse Exponate besonders lange oder gar nicht angeschaut wurden oder warum der Besucher ein Foto gemacht hat etc. Während der Beobachtungen machte sich der Beobachter Notizen über das beobachtete Verhalten.

Interviews: Guides und Kassenpersonal

Die beiden am Feldtag anwesenden Guides absolvieren zusammen etwa 80% der organisierten Führungen. Obwohl die Studienautor*innen an keiner regulären Gruppenführung, sondern nur an einer extra für diesen Anlass organisierten, teilnahmen, konnten sie durch Interviews mit den Guides Wissen über das Verhalten von Besucher*innen in Gruppenführungen erlangen. Da beide Guides diese Tätigkeit schon seit vielen Jahren ausüben, verfügen sie über umfangreiches Wissen bezüglichen den Besucher*innen, deren Interessen sowie über das Museum und dessen Geschichte. Diese Interviews wurden anhand von vorbereiteten Fragebögen geführt. In der Annahme, dass das Kassenpersonal ebenfalls über großes Wissen über die Besucher verfügt, wurde ein Interviewleitfaden für diese Zielgruppe definiert. Wie sich am Feldtag herausstellte, ist das Kassenpersonal im Milizsystem “angestellt” und wird von den örtlichen Fastnachtsvereinen gestellt. Dadurch wechselt das Personal ständig und es sind immer neue Personen vor Ort, welche noch keine Erfahrung gesammelt haben. Das vorbereitete Interview wurde entsprechend geändert, da viele der Fragen vom anwesenden Personal nicht beantwortet werden konnten. Dafür wurden andere Fragen, die auf die Situation und Bedürfnisse des Kassenpersonals eingehen, gestellt, um so Erkenntnisse über deren Anforderungen zu gewinnen.

Fake Door Experiment

Bei einem Fake-Door oder auch 404-Page-Experiment wird den Testpersonen ein Angebot angepriesen, das es so (noch) nicht gibt (Olsen, 2015; Wiles et al., 2016). Für die Testperson ist dies jedoch nicht ersichtlich, sie denkt, dass es sich um ein nutzbares, echtes Angebot handelt. Erst wenn die Testperson das Angebot nutzen möchte, wird sie darüber aufgeklärt, dass es sich nur um einen Test handelt und das Angebot so gar nicht existiert. Das Ziel des Experimentes ist es, das Interesse an einem Angebot abzuschätzen. Da eine mögliche Form der individualisierten Museumsführung eine iPad gestützte Führung ist, wurde diese Option ausgewählt. Mit dem Fake Door Experiment sollte ermittelt werden, ob die Besucher*innen in diesem Museum ein iPad akzeptieren bzw. nutzen würden. Bei der anschließenden Befragung konnte nach den Gründen für oder gegen die Wahl des Angebots gefragt werden. Das Angebot wurde als kostenlos beworben, um das grundsätzliche Interesse unbeeinflusst von der Zahlungsbereitschaft abzufragen.

Für das Experiment wurde ein Werbeaufsteller zusammen mit einem iPad an der Kasse platziert. Das Kassenpersonal wurde instruiert, diese Art der Führung den spontanen Besuchern beim Ticketkauf anzubieten. Bei der Planung dieses Experiments gingen die Studienautor*innen von einer höheren Zahl von spontanen Besuchen aus. Da die Zahl der Besucher*innen, die das Museum nicht in Verbindung mit einer organisierten Führung besuchen jedoch eher gering war, konnte das Experiment nur beschränkt durchgeführt werden. Trotzdem wurden Erkenntnisse aus dem Experiment gewonnen.

Forschungsziel

Die Fallstudie soll tragfähige Informationen über die Bedürfnisse der Nutzergruppen erbringen. Ziel ist es, dadurch eine Grundlage für die Neukonzeption des zukünftigen digitalisierten Museums zu erstellen.

Grundsätzlich sollen die einzelnen Stationen des Museums durch den Technologieeinsatz sehr viel stärker als bisher erlebnisorientiert gestaltet werden. Diese erlebnisorientierte Ausrichtung spricht zwei der drei in der Fallstudie identifizierten Nutzergruppen verstärkt an. Grundsätzlich wurde festgestellt, dass die einzelnen Stationen bei weiterer Konzeption und erster technischer Realisierung früh durch Prototypen getestet werden sollten. Die geplante Verbindung der Stationen beim Museumsbesuch sollten durch Szenarien und User Stories unterstützt werden.

Nachnutzung

Im Zusammenhang mit der Fallstudie sind u.a. Personas, verschriftlichte Interviews, Realtimeboards, User Scenarios als Stories sowie eine Anforderungsmatrix erstellt worden. Es liegt eine detaillierte zusammengefasste Dokumentation als PDF vor. Alle Elemente der Nachnutzung finden Sie im Anhang dieser Publikation.

Auswertung

Evaluation von Nutzergruppen und Personas: In einem ersten Schritt wurden alle Informationen aus den Interviews und Beobachtungen auf einer virtuellen Pinnwand gesammelt. Sortiert wurden die Informationen zuerst nach den befragten bzw. beobachteten Besucher*innen. Da die Besucher*innen von unterschiedlichen Personen befragt wurde, hatten alle drei Studienautoren unterschiedliche Erlebnisse bzw. Wissensstände, weswegen dieser Schritt viel Zeit in Anspruch nahm. Jede befragte Besucher*in wurde einzeln besprochen und alles Relevante über diese Person aufgeschrieben. Diese Informationen umfassten einerseits Äußerungen aus den Interviews, andererseits Beobachtungen und demographische Informationen. Jede Information wurde auf ein einzelnes virtuelles Post-it geschrieben. Im nächsten Schritt wurden diese Informationen von den drei Studienautoren unabhängig voneinander nach Themen sortiert. Danach wurden die verschiedenen, aber sehr ähnlichen Aufteilungen miteinander verglichen.

Aus diesen neu erstellten Übersichten wurden verschiedene Kriterien herausgearbeitet, anhand derer die Besucher*innen eingeordnet werden können:

• Allgemeine Museumserfahrung
• Fasnachtswissen
• Persönlicher Bezug zu den Exponaten
• Lokal vs. extern
• Berührungsängste Technik
• Gewünschte Besuchsdauer / Intensität
• Gruppenkonstellation (Alleine, Paar, Familie etc.)
• Interaktionsbedürfnis innerhalb der Konstellation
• Interaktionsbedürfnis außerhalb der Konstellation
• Präferenzen in Bezug auf Museumsführung

Nachdem die Dimensionen definiert waren, wurden alle Interviewten entsprechend eingeordnet. Daraus ergab sich ein Bild über alle befragten Personen und deren Präferenzen und Charakteristika. Mit Hilfe dieses Bildes und den Informationen aus den Interviews mit den Museumsguides konnten dann drei Kategorien von Besuchern ausgearbeitet werden: “Wissenshungrige Experten”, “Fasnachtserfahrene aus der Region” und “Externe”.

Da sich die Motive und Bedürfnisse innerhalb dieser Gruppen teilweise stark unterschieden, wurde eine weitere Unterteilung in insgesamt sieben Personas vorgenommen. Die Persona eines Kindes von acht Jahren war nicht unmittelbar befragt worden, sondern wurde auf der Grundlage eines jüngeren Kindes einer Familie in der Untersuchung und mit den Museumserfahrungen mit einem achtjährigen Kind entwickelt. Diese Altersgruppe erschien aufgrund der höheren Autonomie beim Museumsbesuch besonders relevant.

Eine der Personas der Kategorie “Externe” wurde zusätzlich zu den in der Studie repräsentierten Besuchergruppen ergänzt. Da in der Nähe des Museum ein Campingplatz ist, kommen in der Hauptreisezeit häufig Touristen vorbei. Die Befragung fand allerdings im November statt, so dass diese relevante Besuchergruppe an diesem Tag nicht im Museum vertreten war. Die beschreibenden Elemente dieser Persona kamen einerseits aus Informationen der Guides, aber andererseits auch von Besucher*innen, die befragt wurden und die sich zwar nicht im Urlaub befanden, aber Angaben zu Museen, die sie im Urlaub besuchten, machten (Bedürfnisse, Verhalten, Pain Points etc.).

Die Personas wurden zum Teil nicht als Einzelpersonen, sondern in ihrer Konstellation erstellt, z.B. als Paar oder Familie. Dies wurde bewusst gewählt, da sie in dieser Konstellation gemeinsam durch das Museum gehen, gemeinsame Bedürfnisse und Ziele haben und ein anderes Verhalten zeigen als als Einzelperson.

User Scenarios als Stories: Um die Personas weiter anzureichern und zu der frühen Entwicklungsphase wichtige Informationen über die Motivation und den zeitlichen Verlauf eines Museumsbesuchs zu vermitteln, wurden zu den einzelnen Personas Nutzungsszenarien in Form von detaillierten Stories entwickelt (Nielsen & Madsen, 2006; Gudjonsdottir, 2010; Turner, Reeder & Ramey, 2013). Die Stories basieren einerseits auf den Beschreibungen, Pain Points und Bedürfnissen die zu den jeweiligen Personas entwickelt wurden, andererseits stützen sie sich auf die Interviews und die Beobachtungen der verschiedenen Museumsbesuche. Zusätzlich zu dem eigentlichen Museumsbesuch wurden in den Stories die relevanten Phasen vor und nach dem Besuch dargestellt. Es ist das Ziel, dass diese Szenarien den Entwicklern Informationen zum zeitlichen Ablauf der Museumsbesuche und den damit verbundenen Motivationen und Erfahrungen besser übermitteln. Außerdem sollen die Szenarien mit dem Einsatz der noch zu entwickelnden Technologiekonzepte erweitert werden, bzw. einen Vergleich ermöglichen (Ist-Soll-Ablauf).

Anforderungen: In den Personas wurden die jeweiligen Bedürfnisse erfasst, aus welchen die Anforderungen an den Museumsbesuch abgeleitet wurden. Da diese bei mehreren Personas zum Teil gleich sind, wurde eine übersichtliche Tabelle mit Informationen zu den jeweiligen Anforderungen und Bedürfnissen erstellt.

Workshop mit Auftraggeber: Im Anschluss an die Evaluation wurde zur Ergebnisvermittlung ein Workshop mit dem Auftraggeber durchgeführt. Im Rahmen des Workshops wurde vom Projektteam der aktuelle Stand der Fallstudie und die vorläufigen Untersuchungsergebnisse präsentiert. Ziel des Austauschs war, einen genaueren Einblick in den Stand der technischen Konzeption und der Umsetzung des Gesamtprojektes zu erhalten. Die ausführliche Dokumentation finden Sie im Anhang.

Erfahrungen

Aufgrund der zeitlichen Begrenzung des Feldtags auf einen Tag ergab sich der Nachteil, dass die an diesem Tag beobachteten Besucher nicht repräsentativ für ein ganzes Jahr sind. So konnten beispielsweise häufige Besuchergruppen wie Touristen und Vereine nicht beobachtet werden. Auch eine weitere Befragung, um auf bestimmte Punkte noch einmal genauer einzugehen, war nicht möglich.

Andererseits wurden am Feldtag sehr viele Daten gesammelt, weshalb ein zweiter Beobachtungstag innerhalb dieser Fallstudie sich negativ zu Lasten der Zeit, die für die Evaluation benötigt wurde, ausgewirkt hätte. Die befragten Besucher*innen deckten eine große Bandbreite ab und gaben einen guten Überblick und genug Material, um daraus Erkenntnisse gewinnen zu können. Der Zeitplan für den Feldtag hat sehr gut funktioniert. Die eingeplanten Pausen zwischen den Testbesuchern wurden alle benötigt, da die Beobachtungen / Befragungen länger dauerten. Eine engere Taktung wäre also unmöglich gewesen. Durch die sehr familiäre Atmosphäre im Museum (die Befragung fand in der Museumsküche statt), wurde bei den Besuchern trotz der Beobachtungssituation kein Stress ausgelöst. Die Audioaufnahmen erwiesen sich als nützlich, um die ausgefüllten Fragebögen zu ergänzen. Das Filmmaterial war sehr umfangreich und wurde für die Auswertung nur wenig genutzt.

Die ausführliche Dokumentation finden Sie im Anhang.

Anhang

Quellenverzeichnis

1. Göthensten, V., und A. Hellström. Finding product-market fit: How do software start-ups approach product-market fit? (Masters Thesis). Univ. Gothenburg, School of Business and Law, 2017.
2. Gudjonsdottir, R. Personas and scenarios in use. (PhD Thesis). KTH Stockholm, 2010.
3. Nielsen, L., und S. Madsen. “Using storytelling to reflect on IT projects. ” JITTA: Journal of Information Technology Theory and Application 7, no. 4 (2006): 35–47.
4. Olsen, D. The lean product playbook: How to innovate with minimum viable products and rapid customer feedback. New York: John Wiley & Sons, 2015.
5. Roussou, M., A. Katifori, L. Pujol, M. Vayanou, und S. J. Rennick-Egglestone. “A life of their own: Museum visitor personas penetrating the design lifecycle of a mobile experience. ” In CHI’13 Extended Abstracts on Human Factors in Computing Systems, hg. von der Association for Computing Machinery, S. 547–552. New York: 2013.
6. Toivonen, T. “Continuous innovation–combining Toyota Kata and TRIZ for sustained innovation.“ Procedia engineering 131 (2015), 963–974.
7. Turner, A. M., B. Reeder, und Ramey, J. “Scenarios, personas and user stories: User-centered evidence-based design representations of communicable disease investigations.“ Journal of biomedical informatics 46, no. 4 (2013): 575–584.
8. Van Hage, W.R., N. Stash, Y. Wang, und L. Aroyo. “Finding Your Way through the Rijksmuseum with an Adaptive Mobile Museum Guide.“ In The Semantic Web: Research and Applications. ESWC 2010. LNCS 6088, hg. von Aroyo L. et al., 46–59. Berlin, Heidelberg: Springer, 2010.
9. Wiles, J., P. Worthy, K. Hensby, M. Boden, S. Heath, P. Pounds, N. Rybak, M. Smith, J. Taufotofua, und J. Weigel. “Social cardboard: pretotyping a social ethnodroid in the wild.“ In ACM/IEEE International Conference on Human Robot Interaction, S. 531–532. IEEE Press, 2016.

Weitere Ergebnisse im Teilprojekt

Digitale Vermittlungstools

Lively Exhibition

Museen der Schwäbisch-alemannischen Fastnacht

Die „Lively Exhibition“ ist ein System zur schnellen und dynamischen Kuration und Produktion von Ausstellungen mit User-Beteiligung für das Fasnachtsmuseum Schloss Langenstein, 3D-Modellierung.

Digitale Vermittlungstools

Das Narretarium – das 360°-Projektionskino im Fastnachtsmuseum

Museen der Schwäbisch-alemannischen Fastnacht

Für das gemeinsame Erleben der 360-Grad-Filme von Fastnachtsbräuchen wurde eine sogenannte teilstationäre 360°-Kuppel aufgebaut.

Digitale Vermittlungstools

Postproduktion und Datenverwaltung von 360-Grad-Aufnahmen. Erfahrungen aus dem Fastnachtsmuseum Narrenschopf

Museen der Schwäbisch-alemannischen Fastnacht

Bei 360-Grad-Filmaufnahmen ist die Auswahl valider Szenen und deren Anordnung zu einem stringenten Handlungsablauf angesichts der gewonnenen Datenmengen eine Herausforderung.

Alle anzeigen