User Experience messen – das ist Dr. Martin Schrepp’s Thema aus Leidenschaft.
Martin Schrepp studierte Mathematik & Psychologie an der Universität Heidelberg. 1990 schloss er das Studium mit dem Titel Diplom-Mathematiker ab und begann eine Promotion in Psychologie. Nach Abschluss der Promotion wechselte er zur SAP AG. Dort ist Dr. Martin Schrepp seit 1994 als UX Experte tätig.
Seiner Leidenschaft für das Messen von UX konnte er stets treu bleiben.
Dr. Martin Schrepp hat zusammen mit Theo Held und Bettina Laugwitz den User Experience Questionnaire (UEQ) entwickelt und betreut die Weiterentwicklung dieses häufig genutzten UX Fragebogens seitdem zusammen mit Andreas Hinderks und Prof. Dr. Jörg Thomaschewski.
In zahlreichen Forschungs-, Buchbeiträgen und in seinem Buch User Experience mit Fragebögen messen hat Martin Schrepp sein UX Wissen geteilt und damit der UX Community viel Gutes getan.
„User Experience messen“ – Dr. Martin Schrepp im Interview
Im Interview auf Nutzerbrille gibt Dr. Martin Schrepp seine Erfahrungen zu methodischen Fragen rund um das Messen von User Experience weiter.
Ich freue mich sehr heute mit Dir, lieber Martin, über das Thema „User Experience mit Fragebogen messen“ sprechen zu können. Ein Thema das in der UX Community schon seit Jahren ganz eng mit Dir verbunden ist.
Wie entwickelte sich Deine Leidenschaft für dieses Thema?
[Dr. Martin Schrepp] – Bevor ich als UX Designer angefangen habe, hatte ich in Psychologie promoviert. Dort ist ja das Messen und das Erzeugen von geeigneten Messinstrumenten für nicht direkt beobachtbare Konstrukte (z.B. Intelligenz, Persönlichkeitseigenschaften) ein Standardthema. Hier wird naturgemäß auch stark mit Fragebögen gearbeitet.
Als Designer hat mich dann die Frage, wie messe ich eigentlich die Wahrnehmung, die die Nutzer zu den von mir betreuten Produkten haben, stark interessiert. Ich habe dann 2006 mit zwei Kollegen bei SAP den User Experience Questionnaire (UEQ) entwickelt (den kann man sich unter www.ueq-online.org ansehen). Seitdem habe ich eigentlich kontinuierlich an der Weiterentwicklung dieses Fragebogens und anderen Themen im Bereich „UX messen“ gearbeitet und dabei natürlich auch immer versucht mich zu informieren, was andere in dem Bereich so treiben. Daraus und aus eigenen praktischen Erfahrungen mit verschiedenen Fragebögen, ist letztlich auch das Material für das Buch User Experience mit Fragebögen messen entstanden.
Wann hast Du das letzte Mal UX mit einem Fragebogen gemessen – und welche konkreten Erkenntnisse konntest Du für Deine Arbeit gewinnen?
[Dr. Martin Schrepp] – Ich verwende eigentlich regelmäßig Fragebögen, um quantitative Daten zu erhalten, die mir in gewisser Weise zeigen, wo die von mir betreuten Produkte bzgl. UX stehen. Natürlich den UEQ, aber auch den VISAWI oder den SUS. Häufig auch in Verbindung mit klassischen Usability Tests, da sich diese beiden Methoden eigentlich sehr gut ergänzen.
Ein Fragebogen liefert im Gegensatz zu einem Usability Test keine konkreten Hinweise zur Verbesserung eines Produkts, z.B. dass ein bestimmter Begriff auf dem UI nicht gut verständlich ist. Aber er zeigt, welchen subjektiven Eindruck Nutzer von einem Produkt haben, wo man im Vergleich zu anderen Produkten steht (z.B. über einen Benchmark, den die meisten Standardfragebögen anbieten) bzw. in welcher Richtung man ein Produkt weiterentwickeln muss. Hat man z.B. gute Werte für die pragmatischen UX Aspekte (z.B. Effizienz oder Erlernbarkeit), aber schlechte Werte für Stimulation (Fun of Use), ist das ein klares Indiz, in welcher Richtung man für die nächste Version des Produkts arbeiten muss.
UX Fragebögen – Wie wähle ich den richtigen aus?
Es gibt viele kostenlos zugängliche Fragebögen um UX zu messen. Einige versprechen eine ganzheitliche Messung, andere fokussieren auf einzelne Facetten der User Experience. Da fällt die Auswahl oft schwer. Wie gehst Du vor um das richtige Instrument zu finden?
[Dr. Martin Schrepp] – Bevor man einen Fragebogen wählt, sollte man sich immer die Frage stellen, warum man UX überhaupt messen will? Das ist ja kein Selbstzweck, sondern soll letztlich helfen, Produkte erfolgreicher zu machen.
Hier muss man natürlich die UX Aspekte (z.B. Effizienz, Erlernbarkeit, Fun of Use, etc.) messen, die für die Nutzer des Produkts wichtig sind. Schließlich will man wissen, wie zufrieden die Nutzer sind und in welchen Bereichen das Produkt nicht gut ankommt. Welche Aspekte das sind, hängt stark von der Art des Produkts ab. Für eine betriebswirtschaftliche Anwendung sind für die Nutzer andere Aspekte relevant, als für einen Web-Shop oder ein Soziales Netzwerk.
Aber das reicht in der Regel nicht aus. Es gibt hier auch Marketinggesichtspunkte zu berücksichtigen. Wie wird das Produkt beworben und platziert? Braucht man eine originelle Gestaltung, um die Aufmerksamkeit auf das Produkt zu lenken? Wenn ja, sollte man den Aspekt der Originalität auch messen, selbst wenn er für die eigentlichen Nutzer nicht so wichtig sein sollte.
D.h. im ersten Schritt muss man sich überlegen, welche UX Aspekte man messen will, um das Produkt erfolgreicher zu machen. Wenn man ein Produkt und seine Nutzer gut kennt, fällt diese Auswahl meist nicht schwer. Wenn nicht, kann man über Befragungen von Nutzern oder auch Produktverantwortlichen meist zumindest ein grobes Verständnis für die relevanten UX Aspekte erreichen.
Hat man eine solche Liste „relevanter“ UX Aspekte, kann man auf die Suche nach einem passenden Fragebogen gehen. D.h. einem Fragebogen, der möglichst viele der wichtigen UX Aspekte mit einer Skala misst. Wenn man Pech hat, kommt man mit einem einzigen Fragebogen nicht aus, sondern muss mit mehreren arbeiten oder muss sich auf die Messung der wichtigsten UX Aspekte beschränken.
„Man lernt am meisten über UX Fragebögen, wenn man konkret mit ihnen arbeitet.“ (Dr. Martin Schrepp).
Woran kann ich erkennen, ob ein Messinstrument ein gutes ist? Was sind zentrale Qualitätskriterien eines Fragebogens?
[Dr. Martin Schrepp] – Für UX Fragebögen hat man eigentlich ähnliche Qualitätskriterien, wie für andere Arten von Fragebögen oder psychologische Tests. Objektivität (d.h. das Ergebnis sollte unabhängig vom Durchführenden sein, was bei den stark standardisierten UX Fragebögen eigentlich überall erfüllt ist), Reliabilität (Genauigkeit, mit der eine Skala eines Fragebogens misst) und Validität (misst die Skala auch wirklich das, was sie zu messen vorgibt).
Bei Standardfragebögen sind meist einige wissenschaftliche Studien vorhanden, in denen die Autoren des Fragebogens versuchen, genau diese Qualitätskriterien nachzuweisen. Das ist gerade bei der Validität oft nicht ganz einfach, da die zugrundeliegenden UX Konstrukte oft nicht sehr sauber beschrieben und von anderen UX Qualitäten abgegrenzt sind.
Umfragedaten messen und interpretieren!
Wenn ich eine Suchmotivation hab, dann ist Steuerbarkeit und Effizienz für mich sehr wichtig. Bin ich im Stöbermodus, dann mag ich Aktivierung durch Fotos, Animationen und eine abwechslungsreiche Gestaltung, schätze Originalität und Schönheit in der Gestaltung besonders wert.
Wie kann man situative Einflussfaktoren bei der Messung von UX und der Interpretation von gemessenen Daten beachten?
[Dr. Martin Schrepp] – Wenn die Nutzer der Anwendung oder Web-Seite mit beiden Motivationen unterwegs sind, ist die Unterscheidung nicht relevant. Dann spielen einfach alle UX Kriterien aus Such- und Stöbermodus eine Rolle. Schwierig wird es, wenn man Nutzergruppen hat, die jeweils vorwiegend suchen oder stöbern. Die Nutzer beider Gruppen haben dann evtl. sehr unterschiedliche Nutzererlebnisse mit der gleichen Anwendung, was natürlich zu sehr unterschiedlichen Bewertungen führen kann. Wenn man so etwas vermutet, lohnt es sich sicher die Daten des Fragebogens daraufhin zu untersuchen, ob man die Teilnehmer in unterschiedliche Gruppen mit unterschiedlichen Ansichten unterteilen kann.
In solchen Fällen macht es auf jeden Fall Sinn einem UX Fragebogen noch einige zusätzliche Fragen voranzustellen, die das Nutzungsverhalten des Teilnehmers (oder andere Besonderheiten, von denen man annimmt, dass sie die UX Wahrnehmung beeinflussen) erfragen.
UX & Marke – Kann man das trennen?
Lass uns über den Zusammenhang zwischen Marke und UX sprechen. Es gibt Unternehmen deren Markenwerte sind so stark , dass Nutzer UX Schwächen verzeihen. Meine These: Wenn Apple den „Buy-Button“ auf seinem Webshop absichtlich versteckt, dann hat das keinerlei Effekt auf den Abverkauf. Die Shopbesucher suchen einfach so lange, bis sie ihn gefunden haben.
Ausstrahleffekte von der Marke auf die UX treten stets auf. Wie gehe ich damit um, wenn es beispielsweise darum geht die UX zweier Anwendungen miteinander zu vergleichen?
[Dr. Martin Schrepp] – Sicher gibt es einen Zusammenhang zwischen Markenwahrnehmung und UX. Eine positive Markenwahrnehmung bei einem Konsumenten entsteht ja auch über die Zeit durch positive Erlebnisse mit einem Produkt. D.h. eine positive UX ist einer der Faktoren, die eine positive Markenwahrnehmung erzeugen.
Hat ein Nutzer umgekehrt schon eine positive Wahrnehmung einer Marke, wird er oder sie auch die UX entsprechend einschätzen, d.h. selbst wenn eine neue Produktversion Schwächen hat, wird das bei einer positiven Markenwahrnehmung deutlich milder beurteilt werden, als bei einer negativen Markenwahrnehmung. In der Marktforschung ist ja das Phänomen der evaluativen Konsistenz gut untersucht, d.h. die Tendenz fehlende Informationen zum Produkt aus der allgemeinen Bewertung der Marke abzuleiten (z.B. wenn man für Premiummarken auch eine hohe Produktqualität annimmt und damit einen hohen Preis akzeptiert, was ja nun leider faktisch nicht immer stimmt). Ähnliche Effekte treten natürlich auch bei der Beurteilung eines Produkts mit einem UX Fragebogen auf.
Ein UX Fragebogen misst immer die subjektive Wahrnehmung von UX. D.h. nehmen wir mal an, dass wir zwei Produkte mit einem UX Fragebogen messen. Nehmen wir weiter an, dass die Produkte eigentlich vom Design und von der Interaktion völlig identisch sind. Produkt A ist einer Marke mit sehr positiver Markenwahrnehmung zugeordnet, Produkt B stammt von einer völlig unbekannten Marke. Was werden wir als Ergebnis bekommen?
Vermutlich wird Produkt A im Vergleich der Fragebogenergebnisse besser abschneiden. Logisch, die subjektive Wahrnehmung ist auch besser. Ich denke das Beispiel zeigt sehr schön zwei wichtige Aspekte von UX Fragebögen. Erstens messen diese immer den subjektiven Eindruck von einem Produkt, d.h. man sollte das nicht mit einer wie auch immer definierten „objektiven“ User Experience verwechseln. Zweitens muss man Ergebnisse eines UX Fragebogens immer im Kontext interpretieren. Einfach Daten erheben und platt die Zahlen vergleichen kann unter Umständen ziemlich irreführend sein. Aber das gilt natürlich für jede Messmethode.
Gibt uns abschließend noch 2-3 Tipps für eine weiterführende Lektüre zum Thema „UX mit Fragebögen messen“?
[Dr. Martin Schrepp] – Ich denke am meisten lernt man über UX Fragebögen, wenn man konkret mit ihnen arbeitet. Die meisten Fragebögen sind frei verfügbar und wenn man den nächsten Usability Test macht, kostet es wenig Zeit, einfach mal einen Fragebogen mitlaufen zu lassen. Oder warum nicht mal einen Link zu einem Online-Fragebogen per Mail an bekannte Kunden schicken?
Die im deutschen Sprachraum verbreiteten Fragebögen UEQ, VISAWI, AttrakDiff2 sind auch alle frei verfügbar, d.h. einfach mal ausprobieren, wenn sich eine Gelegenheit bietet.
Vielen Dank, lieber Martin, für diese Einblicke in Deinen Wissensschatz in Sachen „User Experience mit Fragebögen messen“!
