UX KPI auf Basis eines UX Fragebogens

In vielen Unternehmen werden Entscheidungen meist auf der Grundlage von Kennzahlen wie Umsatz, Gewinn oder Mitarbeiterzufriedenheit getroffen. Führungskräfte sind es gewohnt, Informationen über Kennzahlen zu verdichten und zur Verfügung zu stellen.

Für ein Unternehmen bzw. Produktverantwortlichen ist es oft schwierig, nur eine einzige Kennzahl für das gesamte Produkt zu verwenden. Entscheidungsträger in Unternehmen verwenden in der Regel eine Reihe ganz unterschiedlicher Kennzahlen. Jede Kennzahl repräsentiert einen Aspekt, der für den Erfolg des Unternehmens oder seiner Produkte wichtig ist. Aus diesem Grund hat jede Abteilung, die zum Erfolg eines Produkts beiträgt, in der Regel eine individuelle Kennzahl, die den Beitrag der Abteilung widerspiegelt. Auf der Grundlage dieser Kennzahlen kann ein Monitoring durchgeführt werden, um das Unternehmen besser zu steuern. Dies führt zu der Forderung, Messergebnisse bezüglich der User Experience (UX) in einer einzigen Zahl, d.h. einem Key Performance Indicator (KPI), abzubilden.

Die in diesem Beitrag vorgestellte Methode basiert auf dem User Experience Questionnaire (UEQ) und zeigt, wie man durch eine Erweiterung des Fragebogens einen KPI erhält. Wir haben uns für die Erweiterung des UEQ entschieden, weil es sich um einen etablierten UX-Fragebogen handelt, der kostenlos verfügbar ist und pragmatische und hedonische Qualitäten messen kann. Die Originalversion des UEQ wurde in Deutsch und Englisch entworfen und in mehrere Sprachen wie Spanisch und Portugiesisch übersetzt. Das Ziel des UEQ ist es, eine schnelle Beurteilung durch die Endbenutzer zu ermöglichen, die einen möglichst umfassenden Eindruck der Benutzererfahrung vermittelt. Sie soll es den Anwendern ermöglichen, Gefühle, Eindrücke und Einstellungen, die beim Erleben des untersuchten Produkts entstehen, auf sehr einfache und unmittelbare Weise auszudrücken. Der UEQ besteht aus 26 Items (einzelne Fragen), die in 6 Dimensionen (Attraktivität, Auffälligkeit, Effizienz, Zuverlässigkeit, Stimulation und Neuheit) gruppiert sind. Jede Dimension repräsentiert einen bestimmten UX-Qualitätsaspekt.

Eine erweiterte Version des UEQ ist der UEQ+. Der UEQ+ ist ein modularer Fragebogen, der für jedes Produkt individuell hinsichtlich der Dimensionen schnell und einfach erstellt werden kann. Auch dieser Fragebogen ist für die Berechnung einer UX KPI geeignet.

Die Idee

Die zentrale Idee unseres Ansatzes ist es, zusätzlich pro UEQ-Dimension zu messen, wie wichtig der Teilnehmer die Dimension in Bezug auf das zu bewertende Produkt einschätzt. Die Zusatzfragen stellen einen direkten Bezug zu den Dimensionen her, indem die wichtigsten UEQ-Items (jeweils in positiver Form) der entsprechenden Dimension genannt werden. Aufgrund dieses Zusammenhangs können wir davon ausgehen, dass die Frage die Bedeutung der zugehörigen Dimension wirklich erfasst. Die Zusatzfragen lauten pro Dimension wie folgt:

  • (A) Attraktivität: Das Produkt soll attraktiv, angenehm und sympathisch wirken.
  • (P) Durchschaubarkeit: Das Produkt soll übersichtlich, verständlich und leicht zu lernen sein.
  • (E) Effizienz: Das Produkt soll mir helfen, meine Aufgaben schnell, effizient und pragmatisch zu erledigen.
  • (D) Steuerbarkeit: Die Bedienung des Produkts soll in der Bedienung vorhersehbar und gut kontrollierbar sein.
  • (S) Stimulation: Das Arbeiten mit dem Produkt soll interessant, spannend und aktivierend sein.
  • (N) Originalität: Das Produkt soll originell, innovativ und kreativ gestaltet sein.

Am Ende haben wir pro Dimension zwei Werte: Einmal die tatsächliche IST-Bewertung und die Wichtigkeit der Dimensionen. Die nachstehend beschriebene Formel besteht darin, für jeden Teilnehmer die IST-Bewertung und die bewertete Wichtigkeit jeder UEQ-Dimension zu kombinieren. Daher berechneten wir für jeden Teilnehmer die relative Wichtigkeit jeder Dimension (die W-Werte pro Dimension in der Formel: Aw, Pw, Ew, Dw, Sw und Nw) und multiplizierten diese mit dem Wert der UEQ-Dimension (Die Dimensionswerte: A, P, E, D, S und N). So erhalten wir pro Teilnehmer eine individuelle KPI. Der Durchschnitt aller Teilnehmer ergibt dann die Gesamt KPI. Formal sieht die Formel dann wie folgt aus:

Formel zur Berechnung der UX KPI

Ein kleiner Hinweis am Rande: Die Formel mag vielleicht für den einen oder andern komplex aussehen. Wir haben für die Berechnung der KPI die Excel-Auswertung für den UEQ erweitert. In dieser Excel-Auswertung muss man nur die Daten aus den Fragebögen eintragen und alles andere wird berechnet. Damit kann auch ein nicht geübter Excel-Anwender die KPI berechnen.

Ein Beispiel aus der Praxis

Um die KPI in der Praxis zu validieren bzw. einmal einzusetzen haben wir eine große Umfrage durchgeführt. Wir haben in drei Ländern (England, Spanien und Deutschland) Amazon (insgesamt 433 Teilnehmer) und Skype (insgesamt 362) bewerten lassen. Daraufhin haben wir die KPI berechnet:

KPI für Amazon
KPI für Skype

Die Ergebnisse zeigen, dass die KPI berechnet werden kann und offensichtlich auch ein sinnvolles Ergebnis liefert, wie man anhand der unterschiedlichen Ergebnisse für Amazon und Skype als auch pro Land erkennen kann.

Zu bemerken ist, dass in der statistischen Auswertung es sich gezeigt hat, dass die zusätzlichen Fragen zur Wichtigkeit einer Dimension statistisch unabhängig beantwortet wurden. Es gibt also keine Abhängigkeit von der Bewertung und der Wichtigkeit der Dimension.

Diskussion

Der Umfang, in dem die UEQ KPI in der Praxis eingesetzt werden kann, hängt vom Produkt und der Organisation ab. Es sollte im Vorfeld geprüft werden, inwieweit die UEQ KPI für die gewünschte Anwendung eingesetzt werden kann. Ob die UEQ KPI als Metrik dienen kann, sollte im konkreten Fall geprüft werden.

Es ist wichtig zu beachten, dass durch die beschriebene Methode keine Informationen verloren gehen. Der UEQ wurde um sechs zusätzliche Fragen erweitert, aber ein vollständig ausgefüllter Fragebogen ist immer noch verfügbar. Das bedeutet, dass die Informationen zu den einzelnen Dimensionen nach wie vor verfügbar sind. Der Fragebogen wurde lediglich erweitert und an sich nicht verändert. Wer für ein Produkt verantwortlich ist, hat die Wahl. Zum einen kann er alle detaillierteren Informationen nutzen, die die UEQ bietet. Zum anderen kann er mit dem UEQ KPI eine gültige Kennzahl im Unternehmen melden.

Wer jetzt noch tiefer in das Thema einsteigen möchte, kann gerne unseren englischen Artikel „Developing a UX KPI based on the User Experience Questionnaire“ lesen. Ist eher wissenschaftlich, enthalt aber alle weiteren Details. Ansonsten können Sie sich auch gerne mit mir direkt austauschen.

Andreas ist Freelancer schreibt über User Experience, Usability, UX Management, Scrum, Agile, Microsoft 365, Office 365, Microsoft Azure.

Leave a reply: