Adaptive User Interfaces: Langzeit-Evaluation

Der Abschnitt definiert Personalisierung als den Einsatz von Technologien und Funktionen zur Anpassung eines Produkts an individuelle Nutzerwünsche und -anforderungen (Kramer, Noronha, Vergo 2000). Ziel ist es, den Nutzern das Erreichen ihrer Ziele im Umgang mit dem Produkt zu ermöglichen. Personalisierung umfasst Anpassungen von Prozessen, Funktions- und Interaktionsabläufen, Informationsinhalten, Benutzeroberflächen und äußeren Merkmalen (Blom, 2000). Die Bandbreite reicht von der Anzeige des Nutzernamens bis zur Konfiguration von Produktfunktionen. Nutzermotivationen für Personalisierung umfassen Arbeitserleichterung (z.B. einfacher Informationszugang, Anpassung an Arbeitsziele und -gewohnheiten) und soziale Bedürfnisse (Emotionen, Persönlichkeitsdarstellung) (Blom, 2000). Blom (2002) identifizierte als wichtigste Gründe eine funktionsorientierte Gestaltung, eine entscheidungsfindungsdienliche Ergebnispräsentation, den Bedarf an zusätzlichen Informationen, die Systemkontrolle und das Wissen über die Personalisierungsmethodik.

Adaptivität wird als systeminitiierte Form der Personalisierung beschrieben, bei der das System sich basierend auf der Interaktion mit dem Nutzer anpasst. Zitate von Langley (1997) und Shneiderman (1995) unterstreichen die Bedeutung eines verständlichen und vorhersehbaren Systemverhaltens für die Akzeptanz durch den Nutzer. Adaptive Systeme, oft als Agent UIs bezeichnet, benötigen ein Benutzermodell, das laufend aktualisiert und auf seine Gültigkeit überprüft wird (Kobsa, 1993). Jameson (2003) betont die Wichtigkeit von Vorhersagbarkeit und Transparenz des Systemverhaltens auf verschiedenen Ebenen (Layout, Antwortverhalten, Erfolg der Interaktion, Nutzungsumgebung). Ein wichtiger Aspekt ist die „Anpassungsgeduld“ des Systems, um Interaktionen nicht auf der Basis eines unvollständigen Benutzermodells zu initiieren (Jameson, 2003). Die Studie von Findlater und McGrenere (2004) zu statischen, adaptierbaren und adaptiven Menüs in Microsoft Word 2000 zeigte zwar eine subjektive Präferenz für personalisierbare UIs, objektiv waren statische Menüs jedoch effizienter.

Aufgrund der automatisierten Anpassungen ist es notwendig, das Vertrauen des Nutzers in das adaptive System zu gewinnen (Wexelblatt, Maes, 2004). Dies geschieht vor allem durch positive Erfahrungen mit Funktionalität und Zuverlässigkeit (Parasuraman, Miller, 2004). Ein angemessener Kommunikationsstil des Systems ist wichtig, um Vertrauen aufzubauen und den Nutzer bei seiner Arbeit nicht zu stören (Parasuraman, Miller, 2004; Jameson, 2003). Die Integration des Agent UI in das Gesamtsystem und einfache Konfigurationsmöglichkeiten sind ebenfalls entscheidend (Wexelblatt, Maes, 2004). Der Ansatz der Konfigurationsmöglichkeit entspricht der Horvitzschen Idee von Mixed-Initiative UIs, birgt aber auch das Risiko der Systemkomplexität (Horvitz, 1999). Konfigurationsmöglichkeiten sollten so gestaltet sein, dass der Nutzer keine neuen Funktionen lernen muss (Wexelblatt, Maes, 2004). Weitere Studien (z.B. McGrenere, Baecker, Booth, 2002) untersuchten die Unterschiede zwischen adaptierbaren und adaptiven UIs, wobei die Nutzer den adaptierbaren Prototypen bevorzugten, obwohl sie objektiv mit statischen Menüs effizienter arbeiteten. Ein Drittel der Probanden bemerkte die adaptive Funktionalität gar nicht.

Die Problemstellung der Arbeit basiert auf der Beobachtung, dass es nur wenige Studien gibt, die sich eingehend mit den Forschungsfeldern Personalisierung und Adaptivität auseinandersetzen. Die Forschungsgemeinde ist geteilt in Bezug auf die optimale Form der Personalisierung: Adaptierbarkeit oder Adaptivität (Horvitz, 1999). Bisherige Forschungsergebnisse zeigen nur vage Tendenzen hinsichtlich Usability und Nutzerpräferenzen. Viele Studien basieren auf Labortests mit vordefinierten Aufgaben, die die tatsächlichen Arbeitsgewohnheiten und -anforderungen der Nutzer nur unzureichend widerspiegeln. Ein Vergleich der Auswirkungen von Adaptivität gestaltet sich daher schwierig, da die Ergebnisse oft nicht eindeutig sind (Höök, 1997). Die individuellen Anforderungen an adaptive Systeme erschweren eine generelle Vorhersage ihrer Entwicklung, und gängige Methoden zur Evaluierung sind begrenzt. Die Studie benötigt daher speziell entwickelte Erhebungsinstrumente, deren Reliabilität und Validität jedoch noch nicht überprüft wurden (Burmester, 2003).

Die Studie hat einen deskriptiv-explorativen Charakter und zielt auf die Verbesserung der Evaluationsmethoden für adaptive Systeme ab. Neben der Überprüfung von Ergebnissen anderer Studien sollen neue Erkenntnisse zu den Forschungsfragen gewonnen werden. Die Ergebnisse sollen möglichst allgemeingültig für die Adaptivität von Interaktionselementen sein und auf verschiedene Produkte und softwarebasierte Dienste übertragbar sein (z.B. Handys, Haushaltsgeräte, Informationssysteme). Eine zentrale Forschungsfrage untersucht die Auswirkungen von Adaptivität auf die Usability, d.h. ob sie eher hinderlich (in Form von Usability-Problemen) oder unterstützend wirkt. Eine weitere Forschungsfrage überprüft die Ergebnisse von Burmester (2003) bezüglich der unterschiedlichen Auswirkungen von Adaptivität auf Nutzer mit hoher und niedriger Nutzungserfahrung. Die Studie will herausfinden, ob sich Adaptivität lernfördernd auf die Nutzung des Systems auswirkt und wie Adaptivität gestaltet sein könnte, um Effektivität und Effizienz der Softwarenutzung zu erhöhen. Die Studie adressiert auch die Problematik von Einstiegshürden bei der Nutzung adaptiver Systeme (Mackay, 1991).

Für die Studie wurden 16 Teilnehmer rekrutiert, wobei die Auswahlkriterien eine möglichst heterogene Stichprobe gewährleisten sollten, um unterschiedliche Nutzer mit der Adaptivität zu konfrontieren. Die Teilnehmer wurden aufgrund ihrer Nutzungserfahrungen mit Microsoft XP Produkten in Experten- und Novizennutzer unterteilt. Die Rekrutierung erfolgte über E-Mails, Plakate und Flugblätter, vorrangig im Raum München, mit und ohne Beteiligung von Siemens-Mitarbeitern. Um die Auswirkungen der Adaptivität präzise zu messen, wurde jeder Bedienungsschritt der vorgegebenen Aufgaben protokolliert und durch Videomitschnitte sowie Eye-Tracking-Aufzeichnungen ergänzt. Die Probanden erhielten nach jedem Aufgabenblock einen Fragebogen und wurden abschließend interviewt. Die Studie richtete sich auf den Erstkontakt mit adaptiver Nutzung und die damit verbundenen Einstiegshürden (Mackay, 1991).

Die Datenerhebung kombinierte subjektive und objektive Methoden. Subjektive Einschätzungen wurden mittels standardisierter Fragebögen (AttrakDiff und BSMA) sowie speziell entwickelter Fragebögen zu Anforderungen an adaptive Systeme, zur Einstellung gegenüber Personalisierung, zur Lernförderlichkeit, Effizienz und zu Usability-Problemen erhoben. Qualitative Daten wurden über offene Fragen in Tagebüchern, Protokollierung, Recall Surveys und Interviews gewonnen. Objektive, quantitative Daten stammten aus den Log-Dateien, und stichprobenartig aus A/V-Aufzeichnungen der Vor-Ort-Beobachtungen. Die Dokumentation der Benutzeroberfläche über Screenshots ermöglichte die Auszählung adaptiver Anpassungen. Die Dauer der Aufgabenbearbeitung wurde im Tagebuch erfasst, wobei eine tägliche Maximalgrenze von zwei bis drei Aufgaben festgelegt wurde, um die Probanden nicht zu überfordern. Die Vor-Ort-Beobachtungen fanden im gewohnten Arbeitsumfeld der Probanden statt, um möglichst natürliche Nutzungsituationen zu erfassen.

Zur Auswertung der Daten wurden verschiedene statistische Methoden eingesetzt. Der AttrakDiff-Fragebogen wurde gemäß den standardisierten Vorgaben ausgewertet (AttrakDiff, 2004). Um zu prüfen, ob die Probanden mentale Anstrengung von inhaltlichen Einflüssen unterscheiden konnten, wurde der Korrelationskoeffizient nach Spearman für die Erhebungsinstrumente BSMA und Aufgabenschwierigkeit berechnet (Bortz, 1989). Signifikanztests (Mediantest für k unabhängige Stichproben und U-Test nach Mann-Whitney) wurden für die Daten aus dem Tagebuch mit einem großen Stichprobenumfang durchgeführt, da die Populationscharakteristika nicht bekannt waren (Bortz, Lienert, 2003). Das Signifikanzniveau wurde auf <0,05 festgelegt (Bortz, Lienert, 2003). Technische Schwierigkeiten bei der A/V-Aufzeichnung mit der ScreenCam-Software führten zu Datenverlusten bei einigen Probanden. Die Kategorisierung der Phasen adaptiver Anpassungen basierte auf Screenshots der Benutzeroberfläche und der Beobachtung, welche Probanden adaptive Anpassungen als solche wahrnahmen.

Die Studie ergab, dass das adaptive System in den meisten Erhebungsinstrumenten schlechter bewertet wurde als das nicht-adaptive System. Dieser Befund wurde durch statistische Signifikanztests bestätigt. Es traten signifikant mehr, häufiger und mit stärkeren Auswirkungen Usability-Probleme auf, während unterstützende Effekte seltener und weniger positiv waren. Die Adaptivität erwies sich als nicht lernförderlich; die Probanden gaben an, mehr Details der Software lernen zu müssen und Gelerntes schlechter einzuprägen. Das adaptive System wurde als weniger effizient und anstrengender bewertet. Wichtige Aspekte für die Gebrauchstauglichkeit adaptiver Systeme wie Nutzen, Etiquette, Privatsphäre, Verständnis, Vertrauen, Breadth of Experience und Kontrolle zeigten ebenfalls negative subjektive Einschätzungen. Die Ergebnisse des AttrakDiff-Fragebogens deuteten auf eine geringere Gebrauchstauglichkeit, Zufriedenheit, Identifikation mit dem Produkt und Stimulation hin.

Die Ergebnisse belegen das Problem bestehender Einstiegshürden bei der Nutzung adaptiver Systeme (Burmester, 2003). Die Häufigkeit von Usability-Problemen nahm zwar im Studienverlauf ab, war aber zu Beginn besonders hoch. Dies unterstreicht die Notwendigkeit, diese Hürden zu beseitigen, insbesondere wenn Hersteller durch Adaptivität die Kundenloyalität steigern wollen (Riecken, 2000). Die Analyse der Usability-Probleme zeigte, dass die Mehrzahl direkt auf die gestalterische Umsetzung der adaptiven Funktionalität in den Microsoft Word XP Menüs zurückzuführen war. Ein häufiges Problem war die Notwendigkeit, Menüs zu verlängern, um den gewünschten Eintrag zu finden. Ein Proband gab explizit an, die Adaptivität deshalb nach Studienende deaktivieren zu wollen. Die Studie zeigt Defizite in der Datenerhebung basierend auf subjektiven Einschätzungen, da einige Probanden Usability-Probleme nicht richtig erkannten. Stichprobenartig durchgeführte objektive Datenerhebungen in den Vor-Ort-Beobachtungen untermauerten jedoch die subjektiven Einschätzungen.

Die Untersuchung der Ergebnisse bezüglich Usability-Probleme, unterstützender Effekte, Anforderungen an adaptive Systeme, BSMA, Effizienz und Lernförderlichkeit zeigte tendenziell schlechtere subjektive Bewertungen bei Probanden mit mehr Nutzungserfahrung. Erfahrene Nutzer deaktivierten die adaptive Funktionalität nach Studienabschluss häufiger als unerfahrene Nutzer. Novizen nahmen adaptive Anpassungen seltener wahr (McGrenere, Baecker, Booth, 2002). Ein Lösungsansatz zur Minimierung der Probleme ist die Erstellung von Usability-Richtlinien für die Gestaltung adaptiver Systeme. Die Studie leistete einen ersten Schritt durch die Entwicklung spezifischer Erhebungsinstrumente. Das Feedback der Probanden zeigte, dass die Fragestellungen mehrheitlich verstanden wurden. Für weitere Studien sollten Verbesserungsvorschläge der Probanden und die Ergebnisse eines Seminars zur Senkung von Einstiegshürden (Burmester, Wissmann, 2004) berücksichtigt werden.

Die Studie zeigt einen klaren Trend: Das adaptive System wurde subjektiv schlechter bewertet als die nicht-adaptive Variante. Dies gilt für zahlreiche Messinstrumente und wird durch statistische Signifikanztests untermauert. Die Anzahl, Häufigkeit und Intensität von Usability-Problemen waren im adaptiven System deutlich höher, während positive, unterstützende Effekte seltener und weniger stark ausgeprägt waren. Die Adaptivität erwies sich nicht als lernfördernd; im Gegenteil, die Probanden berichteten von einem erhöhten Lernaufwand und einer schlechteren Einprägsamkeit. Das adaptive System wurde als weniger effizient und anstrengender empfunden. Auch wichtige Aspekte der Gebrauchstauglichkeit wie Nutzen, Etiquette, Privatsphäre, Verständnis, Vertrauen und Kontrolle wurden im adaptiven System negativer bewertet. Der AttrakDiff-Fragebogen deutete auf eine geringere Gebrauchstauglichkeit, Zufriedenheit, Identifikation und Stimulation hin. Zusammenfassend lässt sich sagen, dass die Studie die Notwendigkeit einer verbesserten Usability von adaptiven Systemen unterstreicht.

Neben der schlechten Gesamtbewertung zeigte sich das Problem von Einstiegshürden bei der Nutzung adaptiver Systeme (Burmester, 2003). Die Häufigkeit von Usability-Problemen war in den ersten Nutzungsphasen besonders hoch, was darauf hindeutet, dass die Adaptivität zunächst als hinderlich wahrgenommen wird. Für Hersteller, die durch Adaptivität die Kundenloyalität steigern wollen (Riecken, 2000), ist die Beseitigung dieser Hürden entscheidend. Die Analyse zeigte, dass die meisten Usability-Probleme auf die Gestaltung des Interaktionselements (Microsoft Word XP Menüs) zurückzuführen sind. Die Art und Weise, wie nicht verwendete Menüeinträge ausgeblendet wurden, führte zu Schwierigkeiten bei der Navigation und wurde von den Probanden als negativ bewertet. Die Studie weist auf die Notwendigkeit einer gründlicheren Berücksichtigung von Usability-Aspekten bei der Gestaltung adaptiver Systeme hin und zeigt die Notwendigkeit für weiterführende Forschung auf.

Die Ergebnisse der Studie zeigen zwar einen generellen Wunsch der Nutzer nach adaptiven Systemen, jedoch wurden die adaptiven Systeme im Vergleich zu den nicht-adaptiven Varianten schlechter bewertet. Die negativen Ergebnisse des adaptiven Testprodukts hängen stark mit gestalterischen Mängeln zusammen. Sowohl die meisten Usability-Probleme als auch die Einstiegshürden lassen sich auf die Gestaltung der Interaktionselemente zurückführen. Für zukünftige Studien werden die Verwendung von Log-Dateien und spezifischen Softwaretools zur genaueren Erfassung von Nutzungszeiten und Bearbeitungsschritten empfohlen (McGrenere, Baecker, Booth, 2002; Höök, 1997). Die Studie empfiehlt die Entwicklung von Usability-Richtlinien für adaptive Systeme und die Berücksichtigung der im Studienverlauf geäußerten Verbesserungsvorschläge der Probanden sowie die Ergebnisse des Seminars zur Senkung von Einstiegshürden (Burmester, Wissmann, 2004). Langzeitstudien unter realen Bedingungen (Feldstudien) sind notwendig, um die langfristige Wirkung der Adaptivität zu evaluieren (Höök, 1997; McGrenere, Baecker, Booth, 2002).