Heuristische Evaluation

Unter der Heuristischen Evaluation versteht man eine Methode nach Jacob Nielsen, bei der mehrere Experten die Gebrauchstauglichkeit eines Produkts anhand anerkannter Usability Prinzipien (so genannte Heuristiken) untersuchen und beurteilen. Die Besonderheit bei der Heuristischen Evaluation besteht darin, dass sich jeder Evaluator für sich allein an die zu untersuchende Benutzerstelle setzt. Ziel ist es dabei, so viele Fehler wie möglich zu finden. Da jeder Evaluator andere Probleme aufdeckt, ist so die Wahrscheinlichkeit größer, alle Fehler aufzuspüren. Nach Durchführung aller Evaluationen werden die Befunde zusammengefasst. Eine heuristische Evaluation kann schon in frühen Phasen des Entwicklungsprozesses eingesetzt werden, um Probleme frühzeitig zu erkennen und zu beseitigen.

Hierbei lassen sich vier Phasen unterscheiden:

Vorbereitungsphase (Experten müssen sich mit dem Produkt und dem Inhalt vertraut machen)
Evaluation durch den Experten (dabei wird jedem Nutzungsproblem ein Schweregrad zugeordnet)
Zusammentragen der Evaluationsergebnisse aller Experten
Zusammenfassung aller Ergebnisse und Erarbeitung von Lösungsvorschlägen

Die Ergebnisse werden entweder als geschriebene Berichte von den Evalutoren selbst oder von einem Beobachter, der während der Sitzung ein Protokoll führt, festgehalten. Dabei ist die 2. Methode zu favorisieren, da der Beobachter dem Evaluator bei Fragen und Problemen hilfreich zur Seite stehen kann und die Auswertung schneller geht, da er nur seine eigenen Aufzeichnungen verstehen muss und nicht die des Evaluators. Desweiteren wird der Evaluator entlastet.

Erweitert werden kann die Heuristische Evaluation auch folgendermaßen:

Die Evaluatoren, die Beobachter und die Entwickler-Teams setzen sich nach der letzten Evaluation zusammen und teilen sich die Ergebnisse in einer Art Brainstorming mit. Dabei können wichtige Anregungen bezüglich der Folgeversionen des untersuchten Programmes gesammelt oder auch grundlegende Probleme sowie positive Faktoren besprochen werden.

Die Heuristische Evaluation eignet sich besonders dazu, schwerwiegende und auch nicht ganz so wichtige Probleme in einem User-Interface aufzuspüren. Dabei werden die schwerwiegenden Fehler meist leichter gefunden, betrachtet man aber die Gesamtzahl der Fehler, so werden mehr unwichtige als wichtige Fehler entdeckt, was für die Qualität des Prototypen spricht.

Mögliche Evaluatoren können in vier Kategorien eingeteilt werden:

Entwickler
Softwareergonomen ohne bereichsspezifische Kenntnisse (einfache Spezialisten),
Softwareergonomen mit bereichsspezifischen Kenntnissen (doppelte Experten),
Benutzer.

Beachtet werden sollte, dass die letzte Gruppe der Benutzer nur im Notfall herangezogen wird. Diese sind zwar mit ihrer Arbeit gut vertraut, können sich aber oft kein Bild davon machen, wie ihr Arbeitsplatz in Zukunft aussehen könnte und welche Möglichkeiten ihnen der Rechner bieten kann oder auch nicht. Stellt man den Benutzern konkrete Aufgaben und beobachtet diese dann bei der Problemlösung, kann man die Vorschläge als zusätzliche Inspiration heranziehen.

Der Erfolg einer Heuristischen Evaluation hängt vor allem von drei Punkten ab:

von der Erfahrung des Evaluators (doppelte Experten haben mehr Erfahrung als einfache Experten und diese haben wiederum mehr Erfahrung als Anfänger mit allgemeinen Computerkenntnissen)
von der Häufigkeit, mit der eine Person schon evaluiert hat
von der Tagesform des jeweiligen Evaluators

Im Vergleich mit Benutzungstest wird die Heuristische Evaluation angewendet, um möglichst viele "offensichtliche" Probleme aufdecken zu können. Ist das Programm dann überarbeitet, wird ein Benutzertest durchgeführt. Diese Reihenfolge wird auch deshalb oft gewählt, damit "unbedarfte" Benutzer, die oft schwer zu finden sind, nicht schon bei der Heuristischen Evaluation "verbraucht" werden.

Im Allgemeinen können bei der Heuristischen Evaluation folgende Gestaltungsprinzipien (nach Mohlich und Nielsen, 1990) herangezogen werden (dies ist nicht unbedingt notwendig, bietet unerfahrenen Evaluatoren aber ein Hilfsmittel, um eine erfolgreiche Heuristische Evaluation durchzuführen):

Einfacher und natürlicher Dialog (Dialoge sollten schlüssig und klar strukturiert sein und keine unwesentlichen Informationen enthalten, da diese den Benutzer von wesentlichen Informationen ablenkt)
Verwendung der Benutzersprache (Dialoge sollten in Worten, Phrasen und Konzepten eher am Benutzer als am System orientiert sein)
Minimierung der "Gedächtnislast" der Benutzer (Benutzer sollten sich nicht an Informationen erinnern müssen, die in einem ganz anderen Bereich des Dialogs von Bedeutung waren; die Anweisungen sollten eindeutig oder zumindest leicht wiederhergestellt werden können)
Konsistente Formulierungen (Benutzer sollten nicht durch unterschiedliche Wortwahl, Situationen oder Aktionen verwirrt werden, die das Gleiche bedeuten)
Feedback (das System sollte den Benutzer immer "auf dem Laufenden" halten, indem es konstruktive Rückmeldungen in einer angemessenen Zeit liefert)
Klar markierte Navigationsmöglichkeiten anbieten (das System sollte Benutzern immer die Möglichkeit geben, nach falsch gewählten Systemfunktionen den klar markierten "Notausgang" zu wählen, um sofort aus dem ungewollten Zustand zu gelangen)
Shortcuts (Tastenkombinationen, Experten können so einige Features überspringen, die Anfänger werden aber nicht irritiert)
Lieferung genauer Fehlermeldungen (Genaue Fehlermeldungen sind defensiv (schieben das Problem auf Systemschwächen und kritisieren niemals den Benutzer), präzise (geben dem Benutzer genaue Informationen über die Ursache des Problems) und konstruktiv (geben dem Benutzer nützliche Hinweise darauf, was er als nächstes tun kann)
Vermeidbare Fehler (Cleveres Design, das das Auftreten von Fehlern erst gar nicht zulässt, ist besser als gute Fehlermeldungen)
Hilfe und Dokumentation (hilft dem besseren Verständnis)

Eine andere Möglichkeit besteht darin, ISO-Normen als Grundlage für die Evaluation heranzuziehen. Die gängigste ist dabei die DIN EN ISO 9241-110.

Die Vorteile der Heuristischen Evaluation liegen vor allem darin, dass sie kostengünstig und zeitsparend ist. Sie liefert qualitativ hochwertige Ergebnisse in kurzer Zeit. Das beste Kosten-Nutzen-Verhältnis erhält man bei drei bis fünf Evaluatoren.

Ein Nachteil besteht darin, dass die Gutachter nicht die wirklichen Nutzer sind. Sie versetzen sich zwar in die Rolle der User, es ist aber wahrscheinlich, dass die echten User auch andere als die entdeckten Probleme haben.