Immer wieder taucht sie auf, die Frage, wie viele Testpersonen man für einen Usabilitytest braucht. Jeff Sauro versucht in einer neuen Arbeit, die Anzahl der notwendigen Teilnehmer über eine Formel zu ermitteln. Die Formel setzt sich zusammen aus der geschätzten Häufigkeit, mit der ein Problem auftritt und der Wahrscheinlichkeit, mit der man das Problem im Test beobachten kann (http://www.measuringusability.com/blog/customers-observe.php). Theoretisch ist dieser Ansatz durchaus valide, in der Praxis stellt sich allerdings die Frage, wie man vor dem Test bereits wissen kann, welche Probleme mit welcher Wahrscheinlichkeit auftreten werden. Damit fehlt es der Idee leider an der praktischen Anwendbarkeit.

Jakob Nielsen hat zu diesem Thema bereits vor vielen Jahren eine sehr pragmatische Aussage getroffen:

The most striking truth of the curve is that zero users give zero insights. As soon as you collect data from a single test user, your insights shoot up and you have already learned almost a third of all there is to know about the usability of the design. The difference between zero and even a little bit of data is astounding.
http://www.useit.com/alertbox/20000319.html

Zeig ich niemandem mein Produkt, kann ich keine Anregungen für Verbesserungen bekommen. Sobald ich auch nur eine Person befrage, steigt die mögliche Anzahl an entdeckten Problemen rapide an. Nach meiner Erfahrung fährt man bei einer durchschnittlich umfangreichen Website immer noch sehr gut mit 8-10 Testpersonen – in aller Regel lassen sich damit sogar mehr Probleme ermitteln, als man danach tatsächlich beheben kann…

Darüber hinaus sind in der Praxis folgende Aspekte entscheidend:

• Geld und Zeit: Wie viel Budget habe ich für die Analyse und wann werden die Ergebnisse benötigt?
• Relevanz der Testergebnisse: Ist es zwingend notwendig, dass ein Produkt problemlos bedient werden kann (wie z.B. bei medizinischen Geräte, Fahrzeugsteuerungen oder der oft zitierten AKW-Steuerung…), muss ich einen größere Anzahl an Testpersonen einplanen, um alle Probleme zuverlässig zu ermitteln.
• Granularität der Ergebnisse: Ist es der erste Test eines Produkts, liefert mir eine kleinere Anzahl an Testpersonen bereits die grundlegenden Probleme. Bin ich dagegen dabei, dem Produkt den letzten Schliff zu geben, brauche ich mehr Teilnehmer, da die Probleme nicht mehr so offensichtlich sind und weniger Testpersonen davon betroffen sind.
• Zusammensetzung der Zielgruppe: Die Anzahl der Testpersonen erhöhe ich, wenn die Zielgruppe sehr breit gestreut ist. Lassen sich die Zielgruppen klar voneinander abgrenzen, sollte pro Zielgruppe ein eigener Test durchgeführt werden. Sind Überschneidungen bei der Lösung der Aufgaben zu erwarten, kann die Anzahl pro Zielgruppe auf 5 Teilnehmer reduziert werden. Weniger Teilnehmer sollten es nicht werden, da man ansonsten keine genaue Aussage mehr darüber treffen kann, wie häufig ein Problem auftritt.
• Komplexität des Untersuchungsgegenstands: Je mehr unterschiedliche Lösungsmöglichkeiten es für die Aufgaben eines Usabilitytests gibt, desto mehr Teilnehmer benötige ich, um pro Lösungsweg eine aussagekräftige Anzahl an Teilnehmern zu erhalten, die dessen Benutzbarkeit bewerten.