Beim a/b-Test werden zwei verschiedene Varianten getestet. Beim Webseitentest zeigt man einem Teil der User das Original bzw. Variante a und einem anderen Teil der User Variante b. Anschließend versucht man durch Befragung oder durch Auswerten einer Conversion-Rate zu ermitteln, welche Variante die bessere ist. Dabei darf der Gesamtkontext einer Seite jedoch nicht ausser Acht gelassen werden. Wird die höhere Conversion-Rate oder der bessere Umfragewert zu Lasten eines anderen Webseitenelementes erzielt, ist das Ziel vielleicht doch noch nicht erreicht.

Im Normalfall werden zwei Varianten getestet. Jedoch können auch mehr Varianten getestet werden. Es sollte dabei nur auf eine ausreichend große Stichprobe geachtet werden um statistisch signifikante Aussagen treffen zu können.

Testet man verschiedene Varianten von von mehr als einer Variablen spricht man von Multivariantentests. Hierbei kann es schnell zu einer großen Zahl an möglichen Kombinationen kommen. Testet man Beispiel von einem Link 3 verschiedene Linkfarben und 2 verschiedene Schriftgröße ergeben sich schon 6 Kombinationen.

Eine Alternative zum normalen a/b-Test ist der sequentielle a/b-Test. Hierbei werden verschieden Alternativen nicht gleichzeitig getestet sondern zeitlich nacheinander. Dies hat zwar den Nachteil, dass es statistisch etwas ungenauer ist, da sich die Nutzer in den Zeiträumen unterscheiden können, bietet aber zum anderen den Vorteil, dass man Google nicht zwei verschiedene Seiten zeigen muss und so gegebenfalls in den Cloaking-Verdacht bei Google und Co. gerät. Ein weiterer Vorteil ist, dass mehrere Varianten immer mit dem Original verglichen werden können und man so immer dieselbe Basis bzw. Baseline hat.

Einen einfachen a/b-Test kann man, sofern man Besitzer eines Google Adwords-Kontos ist, mit dem Google-Optimierer vornehmen. Dieses Tool ist über das Google Adwords-Konto unter Kampagnen/Website-Optimierungstool erreichbar.