Czy aby na pewno jest Pan człowiekiem? Użyteczność kodów CAPTCHA - test z człowieczeństwa

Były to serwisy:

1. konto pocztowe Gazeta.pl.
2. konto serwisu Youtube.pl.
3. konto pocztowe 02.pl.

Zadania użytkownika polegały na:

1. założeniu nowego konta pocztowego w serwisie Gazeta.pl.
2. założeniu nowego konta w serwisie Youtube.pl.
3. założeniu nowego konta pocztowego w serwisie 02.pl.

Czym jest eye tracking

Eye tracking to badanie ruchów gałek ocznych użytkownika w czasie trwania sesji badawczej. Badanie tego typu jest bezinwazyjne. Specjalne emitery podczerwieni śledzą ruch gałek ocznych użytkownika, kiedy ten korzysta z serwisu.

Wzrok śledzony jest za pomocą urządzenia zwanego eye trackerem, które zastępuje w czasie badania monitor komputerowy i jest do niego łudząco podobne.

Przykładowe badanie eye trackingowe wykonywane w agencji Symetria

O badaniu

Z uwagi na dobro badania nie ujawnialiśmy jego prawdziwego celu, którym jest zbadanie rozpoznawalności i użyteczności kodów weryfikacyjnych CAPTCHA. Tak, aby badany użytkownik, nie skupiał całej swojej uwagi na prawidłowym odczytaniu kodu - a co za tym idzie, aby nie wpływać na naturalne działania użytkownika.

W analizie danych dotyczących liczby spojrzeń w obszar CAPTCHA wzięto pod uwagę tylko i wyłącznie efektywne spojrzenia, a więc te, które prowadziły bezpośrednio do wpisania słowa z obrazka.

Poniżej zaprezentowano również wyniki analiz eye trackingowych w postaci tak zwanych gazeplotów, czyli ścieżek spojrzeń, obrazują one jak długo i w jakiej kolejności użytkownik patrzył na elementy strony.

Wiedza na ten temat daje nam możliwość przeprojektowania serwisu, eliminacji elementów nie spełniających swojej roli np. nie zwracających uwagi użytkownika. Z kolei fiksacja jest to zatrzymanie się wzroku na jakimś elemencie strony. Im większa średnica koła, tym dłuższy czas patrzenia użytkownika na dany element strony.

Uczestnicy badania:

• kobiety i mężczyźni,
• wiek 20-30 lat,
• internauci,
• mieszkańcy miasta powyżej 500 tys. mieszkańców,
• zarówno osoby, które nie korzystały z tego typu serwisów, jak i takie, które miały z nimi kontakt.

Zastrzeżenie

Należy również nadmienić, że celem testu było zebranie inspiracji i przykładowych wniosków, nie było nim zaś jakiekolwiek porównanie wybranych serwisów, ich test eye trackingowy ani szczegółowa analiza użyteczności i funkcjonalności.

Omówione poniżej wyniki badania mają charakter eksperymentalny. Wyniki należy traktować jako inspirujące wskazówki do dalszych poszukiwań i weryfikacji w trakcie kolejnych badań.

Konto pocztowe 02.pl

CAPTCHA w serwisie 02.pl

Statystyka opisowa dla liczby fiksacji i łącznego czasu trwania fiksacji CAPTCHA zamieszczonego w serwisie o2.pl wskazuje na bardzo małą liczbę spojrzeń potrzebnych do wpisania słowa z obrazka.

Przykładowy gazeplot (ścieżki i czas spojrzeń) na kod CAPTCHA w serwisie o2.pl

Średnio użytkownicy potrzebowali 5 spojrzeń na przeczytanie obrazka, natomiast aż 50% badanych potrzebowała mniej niż 3 spojrzeń. Z prawdopodobieństwem 95% można stwierdzić, że liczba spojrzeń potrzebnych na przeczytanie obrazka w populacji zmieści się pomiędzy 2 a 8.

Średni łączny czas trwania spojrzeń wyniósł niewiele ponad 1 sekundę, a połowa badanych potrzebowała mniej niż 0,6 sekundy na wpisanie kodu. Z prawdopodobieństwem 95% można stwierdzić, że w populacji łączny czas potrzebny na przeczytanie obrazka nie przekroczy 2,1 sekundy. Należy zwrócić uwagę, że w jednym przypadku osoba potrzebowała aż 14 spojrzeń, co znacznie zawyżyło średnią i zniekształciło miary skośności.

Dane statystyczne dla liczby spojrzeń i łącznego czasu spojrzeń na kod CAPTCHA w serwisie o2.pl

Konto pocztowe Gazeta.pl

CAPTCHA w serwisie Gazeta.pl

Statystyka opisowa dla liczby fiksacji i łącznego czasu trwania fiksacji CAPTCHA zamieszczonego w serwisie Gazeta.pl wskazuje na umiarkowaną liczbę spojrzeń potrzebnych do wpisania słowa z obrazka.

Przykładowy gazeplot (ścieżki i czas spojrzeń) na kod CAPTCHA w serwisie Gazeta.pl

Średnio użytkownicy potrzebowali 10 spojrzeń na przeczytanie obrazka, a 50% badanych potrzebowała mniej niż 9 spojrzeń. Z prawdopodobieństwem 95% można stwierdzić, że liczba spojrzeń potrzebnych na przeczytanie obrazka w populacji zmieści się pomiędzy 7 a 13.

Średni łączny czas trwania spojrzeń wyniósł ponad 2 sekundy, a połowa badanych potrzebowała więcej niż 2,5 sekundy na wpisanie kodu. Z prawdopodobieństwem 95% można stwierdzić, że w populacji łączny czas potrzebny na przeczytanie obrazka nie przekroczy 3,1 sekundy.

Dane statystyczne dla liczby spojrzeń i łącznego czasu spojrzeń na kod CAPTCHA w serwisie Gazeta.pl

Konto serwisu Youtube.pl

CAPTCHA w serwisie Youtube

Statystyka opisowa dla liczby fiksacji i łącznego czasu trwania fiksacji CAPTCHA zamieszczonego w serwisie Gazeta.pl wskazuje na umiarkowaną liczbę spojrzeń potrzebnych do wpisania słowa z obrazka.

Gazeplot (ścieżki i czas spojrzeń) na kod CAPTCHA w serwisie Youtube.pl

Średnio użytkownicy potrzebowali 11,5 spojrzenia na przeczytanie obrazka, a aż 50% badanych potrzebowała więcej niż 13 spojrzeń. Z prawdopodobieństwem 95% można stwierdzić, że liczba spojrzeń potrzebnych na przeczytanie obrazka w populacji zmieści się pomiędzy 7,5 a 15,5. Średni łączny czas trwania spojrzeń wyniósł ponad 3,5 sekundy a połowa badanych potrzebowała więcej niż 3.2 sekundy na wpisanie kodu.

Z prawdopodobieństwem 95% można stwierdzić, że w populacji łączny czas potrzebny na przeczytanie obrazka nie przekroczy 5 sekund. Należy zwrócić uwagę, że w jednym przypadku osoba potrzebowała aż 20 spojrzeń, co znacznie zawyżyło średnią i zniekształciło miary skośności.

Dane statystyczne dla liczby spojrzeń i łącznego czasu spojrzeń na kod CAPTCHA w serwisie Youtube.pl

Porównanie średnich dla różnych serwisów

Celem porównania liczby fiksacji i łącznego czasu spojrzeń użytkowników na poszczególne grupy wykonano "test t dla średnich", przyjmując hipotezę zerową, że średnie dla liczby spojrzeń i łącznego czasu spojrzeń na CAPTCHA w różnych serwisach są równe. Poniższe tabele zawierają wskaźnik "p-value" dla 95% przedziału ufności.

Wskaźnik "p-value".

W przypadku serwisu o2 wszystkie wskazania są poniżej 5%, co świadczy o tym, że hipotezę o równości średniej liczby spojrzeń należy odrzucić. CAPTCHA w serwisie o2 potrzebuje statystycznie mniej spojrzeń niż w pozostałych serwisach. W przypadku Gazety i YouTube można przyjąć, że średnia liczba spojrzeń potrzebnych na przeczytanie słowa z obrazka jest taka sama.

Wskaźnik "p-value".

W przypadku średniego łącznego czasu spojrzeń występują istotne statystycznie różnice pomiędzy wszystkimi serwisami. Najkrócej wpatrują się w kod użytkownicy w serwisie o2.pl, dłużej w Gazeta.pl, a najdłużej w YouTube.pl.

Podsumowanie

CAPTCHA zastosowane w serwisie o2.pl wymaga od użytkowników zdecydowanie najmniej wysiłku. Potrzebują oni niewiele krótkich spojrzeń, aby przeczytać i poprawnie wpisać kod. Liczba spojrzeń w serwisie Gazeta.pl i YouTube.pl jest zbliżona, ale w Gazeta.pl trwają one krócej, co oznacza, że użytkownicy mają mniejszy problem z przeczytaniem kodu.

Kod weryfikacyjny w serwisie Youtube.pl, mimo że najtrudniejszy do odczytania, jest równocześnie najtrudniejszy do złamania przez oprogramowanie OCR. Stłoczone znaki utrudniają przeczytanie i prawidłowe wpisanie kodu, zarówno użytkownikowi, jak i botowi.

Youtube.pl wprowadzając opcję odśwież, znalazł złoty środek, między użytecznością kodu, a bezpieczeństwem. Liczba fiksacji została w badaniu ograniczona do fiksacji efektywnych, czyli, tych spojrzeń, które doprowadziły do wpisania kodu z obrazka. Możliwość odświeżenia kodu i przeskakiwania przez kolejne generowane CAPTCHA w serwisie Youtube, wpływa na wydłużenie czasu potrzebnego do wpisania kodu.

Kolejna kwestia to problem związany z widocznością przycisku odświeżającego dla użytkownika w serwisie Youtube.pl. Brak informacji czym jest przycisk "nowy obrazek" wpływa dodatkowo na wydłużenie czasu potrzebnego na wpisanie kodu w przypadku osoby, która ma problem z jego odczytaniem i nie korzysta z opcji odświeżenia (nie wnikając dlaczego nie korzysta).

Badane serwisy w przypadku nieprawidłowego wpisania CAPTCHA nie karzą użytkownika koniecznością przechodzenia raz jeszcze poprzez wszystkie pola formularza. Do poprawy jest tylko kod weryfikacyjny, błędnie wypełnione pole, ewentualnie powtórzenie hasła jak w Youtube.pl.

Odświeżanie całego formularza i utrata danych w przypadku nieprawidłowego wpisania kodu, kiedyś stanowiły jeden z większych powodów do frustracji dla użytkowników.

Reasumując wyniki badań, własne spostrzeżenia i wypowiedzi ekspertów, możemy określić, czym powinno się charakteryzować dobre CAPTCHA:

1. dobre CAPTCHA to takie, które zapewnia bezpieczeństwo serwisu i nie jest jednocześnie utrapieniem dla użytkowników,
2. powinno zapewniać dostęp do serwisu użytkownikom niepełnosprawnym,
3. powinno zawierać przycisk odśwież,
4. powinno informować o ilości koniecznych do wpisania elementów,
5. owinno odzwierciedlać specyfikę kulturową,
6. powinno zawierać informacje dlaczego należy je wpisać,
7. powinno dawać możliwość dodatkowej np. telefonicznej weryfikacji użytkownika,
8. powinno podlegać czasowym ewaluacjom bezpieczeństwa.

Należy jednak nadmienić, że nie w każdym przypadku wszystkie wyżej wymienione elementy mają zastosowanie w pojedynczym kodzie CAPTCHA.

O Autorze

Więcej na temat użyteczności oraz badań z użytkownikami dowiesz się na stronie Symetrii oraz na blogu. Agencja e-biznes Symetria udostępnia na swoich stronach internetowych darmowe publikacje z zakresu użyteczności, badań eye trackingowych oraz e-marketingu. Każdy zainteresowany użytkownik może pobrać na swój dysk interesującą go publikację w naszym dziale: http://www.symetria.pl/html/i_....