Magnus Burell från inUse Consulting berättar om användningstester på distans. Vad är distanstestning? Vilka för- och nackdelar finns med distantester? När passar distanstestning? Exempel på verktyg och resultat från distanstester. Presentationen hölls på konferensen SAST Stockholm Q4 2011-11-17, http://sast.se/meeting.jsp?id=231

1. Testa
användningen
på plats
på distans
automatiserat
Magnus Burell

2. HM film
Exempel på användningstest: http://vimeo.com/25181153

3. Så funkar vanliga anv.test

4. Traditionellt användningstest
”tänka högt”
+ Hur systemet/webbplatsen - Få personer (3 - 12st)
fungerar i verklig använding
- Ganska dyrt
+ Få svar på varför något är
ett problem - Konstlad testsituation
+ Förtydliga, ställa följdfrågor
och improvisera
+ Fånga detaljer, kroppsspråk

5. ”Med 5 användare hittar du
80% av de allvarligaste
användbarhetsproblemen”
men
Vi testar för sällan

6. Varför?
• Vi nöjer oss med att testa funktion, inte
användningskvalitet
• Vi har inte tid
– Rekrytera
– Genomföra
– Analysera och Presentera
• Vi behöver testa mindre saker, ofta

7. Vad är, Varför, När passar
Distanstestning

8. Vad är distans-användnings-test?
Exempel distanstest

9. På 5 dagar
300 klickade på inbjudan
90 startade testet
58 slutförde

10. Det är en djungel där ute...
Bild: http://www.slideshare.net/usableinterface/unmoderated-remote-usability-testing-good-or-evil-4446847

11. Vad kan testas?

12. Bild: htttp://www.usertesting.com
Vilka kör distanstester?

13. Två sorters distanstester
Modererat Automatiserat
• Med testledare • Själv via
live via skärmdelning webbaserade verktyg
• Filmer • Filmer eller rapporter
• Få deltagare • Många deltagare
(ofta fler än 50st)

14. Modererat

15. Modererat
Skärmdelning
Spela in skärm och röst
Bild: http://voiceontheweb.biz/skype-world/skype-software/skype-41-beta-launched-will-that-be-video-or-desktop-sharing/

16. Modererat För- och nackdelar
+ Naturligare testmiljö - Risk för teknikstrul
+ Hittar lika många fel som - Kräver bra uppkoppling
på-plats-tester och lite teknik-orädda
deltagare
+ Geografiskt spridda
användare - Missar kroppspråk
+ Observatörer från tredje ? Svårare skapa förtroende
plats och trygg testsituation
? Får ärligare svar över
telefon

17. Automatiserat

18. Automatiserat
Varianter
1. Scenariobaserade
– Testa flöden
– Rapport: Loop11, Userzoom
– Film: Openhallway
2. Klicktester
– testa enstaka sidor, jämföra två designvarianter
– Intuition HQ, Verifyapp
3. Kortsortering
– testa innehållstruktur och rubriker
– Optimalsort
(Visualiserad webbanalys)
– ClickTale

19. Automatiserat
Ger kvalitativa och
kvantitativa resultat
• Film – skärm, röst, ansiktsuttryck
• Kommentarer och enkätsvar
• Rapporter och visualiseringar

20. Exempel på rapportdata
• Andel klarade, misslyckade, avbrutna
uppgifter
• Tid och klick per uppgift
• Första klick
• Klickflöde (besök i vilken ordning)
• Var deltagarna gjort ”fel” eller avbrutit
• Heatmaps – musrörelser, klick
• Skattningar
• Fritextsvar

21. Loop11.com

22. Openhallway.com
Bild: www.hemnet.se/inspiration testat med openhallway.com

23. intuitionHQ.com

24. Optimalsort Bild: http://www.optimalworkshop.com/optimalsort.htm

25. UserZoom.com

26. Automatiserat Gör så här
1. Bestäm vad du vill testa och välj passande verktyg
2. Skriv och stäm av testfrågor
3. Rekrytera deltagare
via webbplats, kundpanel, e-post, Facebook, Twitter
4. Sjösätt och se resultaten börja trilla in
5. Analysera och agera
6. Testa igen

27. Automatiserat Tips!
• 1-5 tydliga avgränsade uppgifter
• Varva med skattningsfrågor och
kommentarsmöjligheter
• Testa testet!
• Max 10-15 minuter
• Hellre flera korta test än ett långt

28. Automatiserat För- och nackdelar
+ Billigare - Begränsat till specifika,
avgränsade testfrågor
+ Snabbare
- Följdfrågor
+ Mindre konstlat
naturlig testmiljö - Missar kroppspråk
+ Geografiskt utspridda
användare
+ Fler användare

29. Välja verktyg
Ofta enkelt att komma igång, men
• Svenskt gränssnitt?
• Prismodell?
• Vilket resultat och data?
• Spara ner filmer och rapporter?
• Rekrytering?
– Egna användare
– Panel med utländska användare
– Panel med svenska användare
– Live-rekrytering (Ethio)

30. Vad är svårt med
distanstester?

31. När passar distanstester
• Komplettera dina
traditionella
användningstester
• Testa avgränsade
frågor i varje iteration
• När du varken har
tid/råd att testa
• … i influensatider

32. Testa gratis redan idag!
• Avsätt 30 minuter
• Välj en uppgift på er webbplats
• Testa gratis med Loop11.com eller
Openhallway.com
• Skicka länken till vänner

33. 3 praktiska boktips
Gratis!
Remote research Användbarhet i pratiken Praktisk brukerstestning
http://www.rosenfeldmedia.com/ gratis wikibok http://www.brukskvalitet.no/
books/remote-research/ http://anvandbarhet.se/ praktiskbrukertesting/

34. Lästips
Välja verktyg
http://remoteresear.ch/tools/
http://www.alistapart.com/articles/quick-and-dirty-remote-user-
testing/
För- och nackdelar distanstest
http://www.uxmatters.com/mt/archives/2010/01/unmoderated-
remote-usability-testing-good-or-evil.php
http://johnnyholland.org/2010/06/02/pros-and-cons-of-remote-
usability-testing/

35. Hör av dig
om du vill prata distanstester
magnus.burell@inuse.se
0761 - 36 37 57
Twitter: @mburell
Inuse Consulting
60 konsulter - Stockholm, Göteborg, Malmö
www.inuse.se
blogg: www.inuseful.se