Murphyho zákony uživatelského výzkumu: jestliže jde vše podle plánu, stala se někde chyba.
Nejčastěji děláte chyby, pokud jste unavení a necítíte se ve své kůži.
Únava, špatná nálada, špatný dech. Pokud má být testování v pohodě, vy musíte být v pohodě. Proč? Pokud jste nervózní, unavený, nebo naopak extrémně nabuzený, respondent začne podvědomě vaše chování zrcadlit (mirroring).
A dva nervózní lidi v malé místnosti s jednocestným zrcadlem mít asi nechcete :)
Mirroring is the behavior in which one person unconsciously imitates the gesture, speech pattern, or attitude of another.
Tohle bude znít trošku “zen”, ale před testovacím dnem jdu brzo spát, ráno si zacvičím, nabalím si svačinky, kartáček, zubní pastu, deodorant, parfém a vyrazím testovat (zkoumat).
Během dne nepiji kafe a nejím cukry. Neskáče mi tak energie a jsem konzistentní během celého dne. K obědu vynechám místní curry. Není ze mě cítit česnek a neusínám.
Kdysi jsem tak trochu zaklimbal a když se probudil, tak jsem se pokoušel otevřít téma, které už jsme probírali. Paní si toho pochopitelně všimla a díky ní jsem na to přišel já, protože se ohradila, že už jsme to řešili. Byl to sice jen “mikrospánek”, ale kapku mi resetoval paměť ;)
— Bob Marvan, Discovery Manager at Avast.com
Maximální počet respondentů na den vám neporadím.
U testování zvládám 6-7 lidí (pokud není součástí follow-up s kolegy).
U rozhovorů jsem nejvíce v pohodě se 3-4 lidmi.
Nastavte si svoji hranici, své rituály a ty dodržujte (pokud to jde).
A rada pro mé spolu-výzkumnice … snažím se plánovat termíny výzkumů s ohledem na můj cyklus. Jsou prostě dny, kdy se s lidmi bavit nechci a je to na mě vidět už od dveří.
Vaši respondenti vám to zjednodušovat nebudou. Připravte se na to!
Respondent zruší vaši schůzku na poslední chvíli, nepřijde vůbec, pošle za sebe někoho jiného 👉 Všechny učebnice doporučují, mít na testování náhradníka. Realita je složitější. Pokud vám respondent na 13.00 oznámí svoji nepřítomnost ve 12.50, slot již neobsadíte. Já to dnes řeším tak, že si běžně do testování zvu o jednoho až dva respondenty víc, než bych potřebovala. Mám je předem domluvené na konkrétní sloty a pokud jeden (nebo dva) vypadnou, tak nemusím vybíhat na ulici a lovit náhradníky (been there, done that).
Zkuste této situaci předcházet komunikací.
Na začátku týdne pošlete respondentům e-mailem friendly reminder s popisem cesty, informacemi o parkování, dopravní dostupností. Den před schůzkou pošlete SMS. Já respondentům obvykle posílám telefonní číslo na kontaktní osobu, které mají volat v případě zpoždění. Upozorním je, že mě volat nemají, protože budu pravděpodobně vést jiný rozhovor.
V týdnu, kdy se testování má konat, jim dávám dvě příležitosti, aby mi napsali, že nepřijdou. A v nejhorším možném scénáři (tzn. dají mi vědět např. v devět večer), mám pořád minimálně 12 hodin na zajištění náhradníka.
Už během prvních minut je jasné, že jste si pozvali špatného respondenta👉 rozhovor ukončete, předejte odměnu, poděkujte a data do vyhodnocení nedávejte. Ani částečná!
Jednou mi agentura poslala respondenta, který sice odpovídal screeneru (používal mobil, aplikace, web, atp.), jen byl takřka slepý a všechny digitální vychytávky používal pomocí speciálního telefonu a čteček. Připravený prototyp byl k ničemu.
– Jan Tomáš, UX Agency Owner and Designer at CIRCUS DESIGN
Na testování vám přišel profitester 👉 Jak ho poznáte? Špatně :)
Profitester = člověk, který si přivydělává obcházením výzkumů. Pro každý výzkum si upraví svůj profil tak, aby vyhovoval screeneru.
Pokud testujete svůj produkt často, tak jste ho možná před pár týdny potkali. Jen se jmenoval jinak a měl jinou banku, operátora, nebo oblíbenou značku auta.
Většinou si ale nejste jistí, jen máte pocit, že něco nesedí. Odpovídá divně, některé odpovědi si protiřečí, říká přesně to, co chcete slyšet, ve všem souhlasí, vše chválí … pokud máte pocit, že vám, přišel profitester, tak rozhovor ukončete a data do vyhodnocení nedávejte.
Stalo se mi před pár lety, že jeden účastník přišel opět na testování (jiný projekt, jiný klient) asi po 4 měsících, i když screener požadoval, aby se lidé v posledních 6 měsících žádného podobného výzkumu neúčastnili. Účastník se vydával za někoho jiného a tvrdil mi, že u nás na výzkumu ještě nebyl.
– Jan Šrůtek, Digital Product Designer, Researcher & Strategist.
Currently at Productboard
Nerespektující respondent 👉 během rozhovoru telefonuje, přivede si kamaráda, manželku nebo dítě, přijde pozdě a potřebuje odejít dřív.
Váš výzkum, vaše pravidla. Musíte si uvědomit, že každá minuta, kdy vycházíte vstříc jeho potřebám, stojí vaši firmu peníze a vy přicházíte o data. Pokud si respondent na 10 minut odběhne telefonovat, vy se nestihnete zeptat na všechny otázky. Já si např. před respondentem vypínám telefon, aby nás nikdo nerušil a jeho žádám o to stejné.
Nedávno jsem měla na online rozhovoru respondenta businessmana, ředitele několika společností. Když mu zazvonil telefon a on ho přede mnou zvedl, chvíli jsem si myslela, že koukám na Kancelář Blaník :))
Když se mě po rozehřívacích obecnějších otázkách, a jeho velmi strohých vyhýbavých odpovědích, zeptal, jestli “jako o tomhle se budeme bavit?”, sebrala jsem všechnu odvahu, a řekla mu, že rozhovor nemusí proběhnout, pokud on nechce (nikdy před tím jsem se neodvážila respondenta odmítnout). Vyplatilo se, rozhovor pak proběh úplně v pohodě. Stačilo pánovi připomenout, že se nám přihlásil dobrovolně a může to taky dobrovolně ukončit.
– Renata Pavlíková, UX designer & researcher
Potkali jste respondenta se zcela odlišným životním postojem, než je ten váš 👉 Jako výzkumníci jsme zvyklí naslouchat lidem, jejich životním příběhům. Snažíme se být maximálně empatičtí, chápaví, neubližovat svými otázkami, dodržovat etické principy výzkumu … ale taky jsme jenom lidi.
Někdy narazíme na respondenty, kterým prostě nerozumíme. Volí někoho zcela jiného, než vy? Věří hoaxům? Jde o agresivního fanouška fotbalu?
Pokud se tahle “divnost” týká vašeho výzkumu, zkuste ji prozkoumat do hloubky. Vezměte to jako jedinečnou příležitost nahlédnout na zkoumané téma zcela jinýma očima.
Jednou jsem dělala sérii fokusek o Češích a jejich názorech na současné dění (migrace, NATO, sankce proti Rusku, EU…). Několik respondentů bylo z řad těch, kteří věří všemožným hoaxům a dezinformacím. A to jsem tenkrát nestíhala valit oči. Jako bych se ocitla v oživlé diskusi pod článkem na novinkách nebo idnes. Ty zkazky na hoaxy nás přiměly víc zaměřit pozornost na zdroje informací. Téma do té doby ve scénáři opomenuté. Z pohledu mého i klienta bylo moc dobře, že to během diskusí bylo zmíněno. Ale pro mě, jakožto moderátorku, to bylo opravdu náročné — nedat najevo znechucení, rozčilení a zoufalost nad tím, že někdo opravdu věří Aeronetu.
– Markéta Kljapová, Anthropologist & User Experience Researcher
Pro mě osobně je nejtěžší, vydržet se hodinu bavit s člověkem, který mi není sympatický, nevoní, má extrémní názory, nerespektuje mě, dělá hloupé, osobní poznámky. Nemusíme si hrát na to, že všichni respondenti jsou naši BFF. Naštěstí je to jen hodina! Důležité je vědět, že i takový rozhovor můžete v rámci své psychické pohody kdykoliv předčasně ukončit.
Bez ohledu na to, jak dobře se připravíte, vždycky se během rozhovoru něco pokazí …
Když respondent nereaguje na scénář (prototyp) tak, jak potřebujete 👉 Někdy si váš respondent dělá, co chce. Ignoruje otázky, ignoruje prototyp, neustále odvádí pozornost jinam. Nebojte se na to upozornit a vracejte ho zpět. Jste to vy, kdo řídí rozhovor a kdo je zodpovědný za výsledek. Je vhodné respondenta nahlas upozornit, že tohle není to, co potřebujete.
V takové situaci by vám mohla pomoct fráze:“To je zajímavé, ale mohli bychom se k tomu vrátit na konci? Teď bych se vás ještě potřeboval(a) zeptat na ….”.
Když participantka zjistila, že náš prototyp není stejný, jako starý systém, upřela svůj zrak do stropu a začala zpaměti odpovídat, jakoby klikala ve starém systému. Kolegyni řekla, že zadala do systému objednávku. Upozornil jsem ji, že žádnou objednávku nikam nezadala. Odvětila, ať neruším, že má na telefonu klienta.
– Rostislav Bláha, Lead UX Designer at MSD
Někdy se může stát, že se respondent nedokáže ztotožnit s konkrétní situací ve scénáři, kterou jste pro něj připravili 👉 počítejte s tím a nebojte se improvizovat!
Respondent mi na úkol reagoval tak, že auto by si na víkend s kamarády určitě nepůjčil, ale kdyby to mělo být na víkend s milenkou, tak to jo. Tak jsem mu řekla, že jasně a šli jsme do toho.
– Kateřina Hanzalová, User Experience Designer at 2FRESH
V úvodní části rozhovoru se můžete zeptat se na jeho poslední zkušenost, která se týká vašeho testování. Potřebujete otestovat nákupní proces? Zjistěte, co posledního si respondent nakoupil on-line a využijte tuto situaci při zadávání testovacího úkolu. Tuto otázku můžete navíc zařadit přímo do rekrutačního dotazníku!
Nestihnete připravit prototyp včas 👉 Buďme upřímní, stalo se to nám všem. Máte zpoždění, děláte změny na poslední chvíli, “doklikáváte” prototyp a respondent už stojí u dveří.
To nejhorší, co se výzkumníkovi může stát, jsou změny v prototypu během testování, o kterých nevěděl a nebyl na ně připravený. Respondent si toho často nevšimne, ale my se pokaždé pěkně zapotíme. Data z takového testování pak ani nemůžeme při vyhodnocení použít.
Během jednoho testování se mi prototyp měnil pod rukama. Zachránila mě věta, kterou říkám na začátku každého testování a teď jsem se na ni konečně mohla odkázat. “Víte, jak jsem zmiňovala, že je to prototyp a že ho pořád upravujeme …. no, tak to kolegové dělají právě teď“.
– Tereza Kosnarová, I do research ❤
Spoiler allert:
Pokud nestihnete prototyp do prvního testu připravit, odložte testování.
Remote výzkumy opravdu nejsou jednodušší!
Spojení se nemusí povést napoprvé 👉 mějte vždy připravené záložní! Doporučuji velmi detailně do e-mailu popsat, jak se s vámi respondent spojí. Nebojte se používat screenshoty, step-by-step návody, natočte mu video s návodem, jak na to.
Vyzvěte respondenta, ať si spojení vyzkouší ještě před vaším rozhovorem. Nechte mu na sebe telefon, ať může zavolat, pokud bude mít problém (vy jeho telefon pravděpodobně máte taky).
Zkoušky spojení jsou občas nejzajímavější, protože to je první kontakt s respondentem a často společně řešíme různé technické problémy. S několika účastníky jsem pak už díky tomu měla během testu samotného dojem, že jsme staří známí.
– Kateřina Hanzalová, User Experience Designer at 2FRESH, Prague
Voláte lidem domů a chcete po nich, aby měli zapnutou kameru 👉 Musíte počítat s tím, že doma mají děti, zvířata, partnery. Že obědvají a vyzvedávají balíčky od kurýra, který právě zazvonil.
Na dálku je velmi těžké si udržet jejich pozornost a zajistit, aby neodbíhali. Naplánujte si výzkum na kratší dobu, než na kterou se domlouváte s nimi. S respondenty bývám vždy domluvena na 60 minut, ale skutečný čas výzkumu je jen 40 minut. 20 minut máme na technické problémy, děti, andulky a kurýry.
Online rozhovory přináší spoustu zábavných historek. Mám za sebou testování s respondentem a jeho ukecanou andulkou na rameni. Nebo respondent, který si během jednoho spíš večerního testovaní uvědomil, že si musí skočit do trafiky pro cigarety, protože po testu už by měli zavřeno.
– Štěpánka Mojžíšová, UX Researcher
Jeden účastník si k našemu sezení připravil oběd a pivečko. Pěkně na pohodu. Občas se mi během remote děje to, že si přivolají manželky / syny / jiné pomocníky, takže pak máme skvělou sondu do domácnosti a společného rozhodování.
– Kateřina Hanzalová, User Experience Designer at 2FRESH, Prague
A co když je váš respondent z korporátu? 👉 Vždy si nejprve zmapujte, jaká pravidla pro komunikaci musí dodržovat. Určitě se ho bude týkat omezení přístupu k některým službám (Google do toho obvykle spadá), URL, omezené možnosti instalace pluginů (např. plugin v prohlížeči, který je třeba nainstalovat pro zobrazení Axure prototypu) atp. To stejné platí, pokud testujete s dětmi na jejich telefonu. Instalaci různých aplikací budou muset povolit rodiče.
Nezapomínejte na časový posun 👉 Pro jistotu si ho několikrát ověřte!
Pro mě kuriózní byly rozhovory s řidiči kamionu z U.S. při spojení Skype-telefon. Domlouvat se s řidičem v rámci časového posunu, jak má naplánovanou jízdu, abychom netelefonovali za jízdy (což se u pár stejně stalo) byla sranda.
– Dominik Michna, Helping companies shape ideas and build meaningful things | Product & Business Designer at Stride XL | Proud Member & Product Owner at Red Button | ProductTank Organizer at Mind the Product
Co se může pokazit na místě, kde probíhá testování?
Testujete u klienta v kanceláři? Stůl bude malý, budou chybět židle, wifi nebude mít dostatečný dosah, nebude tam zásuvka 👉 Udělejte si checklist toho, co potřebujete pro testování a zašlete jej klientovi předem.
Nejlepší je, pokud se můžete do kanceláře přijít sami podívat. Někdy to není možné (např. jedete testovat na druhý konec republiky), tak si alespoň nechejte poslat foto/video zasedačky, kde má testování probíhat. A požádejte klienta, ať si projde váš checklist a vše pro vás připraví. Můžete mu také nakreslit plánek, jak potřebujete místnost uspořádat.
Počítejte s tím, že byste měli mít vlastní data, prodlužovačku, powerbanku, mikrofon, kameru (foťák), nabíječky.
Ve vašem “testlabu” je všechno slyšet. A nejvíce kolegové, kteří testování sledují on-line ve vedlejší místnosti 👉 Pokud to jde, pozorovací místnost by neměla sousedit s tou testovací. Pokud to nejde, musíte si udělat krátké školení publika před samotným testováním.
Když testuji v labu před zrcadlem, vždy si na respondentovo místo nejdříve posadím kolegy, kteří testování budou pozorovat. Následně se zavřu do pozorovatelny a tam nahlas mluvím, kašlu, rozsvěcuji telefon. Sami si zažijí, jak je nepříjemné sledovat to, co se děje za zrcadlem a celou dobu si dávají na své chování pozor.
Pro mě bylo asi nejhorší, když jsem jako výzkumnické miminko vedla jedno ze svých prvních testování. Kolegové seděli přes zeď v jiné kanceláři a test sledovali. Musím podotknout, že to byla veeeelmi tenká zeď a kolegové měli velmi nevybíravé komentáře na výkony respondenta. Mám pocit, že větu “Ježíš to je kretén!” do konce života nevymažu z paměti.
Tenkrát jsem to vyřešila tím, že jsem test docela rychle ukončila. Od té doby si hlídám zdi a také těm, kdo sledují testování z jiné kanceláře vyprávím tuto historku. A dávám jim sepsaná jednoduchá pravidla, jak se chovat do té doby, dokud respondent neopustí budovu.
– Tereza Kosnarová, I do research ❤
Presne to, čo popisuješ, som tiež zažil: “Kde to hľadáš? Veď na to ukazuješ myšou! Proste klikni!!! Ááááá!!!!!” Odvtedy sme mali zásadu, že zasadačka kde sa testuje a zasadačka kde sa robia náhľady nesmú byť vedľa seba.
– Richard Fridrich, I write Javascript
Děkuji všem milým a úžasným designérům a výzkumníkům, za jejich cenné a vtipné komentáře v diskuzi, díky které tento článek vznikl ❤
