Príklad
Predstav si spravodajský alebo vzdelávací portál, kde každý používateľ vidí iný obsah podľa svojho profilu, histórie alebo oprávnení.
Bežný návštevník vidí odporúčané články podľa kategórií, ktoré číta najčastejšie. Prihlásený študent vidí odporúčané kurzy podľa absolvovaných lekcií. Premium používateľ vidí platený obsah, zatiaľ čo bežný používateľ len ukážku článku.
Na prvý pohľad to vyzerá jednoducho:
„Systém zobrazí relevantný obsah.“
Lenže práve personalizácia býva zdrojom veľmi zvláštnych chýb:
- používateľ vidí obsah niekoho iného,
- odporúčania sa neaktualizujú,
- po zmene role zostane starý obsah v cache,
- používateľ dostane odporúčania v zlom jazyku,
- anonymný používateľ vidí premium obsah,
- po odhlásení zostane personalizovaný obsah stále zobrazený.
Tester preto netestuje len „či sa niečo zobrazilo“, ale:
- podľa čoho sa obsah vyberá,
- ako rýchlo sa aktualizuje,
- či funguje správne cache,
- či sa miešajú údaje medzi používateľmi,
- a či personalizácia neporušuje bezpečnosť alebo GDPR.
Ako otestovať personalizáciu obsahu podľa používateľa
1. Personalizácia podľa role používateľa
- Over zobrazenie obsahu pre rôzne role:
- anonymný používateľ,
- registrovaný používateľ,
- premium účet,
- administrátor,
- editor.
- Skontroluj, že používateľ nevidí obsah určený pre inú rolu.
- Over, že zmena role sa prejaví okamžite alebo podľa definovaného refresh mechanizmu.
2. Personalizácia podľa histórie používateľa
- Over odporúčania podľa:
- prečítaných článkov,
- dokončených kurzov,
- histórie vyhľadávania,
- kliknutí alebo hodnotení.
- Skontroluj, že nové správanie používateľa ovplyvní odporúčania.
- Over, že odporúčania nie sú stále rovnaké bez ohľadu na aktivitu.
3. Testovanie anonymného vs. prihláseného používateľa
- Over rozdiel medzi obsahom:
- pred prihlásením,
- po prihlásení,
- po odhlásení.
- Skontroluj, že po odhlásení nezostanú personalizované údaje v cache alebo session.
4. Cache a oneskorené aktualizácie
- Over:
- refresh stránky,
- zmenu zariadenia,
- otvorenie v inkognito režime,
- viac prehliadačov naraz.
- Skontroluj, či sa používateľovi nezobrazuje starý obsah.
- Over invalidáciu cache po zmene profilu alebo oprávnení.
5. Lokalizácia a jazyková personalizácia
- Over odporúčania podľa:
- jazyka používateľa,
- regiónu,
- krajiny,
- časového pásma.
- Skontroluj fallback jazyk.
- Over, že používateľ nedostane kombináciu jazykov na jednej stránke.
6. Testovanie bezpečnosti a ochrany údajov
- Over, že používateľ nevidí:
- cudziu históriu,
- odporúčania iného účtu,
- neveľejný obsah.
- Skontroluj API odpovede:
- či nevracajú údaje iných používateľov,
- či frontend len „neskrýva“ cudzie dáta.
- Over logovanie a audit personalizačných pravidiel.
7. Testovanie algoritmov odporúčaní
- Over:
- čo sa stane pri novom používateľovi bez histórie,
- čo sa stane pri prázdnych dátach,
- čo sa stane pri extrémne veľkej aktivite.
- Skontroluj:
- duplicity odporúčaní,
- nerelevantný obsah,
- nekonečné opakovanie jednej kategórie.
8. Výkon a škálovanie
- Over odozvu pri:
- veľkom počte používateľov,
- veľkom množstve personalizovaných dát,
- paralelných požiadavkách.
- Skontroluj:
- čas načítania homepage,
- výkon odporúčacieho API,
- správanie pri výpadku personalizačného systému.
9. Fallback scenáre
- Over správanie pri:
- nedostupnom recommendation engine,
- výpadku databázy profilov,
- timeoutoch externých služieb.
- Skontroluj, či systém zobrazí:
- default obsah,
- populárne články,
- bezpečný fallback.