Citácie a hranice odpovede: kedy má AI uviesť zdroj a kedy povedať, že odpoveď nenašla

Séria: Ako písať dokumentáciu a manuály v IT projekte

Reálny problém z praxe

Predstavme si, že pracovníčka supportu sa interného AI asistenta opýta: „Môžem po chybe synchronizácie objednávky spustiť synchronizáciu ručne znova?“

Asistent nájde support položku o tejto chybe. Dokument vysvetľuje, ktoré údaje treba skontrolovať a kedy incident odovzdať integračnému tímu. O ručnom opakovaní synchronizácie však nehovorí. AI napriek tomu odpovie: „Áno, spustite synchronizáciu znova,“ a pripojí odkaz na nájdenú položku.

Odkaz vyzerá dôveryhodne. Keď však pracovníčka dokument otvorí, odporúčaný krok v ňom nenájde. Zdroj súvisí s otázkou, ale odpoveď nepotvrdzuje.

Ako testerka by som pri takejto odpovedi nekontrolovala iba to, či odkaz funguje. Overila by som, či sa dá konkrétny odporúčaný krok v citovanom zdroji skutočne nájsť a či platí pre danú verziu systému a zákazníka.

Čo sa tu vlastne pokazilo (analýza systému)

Vyhľadávanie splnilo svoju úlohu: našlo text o správnej chybe. Chyba vznikla až pri zostavení odpovede. AI spojila informáciu zo zdroja s pravdepodobným pokračovaním postupu a výsledok podala ako potvrdené pravidlo.

Citácia tento nedostatok nezakryje. Odkaz pri odpovedi má umožniť overiť jej podstatné tvrdenie. Nestačí, že dokument obsahuje rovnaké slová ako otázka. Ak odpoveď odporúča zásah do systému, zdroj musí potvrdzovať práve tento zásah vrátane podmienok, za ktorých je povolený.

V uvedenom príklade môže asistent zo zdroja bezpečne povedať, ktoré diagnostické údaje má support skontrolovať. Nemôže z neho odvodiť povolenie na ručné opakovanie synchronizácie. Použiteľná odpoveď by znela napríklad takto:

„V dostupnej support položke som našiel postup na kontrolu chyby a podmienky eskalácie. Nenašiel som v nej potvrdenie, že support môže synchronizáciu spustiť ručne znova. Pred týmto krokom je potrebné overiť platný postup u integračného tímu.“

Pri prvej vete má asistent uviesť konkrétnu support položku a jej príslušnú časť. Pri druhej má presne pomenovať hranicu zistenia. Nemá tvrdiť, že postup neexistuje nikde v projekte. Vie iba to, že ho nepotvrdili zdroje, ktoré mal pre túto otázku dostupné a ktoré smel použiť.

Skutočné náklady (čas, chaos, riziko)

Nesprávne pripojená citácia zvyšuje riziko, že človek vykoná nepotvrdený krok. Pracovníčka supportu môže predpokladať, že odkaz slúži ako schválenie postupu, a odporučí zákazníkovi zásah, ktorý dokumentácia nepovoľuje.

Ak si rozpor všimne, musí znovu otvoriť zdroj, hľadať príslušnú časť a zisťovať, odkiaľ AI vzala chýbajúci krok. Čas, ktorý mala odpoveď ušetriť, sa minie na jej preverovanie.

Problém sa prenáša aj do znalostnej bázy. Ak niekto neoverenú odpoveď skopíruje do tiketu alebo nového návodu, domyslený krok sa môže začať šíriť ako platný postup. Neskoršia odpoveď AI ho potom môže nájsť už v druhom dokumente, hoci stále nemá pôvodné schválenie.

Rovnako škodí aj príliš kategorické odmietnutie. Ak AI pri neúplnom zdroji oznámi „odpoveď neexistuje“, môže prehliadnuť informáciu, ktorá je v inom oprávnene dostupnom dokumente, alebo odradiť support od správnej eskalácie. Hranica odpovede preto musí opisovať výsledok konkrétneho hľadania.

Minimálny model riešenia

Tím potrebuje pre asistenta jednoduché pravidlá, podľa ktorých sa rozhodne, čo môže z nájdených podkladov povedať:

  • Ak platný a oprávnene dostupný zdroj priamo podporuje odpoveď, asistent odpovie a uvedie odkaz na konkrétny dokument alebo jeho časť. Pri postupe musí zachovať aj podmienky a výnimky.
  • Ak zdroj podporuje iba časť odpovede, asistent uvedie potvrdenú časť so zdrojom a jasne pomenuje, čo v podkladoch chýba. Chýbajúci krok nedoplní odhadom.
  • Ak si platné zdroje odporujú, asistent nevyberie potichu jednu verziu. Pomenuje rozpor, uvedie dotknuté zdroje a odkáže otázku vlastníkovi obsahu.
  • Ak v dostupných a povolených zdrojoch odpoveď nenájde, povie to v tomto rozsahu. Netvrdí, že informácia v projekte vôbec neexistuje.
  • Ak na výber správneho zdroja chýba údaj o verzii, zákazníkovi alebo prostredí, najprv si ho vyžiada. Odpoveď platnú pre iný kontext nesmie vydať za všeobecné pravidlo.

Citácia má byť použiteľná aj pre človeka, ktorý odpoveď kontroluje. Pomáha názov zdroja, odkaz na správnu časť a údaj o verzii alebo platnosti, ak od nich odpoveď závisí. Odkaz na úvodnú stranu rozsiahleho manuálu nemusí stačiť na overenie konkrétneho kroku.

Asistent pritom môže citovať iba zdroje, ktoré smie používateľka otvoriť. Ak oprávnený podklad pre jej otázku nie je dostupný, odpoveď nesmie prezradiť jeho obsah ani samotnou citáciou.

Prepojenie na kvalitu a workflow

Pravidlo pre citácie a hranice odpovede treba overiť na otázkach, ktoré tím skutočne rieši. Pri každej referenčnej otázke môže vlastník znalosti určiť, aká odpoveď je prípustná, ktorý zdroj ju potvrdzuje a čo má asistent urobiť, ak podklad nestačí.

Pri testovaní by som použila aj pôvodnú otázku o synchronizácii:

  • Keď zdroj výslovne povoľuje ručné opakovanie pre danú verziu a zákazníka, asistent môže uviesť postup s presnou citáciou.
  • Keď zdroj obsahuje iba diagnostiku, asistent má citovať diagnostické kroky a povedať, že povolenie na ručné opakovanie nenašiel.
  • Keď dva platné dokumenty uvádzajú odlišný postup, asistent má rozpor priznať a neodporučiť neoverený zásah.
  • Keď používateľka nemá prístup k dokumentu s odpoveďou, asistent ho nesmie použiť ani prezradiť jeho obsah cez odkaz alebo súhrn.
  • Keď otázka neuvádza verziu systému, hoci postup sa medzi verziami líši, asistent si má verziu vyžiadať.

Kontrola sa nekončí tým, že odpoveď obsahuje odkaz. Testerka otvorí citované miesto a porovná s ním každé podstatné tvrdenie, najmä odporúčané kroky a ich podmienky. Po zmene postupu sa spolu so zdrojom upravia aj referenčné otázky a očakávané odpovede.

Do Definition of Done pre znalostnú položku možno zaradiť toto kritérium:

„Pri referenčných otázkach je overené, že asistent cituje zdroj podporujúci konkrétne tvrdenie, zachováva rozsah jeho platnosti a pri chýbajúcom alebo rozpornom podklade neodporúča nepotvrdený krok.“

Krátke zhrnutie

Citácia má človeku umožniť overiť, odkiaľ pochádza konkrétna odpoveď. Samotný odkaz ešte nedokazuje, že zdroj podporuje všetko, čo AI tvrdí.

Ak podklady stačia iba na časť odpovede, asistent má túto časť poskytnúť a pomenovať, čo zostáva nepotvrdené. Ak odpoveď v dostupných a povolených zdrojoch nenájde, má povedať práve to. Pre support je taká hranica užitočnejšia než presvedčivo napísaný, ale domyslený postup.


Súvisiace články a vzory

Metadáta a pôvod informácie: čo musí AI vedieť o každom zdroji

  • Údaje o pôvode, rozsahu a dohľadateľnosti zdrojovej informácie.

Ako pripraviť referenčné otázky a očakávané odpovede pre testovanie znalostnej bázy

  • Príprava otázok, kontextu a overených očakávaní na hodnotenie odpovedí.

Checklist hodnotenia odpovede AI

  • Kontrolný podklad na hodnotenie konkrétnej odpovede AI.

Ako testovať vyhľadávanie a odpoveď AI oddelene

  • Oddelené posúdenie vyhľadaných podkladov a výslednej odpovede AI.

[Doplniť odkaz na článok.]

Pridajte Komentár

Vaša e-mailová adresa nebude zverejnená. Vyžadované polia sú označené *

Návrat hore