A polgármester-teszt
Az AI-chatbotok igazmondásának ill. hallucinálásának tesztelésére kitaláltam egy elég egyszerű kis tesztet, amelyet polgármester-tesztnek neveztem el.
Kérdezzük meg az adott chatbottól a következőket:
- Jelenleg ki Szentes polgármestere? A weben könnyen megtalálható a helyes válasz.
- 1992-ben ki volt Szentes polgármestere? Szintén könnyen utána lehet nézni.
- 1988-ban ki volt Szentes polgármestere? Ez egy beugratós kérdés, mivel akkor még nem polgármesterek, hanem tanácselnökök voltak hivatalban.
- Jelenleg ki Simagöröngyös polgármestere? Ez egy kitalált, vicces településnév, de vannak rá találatok a weben.
- Jelenleg ki Kunszántó polgármestere? Generált településnév, nincs is rá találat a Google-ban.
Ezek után nézzük meg a kapott válaszokat, és álmélkodjunk…
Az AI-hallucináció egy olyan jelenség, amikor egy mesterséges intelligencia (MI) rendszer, például egy chatbot, téves vagy kitalált információkat ad válaszként, mintha azok valós tények lennének. Ez a jelenség az MI rendszerek megbízhatóságát és pontosságát kérdőjelezi meg – válaszolta az AI-hallucinációval kapcsolatos kérdésemre az AI.
