Friss kutatás szerint a felhasználói promptok stílusa befolyásolja az MI-hallucinációkat. Megoldások: szélesebb stílustréning, részletesebb kérdések.
© RusPhotoBank
Egy friss kutatás arra utal, hogy az MI-válaszokban felbukkanó „hallucinációkat” gyakran maguk a felhasználók indítják be. Az arXiv.org-on október 3-án megjelent „Mind the Gap: Linguistic Divergence and Adaptation Strategies in Human-LLM Assistant vs. Human-Human Interactions” című tanulmány szerint már az is, hogyan fogalmazzuk meg a promptot, közvetlenül befolyásolja, hogy a rendszer kitalált tényeket, idézeteket vagy forrásokat illeszt-e a válaszába.
A kutatók több mint 13 000 ember–ember párbeszédet és több mint 1 300 ember–chatbot interakciót elemeztek. Azt látták, hogy amikor valaki MI-hez fordul, másképp ír: rövidebben, gyengébb nyelvtannal, nyersebben és szűkebb szókinccsel. A tartalom akár változatlan is maradhat, a hangütés mégis látványosan eltolódik — a szerzők ezt egyértelmű stílusváltásként írják le. Ezen aligha lepődik meg bárki, aki már kapkodva pötyögött be egy sürgős kérést.
Ez a különbség azért válik gondossá, mert a nagy nyelvi modelleket jellemzően udvarias, jól formált szövegeken tanítják. Így a nyers vagy gondatlan megfogalmazás könnyen kétértelműnek hat, és finoman abba az irányba billentheti a rendszert, hogy dolgokat találjon ki. Ismerős minta ez a mindennapi botbeszélgetésekből: egy apró tónus- vagy tisztaságbeli eltérés is képes megváltoztatni a kimenetet.
A csapat több ellenszert is kipróbált. Az egyik, hogy a modelleket szélesebb beszédstílus-skálán tanítják, ami 3%-kal javította a felhasználói szándék megértésének pontosságát. A másik az automatikus prompt-parafrázis volt, ez azonban rontotta a minőséget, mert elvesztek az érzelmi és kontextuális árnyalatok. Nem meglepő, hiszen gyakran épp ezek a finom jelzések hordozzák a lényeget.
A szerzők arra jutnak, hogy a felhasználók csökkenthetik a kitalált válaszok kockázatát, ha bővebben, szabályosabb nyelvtannal és udvariasabban fogalmaznak — így az MI-vel folytatott beszélgetés közelebb kerül a hétköznapi emberi társalgáshoz. Apró beidegződés, mégis bőven megéri elsajátítani.