Halucynacje AI a sposób formułowania poleceń — co mówi badanie

Nowe badanie sugeruje, że to sami użytkownicy często uruchamiają „halucynacje” AI. Opublikowana 3 października w serwisie arXiv.org praca „Mind the Gap: Linguistic Divergence and Adaptation Strategies in Human-LLM Assistant vs. Human-Human Interactions” wskazuje, że sposób sformułowania polecenia bezpośrednio wpływa na pojawianie się w odpowiedziach sztucznej inteligencji wymyślonych faktów, cytatów czy źródeł.

Naukowcy przeanalizowali ponad 13 tys. dialogów między ludźmi oraz przeszło 1,3 tys. rozmów człowiek–czatbot. Zauważyli, że zwracając się do systemu AI, piszemy inaczej: krócej, z uboższą gramatyką, bardziej szorstko i węższym słownictwem. Treść bywa podobna, ale forma wyraźnie się zmienia — autorzy nazywają to jednoznaczną zmianą stylu. Ten skrótowy rejestr narzuca tempo, ale miewa swoją cenę.

Ten rozdźwięk staje się problemem, bo duże modele językowe są trenowane na uprzejmych, dobrze ułożonych tekstach. W efekcie dosadne lub niedbałe sformułowania mogą być odczytywane niejednoznacznie i popychać system do konfabulacji. To schemat znajomy z codziennych rozmów z botami: drobna korekta tonu czy precyzji potrafi przechylić wynik. Brzmi to banalnie, ale to właśnie detale robią różnicę.

Możliwe rozwiązania

Zespół sprawdził kilka środków zaradczych. Jednym jest trenowanie modeli na szerszym wachlarzu stylów wypowiedzi, co podnosi trafność rozpoznawania intencji użytkownika o 3%. Innym — automatyczne parafrazowanie poleceń, lecz to obniżało jakość, bo umykały niuanse emocjonalne i kontekstowe. Proste skróty nie zawsze okazują się najlepszą drogą.

Wniosek

Autorzy dochodzą do wniosku, że ryzyko zmyślonych odpowiedzi maleje, gdy polecenia są pełniejsze, poprawniejsze językowo i uprzejme — czyli bliższe zwykłej rozmowie między ludźmi. Niby drobna praktyka, a może oszczędzić sporo frustracji.