Badanie PNAS pokazuje, że duże modele językowe potrafią naśladować respondentów, obchodząc reCAPTCHA. SI zagraża wiarygodności ankiet i jakości danych.
© A. Krivonosov
Ankiety online, od lat stanowiące kręgosłup badań społecznych i behawioralnych, znalazły się pod poważną presją. Jak informuje 404 Media, profesor Dartmouth College Sean Westwood opublikował w PNAS badanie, z którego wynika, że współczesne duże modele językowe potrafią zaskakująco wiernie naśladować ludzkich respondentów, co stawia wiarygodność sondaży pod znakiem zapytania.
Westwood zbudował narzędzie nazwane „autonomicznym syntetycznym respondentem” — agentem SI, który odpowiada na pytania, uchodząc za człowieka i wymykając się 99,8% najbardziej zaawansowanych systemów wykrywania botów. Badacz ostrzega, że nie ma już gwarancji, iż odpowiedzi w ankietach pochodzą od realnych osób, i wskazuje, że zanieczyszczenie danych przez boty może podkopać fundament wiedzy naukowej. Brzmi to jak ostrzeżenie, którego badań ankietowych dawno nie słyszano.
Najbardziej niepokoi to, jak system radzi sobie z zadaniami, które kiedyś miały odróżniać ludzi od automatów. Nie tylko udziela odpowiedzi; odtwarza też mikrozachowania z drobiazgową dbałością. Agent dopasowuje czas czytania do deklarowanego poziomu wykształcenia, generuje realistyczne ruchy kursora, pisze z literówkami i poprawkami na bieżąco, a nawet obchodzi reCAPTCHA. W praktyce tradycyjne testy „człowieczeństwa” przestają spełniać swoją rolę.
SI potrafi również tworzyć fikcyjne profile o dowolnej mieszance demograficznej, co pozwala atakującemu sterować wynikami poprzez dobór pożądanych cech. Badanie wykazało, że do wypaczenia prognoz w siedmiu kluczowych sondażach sprzed wyborów w 2024 roku wystarczyło od 10 do 52 takich syntetycznych odpowiedzi — w cenie około pięciu centów za sztukę, podczas gdy udział prawdziwego uczestnika kosztuje około $1.50. Już sam stosunek kosztów sprawia, że ryzyko nadużyć trudno ignorować.
Metodę przetestowano na szerokiej gamie modeli — OpenAI o4-mini, DeepSeek R1, Mistral Large, Claude 3.7 Sonnet, Grok3 oraz Gemini 2.5 Preview. W każdym przypadku skuteczność okazała się uderzająca: po poleceniu liczącym 500 słów modele przyjmowały wskazaną personę i odpowiadały jak prawdziwi użytkownicy.
Badacze mogliby zaostrzyć weryfikację tożsamości i oprzeć się na bardziej restrykcyjnej rekrutacji — na przykład poprzez dobór próby z adresów czy rejestrów wyborców — lecz wiąże się to z ryzykiem dla prywatności. Autorzy apelują o ponowne przemyślenie standardowych praktyk i wypracowanie nowych protokołów, które utrzymają rzetelność badań społecznych w epoce błyskawicznie postępującej SI. Wnioski są trzeźwe: ochrona jakości danych może wymagać nowych kompromisów, ale odkładanie decyzji tylko zwiększy pole do manipulacji.