AI-svärmar skapar syntetisk konsens och hotar demokrati

Ett internationellt forskarteam har slagit larm om ett nytt hot: så kallade "AI-svärmar" som kan skapa illusionen av en utbredd allmän opinion. I en publikation i tidskriften Science konstaterar forskarna att kombinationen av stora språkmodeller med fleragentsystem möjliggör koordinerade nätverk av AI-personor. Dessa personor beter sig som riktiga användare och kan subtilt påverka digitala miljöer.

I motsats till de primitiva bottarna från förr kan moderna AI-agenter upprätthålla konsekventa "personligheter", komma ihåg tidigare interaktioner och anpassa sin kommunikationsstil baserat på publikens reaktioner. Sådana digitala profiler kan operera synkroniserat för att främja samma agenda samtidigt som de härmar oberoende åsikter. Detta skapar en "syntetisk konsens"-effekt, där artificiellt genererad aktivitet uppfattas som ett brett folkligt stöd för en viss ståndpunkt.

Forskarna menar att dessa mekanismer utgör ett allvarligt hot mot demokratiska processer och offentlig dialog. En enskild illvillig aktör som använder AI kan härma tusentals röster, påverka trender, pressa offentliga personer och sprida desinformation. Dessutom kan massproduktion av artificiellt innehåll förvränga träningsdata för andra AI-system, vilket förstärker manipulative effekter.

Experter betonar att traditionell moderering av enskilda inlägg är ineffektiv mot sådana nätverk. I stället förespråkar de att man upptäcker statistiskt onormal koordinering, spårar innehållets ursprung och tillämpar beteendevetenskapliga metoder för att analysera kollektiva AI-agenters handlingar. Föreslagna åtgärder innefattar införande av integritetsbevarande verifieringsmekanismer, skapande av ett distribuerat system för övervakning av AI-påverkan och minskning av finansiella incitament för oäkta onlineaktivitet.