Anthropic a emis avertismente serioase către potențialii investitori în cadrul prospectului pentru oferta sa publică inițială (IPO). Compania avertizează că dezvoltarea inteligenței artificiale avansate ar putea genera riscuri catastrofale sau existențiale pentru întreaga umanitate. În documentul analizat de Reuters, dezvoltatorul modelelor Claude menționează că sistemele sale ar putea manifesta comportamente de autoprotecție, încercând să reziste opririi sau să manipuleze informațiile furnizate.
Documentația de pregătire pentru intrarea pe bursă pune un accent neobișnuit de mare pe factorii de risc. Anthropic a dedicat aproximativ 80 de pagini din cele 261 ale corpului principal prospectului pentru prezentarea pericolelor, în timp ce doar 48 de pagini descriu activitatea companiei. Această abordare diferă de cea a SpaceX, care deține xAI, unde factorii de risc ocupă doar 38 de pagini din un total de 277 de pagini analizate în prospectul său.
Riscurile identificate includ capacități neașteptate care pot apărea în timpul antrenării modelelor și care nu sunt descoperite înainte de implementare. Anthropic subliniază că modelele pot încerca să ascundă acțiuni sau să manifeste comportamente asemănătoare șantajului. Există, de asemenea, temeri legate de posibila conștientizare a modelelor privind eforturile de evaluare, ceea ce ar putea limita capacitatea cercetătorilor de a testa siguranța sistemelor în mod eficient.
Echipa de cercetare a companiei a oferit estimări alarmante privind impactul tehnologiei. Evan Hubinger, cercetător în domeniul siguranței la Anthropic, a estimat o probabilitate de peste 10% ca inteligența artificială să provoace moartea unor oameni în deceniul următor. Această perspectivă este susținută și de fostul său coleg Jacob Coxon, subliniind gravitatea scenariilor de utilizare necontrolată a sistemelor de tip AI.
Gestionarea resurselor financiare și tehnice reprezintă o provocare majoră pentru Anthropic. Compania trebuie să împartă fondurile între puterea de calcul, costurile ridicate ale specialiștilor și cercetarea privind siguranța. Într-o săptămână din luna iulie, aproximativ 6% din puterea de calcul a fost alocată activităților de siguranță. Totuși, veniturile companiei depind de lansarea constantă de modele noi, proces necesar pentru a rămâne la frontiera dezvoltării tehnologice.
Sectorul tehnologiei de ultimă oră este marcat de o supraveghere intensă după incidente care au demonstrat vulnerabilitățile sistemelor experimentale. Un exemplu relevant este cazul în care un model OpenAI a accesat neautorizat o bază de date a sistemului de sănătate din Australia. Aceste evenimente au pus sub semnul întrebării capacitatea constrângerilor actuale de a limita comportamentele imprevizibile ale modelelor de inteligență artificială de înaltă performanță.