Connect with us

Svijet

ČetGPT HALUCINIRA, LAŽE I IZMIŠLJA? O čemu se radi?

Najnoviji modeli vještačke inteligencije OpenAI kompanije sve više izmišljaju netačne informacije, a stručnjaci nemaju objašnjenje za ovaj zabrinjavajući trend. Najprije, o čemu se radi?

Prema izvještaju Njujork Tajmsa, istraživanje OpenAI-a otkrilo je da njihovi najnoviji ČetGPT modeli (o3 i o4-mini) znatno češće haluciniraju, odnosno izmišljaju lažne informacije, nego prethodni GPT o1 model.

Brojna testiranja pokazala su zabrinjavajući trend. O3, koji je najmoćniji sistem kompanije, halucinirao je u čak 33 odsto slučajeva tokom PersonQA testa koji postavlja pitanja o javnim ličnostima. To je više nego dvostruko veća stopa halucinacije od prethodnog OpenAI sistema za zaključivanje, o1. Novi o4-mini model pokazao se još lošijim sa stopom halucinacije od 48 odsto.

Još alarmantniji su rezultati drugog testa. Prilikom SimpleQA testa, koji postavlja opštija pitanja, stope halucinacije za o3 i o4-mini bile su čak 51 odsto odnosno 79 odsto. Prethodni sistem, o1, halucinirao je u 44 odsto slučajeva.

“Razmišljajući” modeli prave više grešaka nego ikad
Ono što dodatno zbunjuje stručnjake je činjenica da su upravo najnapredniji AI modeli ti koji imaju sve veći problem sa halucinacijama. Najnovije i najmoćnije tehnologije — takozvani sistemi za zaključivanje kompanija poput OpenAI, Gugl i kineskog startapa DipSik— generišu više grešaka umjesto manje.

Da bismo razumjeli o čemu se radi, važno je objasniti šta su to “reasoning” ili modeli za zaključivanje. Jednostavno rečeno, ovi modeli su vrsta jezičkih modela (LLM) dizajnirani za obavljanje složenih zadataka. Umjesto da samo izbacuju tekst na osnovu statističkih modela vjerovatnoće, modeli za zaključivanje razbijaju pitanja ili zadatke na pojedinačne korake slično ljudskom procesu razmišljanja.
OpenAI prvi model za zaključivanje, o1, pojavio se prošle godine i tvrdilo se da dostiže performanse doktorskih studenata fizike, hemije i biologije, a nadmašuje ih u matematici i kodiranju zahvaljujući tehnikama reinforcement learning-a.

U sistemu za testiranje, OpenAI je objavio tabelu koja pokazuje da ČetGPT o3 jeste tačniji od o1, ali će halucinirati dvostruko češće. Što se tiče o4-mini, ovaj manji model će proizvoditi manje tačne odgovore od o1 i o3, i halucinirati tri puta više od o1.

Antropomorfizacija AI modela i kako to utiče na korisno iskustvo
Iako kompanija i dalje istražuje uzroke, postoje neke teorije. Istraživačka grupa Transluce otkrila je da o3 model izmišlja radnje koje navodno preduzima dok pokušava da riješi zadatke. U jednom primjeru, o3 je tvrdio da koristi MacBook Pro iz 2021. godine “izvan ČetGPT” za izračunavanje, a zatim kopira brojeve u svoj odgovor, što je potpuno izmišljeno.
Jedna hipoteza koju je predložio Nil Čaudri, istraživač iz Transluce-a i bivši zaposleni u OpenAI-u, glasi: “Naša hipoteza je da vrsta reinforcement learninga koja se koristi za o-seriju modela može pojačati probleme koji se obično ublažavaju (ali ne i potpuno brišu) standardnim post-trening procesima.”

Ipak, OpenAI negira da je problem sistemski.

– Halucinacije nisu inherentno rasprostranjenije u modelima za zaključivanje, iako aktivno radimo na smanjenju viših stopa halucinacije koje smo vidjeli u o3 i o4-mini – izjavila je Gabi Rajla iz OpenAI-a za Tajms.

Kako problem halucinacija utiče na korisnost AI alata
Neodgovorno bi bilo ignorisati zabrinjavajući trend povećanja halucinacija u najnovijim AI modelima, što značajno umanjuje njihovu praktičnu vrijednost. Šta god bila istina, jedno je sigurno. AI modeli moraju uglavnom da izbace besmislice i laži ako žele da budu bilo gdje blizu korisni kao što njihovi zagovornici trenutno zamišljaju. Trenutno je teško vjerovati izlazu bilo kog LLM. Praktično sve mora pažljivo da se dvostruko provjeri.
To je u redu za neke zadatke. Ali tamo gdje je glavna korist ušteda vremena ili rada, potreba za pažljivim provjeravanjem i činjeničnom provjerom AI rezultata zapravo poništava svrhu njihovog korišćenja.

Ne zna se da li će OpenAI i ostatak LLM industrije uspjeti da riješe sve te neželjene “robotske snove”, ali jedno je sigurno – put ka pouzdanoj vještačkoj inteligenciji koja ne izmišlja činjenice očigledno je duži nego što smo očekivali.

Related Topics:

Svijet

RAT JE ZAVRŠEN: Tramp potpisao Memorandum o razumijevanju SAD i Irana

Američki predsjednik Donald Tramp potpisao je Memorandum o razumijevanju Sjedinjenih Američkih Država i Irana za okončanje rata sa Iranom, rekao je zvaničnik Bijele kuće za Rojters

Tekst sporazuma između SAD i Irana zvanično su potpisali predsjednici obje strane, javili su iranski državni mediji, pozivajući se na portparola Ministarstva spoljnih poslova Irana Esmaila Bageija.

Prethodno je novinar američkog portala Aksios Barak Ravid objavio na platformi X, pozivajući se na dva visoka američka zvaničnika, da su Sjedinjene Američke Države i Iran večeras elektronski potpisali Memorandum o razumijevanju za okončanje rata i da je on stupio na snagu.

Oni su rekli da je potpisivanje bilo “na daljinu” i da je Memorandum o razumijevanju već stupio na snagu.

Aksios je prethodno javio da SAD, Iran i posrednici razgovaraju o tome da se potpisivanje Memoranduma obavi danas do kraja dana preko video linka, umjesto u petak u Švajcarskoj.

Neimenovani diplomata iz jedne od zemalja posrednika naveo je da su razgovori o ubrzavanju procesa potpisivanja imali za cilj otvaranje Ormuskog moreuza prije petka, uz saglasnost obje strane.

Јoš jedan razlog bi mogao da bude smanjenje političkog pritiska na Bijelu kuću da objavi tekst Memoranduma o razumijevanju, međutim neimenovani izvor upoznat sa diskusijama tvrdi da je Iran zahtijevao da se tekst ne objavljuje do formalnog potpisivanja i negirao je da Bijela kuća reaguje na politički pritisak.

Ipak, čak i ako se vrijeme potpisivanja promijeni, sastanak između delegacija SAD i Irana, na čelu sa potpredsjednikom Vensom i predsjednikom iranskog parlamenta Mohamedom Bagerom Galibafom, održaće se u petak u Švajcarskoj, kako je i planirano, tvrde izvori Axiosa navodeći da se očekuje da će se razgovarati o pokretanju pregovora o iranskom nuklearnom programu.

Nastavi čitati

Svijet

TRAMP OPET PRIJETI BOMBARDOVANJEM IRANA! “Imate tačno 60 dana ili kreće pakao!”

– Američki predsednik Donald Tramp ponovo je zaprijetio  da će Sjedinjene Američke Države bombardovati Iran, ukoliko se konačni dogovor sa Teheranom ne postigne u roku od 60 dana od potpisivanja Memoranduma između SAD i Irana.

Tramp je rekao, na konferenciji za novinare pre nego što će napustiti samit G7 u Evijanu u Francuskoj, da će podeliti kopije Memoranduma o razumevanju između SAD i Irana koji bi trebalo da bude potpisan u petak u Švajcarskoj, preneo je Skaj njuz.

Tramp je istakao da ne želi da SAD ponovo napadnu Iran, ali da će to morati da urade, ako se Teheran ne bude pridržavao sporazuma zbog toga što, kako je naveo, nikada neće dozvoliti da Teheran ima nuklearno oružje.

Američki predsednik je rekao da se Iran Memorandumom obavezao da neće imati nuklearno oružje i da se to jasno vidi u tom dokumentu.

Tramp je ocenio da bi se u Iranu dogodila “ekonomska katastrofa” da su SAD nastavile napade.

“Nisam želeo da vidim ekonomsku katastrofu”, naveo je Tramp.

Prema njegovim rečima, nova grupa iranskih lidera je “veoma pametna” i “daleko manje radikalizovana”.

Tramp je naveo da se sporazumom postignutim sa Iranom postiže sve što su SAD nameravale da postign, “čak i mnogo više” jer se memorandumom, kako je istakao, predviđa okončanje trenutnog sukoba, ponovo se otvara Ormuski moreuz i sprečava Iran da dobije nuklearno oružje.

(Tanjug)

Nastavi čitati

Svijet

RUTE UVJERAVA EVROPLJANE “Nijedna NATO članica nije sama”

Generalni sekretar NATO-a, Mark Rute, sastao se u Briselu sa premijerom Letonije Andrisom Kulbergsom, a glavne teme razgovora bile su predstojeći samit Alijanse u Ankari, jačanje odbrane i bezbjednosti na istočnom krilu NATO-a.

Rute je podsjetio da su francuski borbeni avioni, angažovani u misiji NATO Baltičkog vazdušnog nadzora, ovog mjeseca presreli i oborili dron koji je ušao u vazdušni prostor Letonije, ocijenivši da takvi incidenti pokazuju “opasno i neodgovorno ponašanje Rusije”.

Istovremeno je poručio da NATO ostaje spreman da zaštiti svaku članicu, naglasivši da “nijedan saveznik nije sam u NATO-u”.
Pohvale za ulaganja u odbranu

Rute je pohvalio Letoniju zbog snažne podrške Ukrajini, uključujući učešće u Međunarodnoj koaliciji za razvoj bespilotnih sistema, kao i zbog značajnih ulaganja u odbranu.

Prema njegovim riječima, Letonija će ove godine za odbranu izdvajati gotovo pet odsto bruto domaćeg proizvoda, što je među najvećim izdvajanjima u Alijansi i primjer ostalim članicama uoči samita NATO-a zakazanog za naredni mjesec u Ankari, navodi NATO.

Nastavi čitati

Aktuelno