PaLM 2 će pokretati ažurirani chatbot Bard (kao konkurencija Googlea OpenAI-ovom ChatGPT-u) i funkcionirat će kao temeljni model za većinu novih značajki umjetne inteligencije koje tvrtka najavljuje.
PaLM 2 je dostupan developerima putem Googleovog PaLM API-ja, Firebasea i na Colabu.
Google, slično kao OpenAI, nije objavio previše tehničkih detalja o tome kako je obučen ovaj model nove generacije, uključujući i količinu parametara (PaLM 1 je model s 540 milijardi parametara).
Jedini tehnički detalj kojeg je Google pustio u javnost je da je PaLM 2 izgrađen na najnovijoj infrastrukturi Googleovog JAX-a i TPU v4.
“Ono što smo otkrili u našem radu je da zapravo veličina modela nije nužno bitna – veće nije uvijek bolje,” rekao je Zoubin Ghahramani, potpredsjednik DeepMinda, na konferenciji za novinare prije saem najave.
“Zato smo pružili seriju modela različitih veličina. Mislimo da broj parametara zapravo nije koristan način razmišljanja o sposobnostima modela, a sposobnosti se zapravo trebaju ocjenjivati prema ljudima koji koriste modele i otkrivaju jesu li korisni u testovima koje pokušavaju postići s tim modelima.“
Umjesto toga, tvrtka se odlučila fokusirati na svoje sposobnosti.
Google kaže da je novi model bolji u razumijevanju zdravog razuma, matematike i logike.
Doista, kako je Ghahramani primijetio, tvrtka je model obučila na velikom broju matematičkih i znanstvenih tekstova, kao i matematičkih izraza.
Nije tajna da su veliki jezični modeli – sa svojim fokusom na jeziku – imali poteškoća s rješavanjem matematičkih pitanja bez pribjegavanja dodacima treće strane.
Google, međutim, tvrdi da PaLM 2 lako može rješavati matematičke zagonetke, razmišljati o problemima pa čak i pružiti dijagrame.
PaLM 2 također ima poboljšanu podršku za pisanje i uklanjanje pogrešaka u kodu. Model je obučen na 20 programskih jezika, uključujući popularne poput JavaScripta i Pythona, ali i one poput Prologa, Veriloga i Fortrana.
PaLM 2 između ostalog čini osnovu i Codeyja, Googleovog specijaliziranog modela za kodiranje i otklanjanje pogrešaka. Model koji je samo dio ukupnih usluge za dovršavanje i generiranje koda.
Google je također istaknuo da je PaLM 2 obučen na korpusu koji sadrži preko 100 jezika, čineći ga, prema Googleovim riječima, “izvrsnim u višejezičnim zadacima”, uključujući i suptilnije fraziranje nego prethodni modeli.
Google govori o PaLM-u kao o “obitelji modela”, koja uključuje Codey, ali i Med-PaLM 2, Googleov model usredotočen na medicinsko znanje.
Postoji i Sec-PaLM, verzija koja se usredotočuje na sigurnosne slučajeve upotrebe i manji model PaLM 2 koji može raditi na pametnim telefonima.
Nije tajna da je Google pristupio vrlo promišljeno lansiranju ovih AI značajki. Tvrtka želi izgraditi ove alate odgovorno i prije svega sa sigurnošću na prvom mjestu.