“La regulació no és la solució per a la IA; l’educació, sí”

De la UPC a una vicepresidència a Google: ha estat dur?

Vaig començar enginyeria de telecos ; però a segon estava avorrit i vaig començar a estudiar Mates en paral·lel com a segona titulació. Em vaig formar al Centre de Formació Interdisciplinària Superior. I un dia va venir Tomás Lozano del MIT i ens va parlar d’ intel·ligència artificial...

Veig que el va enganxar el tema.

Vaig descobrir que era el meu fort i acabada Telecomunicacions vaig veure un anunci de la Carnegie Mellon i hi vaig anar. El 2007 vaig decidir especialitzar-me en neural networks deep learning i vaig fer un màster a San Diego i em vaig doctorar a Berkeley...

Al costat d’un Silicon Valley llançat.

I l’últim internship el vaig fer a Google, que tenia instal·lat allà Google Brain, un equip petit en el qual vaig estar fins al 2016.

Ja veien que la intel·ligència artificial podia canviar el món?

Ja sabíem que escalant models de llenguatge o xarxes neuronals podríem arribar a emular la intel·ligència humana.

Quan van veure que mentrestant podien crear aplicacions i rendibilitzar-la?

El nostre paper Sequences va generar molta controvèrsia i Zuckerberg aleshores va anunciar el seu laboratori d’IA dient que només calia agafar un model de llenguatge i escalar dades per garantir-ne l’èxit.

Com van aplicar el model a la pràctica?

Vam fer models de traducció i d’ image cap­tioning , i el 2016, Google aplica el nostre model al Google Translate. The New York Times em va entrevistar. L’impacte dels nostres models ja era enorme. Me’n vaig anar a Londres a DeepMind per ser més a prop de la família i per qüestions personals.

La seva feina era igual de rupturista allà?

Vaig aprendre reinforcement learning , que és la manera en què avui s’entrenen els models de llenguatge, i vaig col·laborar amb l’AlphaFold 2, que després va guanyar el premi Nobel de Química...

...Per plegar una proteïna: gran èxit!

Abans s’intentava aconseguir amb simulació de forces en superordinadors, i nosaltres amb deep learning ho vam aconseguir amb una base de dades de proteïnes: vèiem com es plegaven i vam entrenar el model.

Va ser impressionant, però això significava que el model ja era intel·ligent?

Depèn de la definició d’intel·ligent.

Som a prop del moment Singularity en què la IA avanci el cervell humà?

No hi haurà un salt sobtat. Estudiàvem com escalar dades quan van aparèixer el GPT i l’explosió d’utilitats...

Era la competència i semblava que substituiria les recerques de Google: i vostès?

Ja havíem treballat amb llenguatges en el Google Brain així que vam projectar un model potent pur i un altre de llenguatge i visió des del captioning i el 2023 vam començar el projecte Gemini.

Els analistes diuen ara que l’últim Gemini és millor que l’últim Chat GPT.

Depèn a qui ho preguntis. Són models generals que fan de tot. I el nostre Nanobanana és un editor de gràfics brutal.

The winner takes it all? Una sola empresa es quedarà tot el mercat de la IA?

Només si un d’aquests models aprèn a millorar per si mateix descobrint algoritmes, i això podria passar d’aquí entre 2 i 10 anys. El problema quan es porti al mercat és que potser serà contraproduent que sigui tan bo escrivint... En mates no hi ha dubtes: com més potent, millor.

Quin és el pròxim repte?

Els models passen pel pretraining , que aconsegueix que entenguin seqüències de paraules, i el reinforcement training , en què aprenen fins a convertir-se en un assistent.

Però els models avui no aprenen de la realitat sinó només del que ja hi ha a la xarxa.

Per això el primer pas és aconseguir que tot el coneixement sigui a la xarxa.

Però això no és aprendre de l’entorn, com sí que fem els humans.

Per això hauries de crear un assistent, un xatbot, que interactuï amb humans. I l’interessant i difícil seria que les persones valoressin aquesta interacció perquè el model integrés al llenguatge la informació directa de la realitat que li donin els humans.

Com es pot aconseguir?

És qüestió de robòtica, com en la conducció sense conductor, i es comença a fer indirectament interactuant amb altres models que simulen ser un usuari. Superar la barrera de l’experiència és la segona part de l’entrenament de models. Està verd, però s’hi arribarà.

Cal regular la IA?

La regulació no és la solució davant els reptes i oportunitats de la IA; l’educació, sí. I soc optimista, perquè aquí el nivell és molt alt.

Com ens preparem?

A San Francisco agafo taxis sense conductor i Waymo és una revolució en la conducció autònoma. La meva vida quotidiana ha canviat amb la IA, però cal formar-se per al canvi; encara que els escenaris de Holllywood són els menys probables.