Podem escriure i parlar en català amb moltes intel·ligències artificials, però els experts coincideixen a dir que encara els queda camí per recórrer per aconseguir una bona competència lingüística. Softcatalà, una associació sense ànim de lucre per fomentar i normalitzar l'ús de la llengua en l’àmbit de les noves tecnologies, ha donat el tret de sortida a dues iniciatives per corregir les IA, mesurar com porten el català i trobar la intel·ligència artificial més competent de totes.
Els avaluadors d’aquest gran examen a la IA seran els mateixos parlants, que ja poden col·laborar a les plataformes digitals que Softcatalà ha preparat, Garbellaveus i Arenacat. Totes dues estan centrades en les habilitats lingüístiques de les IA: Arenacat vol mesurar la competència en català dels models de llenguatge i Garbellaveus vol millorar-ne la capacitat per transcriure i reconèixer correctament els parlars catalans.
En tots dos casos, els impulsors destaquen la importància de la participació ciutadana, que és capaç d’oferir una visió humana i validar els processos automàtics que, sovint, són insuficients per aconseguir resultats acurats. “Per tenir una transcripció millorada fa falta una persona que la validi i que indiqui quins errors hi ha”, explica Ciaran O'Reilly, voluntari de Sofcatalà involucrat a Garbellaveus.
D’altra banda, Jordi Mas, membre del projecte Arenacat, considera que l’usuari té un paper essencial per valorar la naturalitat de la resposta i que això és, també, un ítem a considerar en la qualitat d’una intel·ligència artificial. “Una cosa és el que diuen les mètriques i els corpus i una altra és l’opinió de les persones, aquí hi entren factors més subjectius”, constata.
La millor IA en català
Arenacat es proposa construir un rànquing de les millors intel·ligències artificials en català i, de fet, ja en té un de provisional a la interfície amb els primers resultats. La iniciativa, amb la participació dels usuaris, mesura les principals tasques que es desenvolupen amb la IA: traducció, reformulació, correcció i generació de textos. “Moltes vegades les IA s’inventen les paraules, fan calcs del castellà o creen mots sense sentit. En els sistemes d’avaluació automàtica això no penalitza gaire, però els usuaris ho detecten de seguida” exposa Jordi Mas.
El sistema que troben els participants per valorar les IA funciona com un duel a cegues en el qual no s'exposen les marques dels models. A la interfície, s'ha de llegir una tasca i comparar les dues respostes que ofereixin les intel·ligències artificials, A i B, generades per models diferents. L'objectiu és determinar quina de les dues és millor, si totes dues són igualment vàlides o si cap no resol satisfactòriament la tasca.
L'avaluació s’ha de basar en quatre aspectes fonamentals: la correcció lingüística, la naturalitat del català, la fidelitat al significat original i el compliment de les instruccions. “La plataforma també exigeix una prova de català molt bàsic per assegurar-nos que els participants tenen criteri”, explica Mas.
De moment, les IA que s’examinen són de Meta, Alibaba, Mistral AI, Google i del Barcelona Supercomputing Center (BSC), però la voluntat és anar-ne afegint més a mesura que es consolidi el sistema. “Ens hem centrat en els models lliures i hem intentat agafar un model de cada família amb el projecte més gran de cada fabricant”, diu Mas.
Les xifres d’aquesta gran valoració, explica, es creuaran amb una avaluació quantitativa i técnica que ja ha fet Sofcatalà. El llistat inclourà la IA més competent en català per a cada funció. “La idea és aconseguir una recomanació robusta, que combini allò que ens diuen les mètriques i la perspectiva dels usuaris”, diu.
L’aspiració d’Arenacat és que la llista de les IA més competents en català pugui ser útil a la ciutadania, les empreses i també a les administracions catalanes, que ja treballen amb l’assessorament de Softcatalà. “Posarem les xifres sobre la taula i ajudarem a determinar quina IA és més oportuna per a cada tasca”, remarca Mas.
L’altre resultat d’aquesta iniciativa també serà un conjunt de dades sobre les preferències lingüístiques en la resposta. “Els models d’IA tenen la possibilitat de personalitzar-se i nosaltres, amb aquesta informació, permetrem que la formulació de les respostes es puguin adaptar a les preferències dels catalanoparlants”, afirma Mas.
Reconèixer el català i les seves variants dialectals
L’altre pilar del gran examen de Softcatalà està enfocat en la millora. I passarà la verificació de dades de veu espontànies en català, que són la matèria primera que permet el reconeixement de la parla en xatbots i assistents de veu, com Alexa. “Les dades de veu estan formades pels àudios i la seva transcripció a text”, explica Ciaran O'Reilly, involucrat en el projecte Garbellaveus.
La iniciativa de Softcatalà vol ultrapassar l’abast del corpus de veu del fons existent a Common Voice, una base de dades pública i gratuïta de veus humanes en diferents idiomes. Aquesta plataforma, en la qual el català va ser capdavanter, es va generar a base de frases que havien de llegir i enregistrar els mateixos voluntaris. “No eren frases espontànies i la gran majoria dels parlants eren homes d’entre 40 i 60 anys que parlaven català central”, afirma O'Reilly. “Per tant, el fons no ajuda a un model de reconeixement de veu representatiu, que inclogui totes les edats, registres i variants”, afegeix.
Garbellaveus té l’objectiu d’examinar i validar fins a 920 hores de parla catalana espontània amb la seva transcripció, que s’han extret de 231.684 fragments d'àudio breus de català espontani, importats automàticament de vídeos públics de YouTube. La majoria d’aquests enregistraments en totes les variants del català s’han agafat, sobretot, dels plens municipals penjats a la popular plataforma de vídeos.
Per participar en aquesta verificació gegant, cal escoltar els talls que proposa Garbellaveus i votar si la transcripció és correcta i si el dialecte percebut és l’encertat. En cas de trobar-hi errors, els participants poden proposar una transcripció més acurada o indicar el dialecte correcte de la veu. “Hem volgut afegir la possibilitat d’avaluar el dialecte perquè, en un futur, es pugui desenvolupar un mecanisme perquè la IA detecti en quina variant dialectal parla el locutor”, diu O'Reilly.
La interfície, per tant, permetrà marcar els vídeos amb errors perquè no contaminin les dades i, al final, obtenir un gran corpus validat. Tot plegat estarà disponible en obert al Hugging Face Datasets, que es dedica a allotjar i compartir conjunts de dades per entrenar intel·ligència artificial. “Aquest primer pas augmentarà la quantitat de dades lliures en català un 50% i les empreses i plataformes ho podran utilitzar per millorar l’ecosistema de reconeixement de parla, potser, sense que nosaltres mateixos en siguem conscients”, explica O'Reilly.
El propòsit de Garbellaveus, però, és anar més enllà i continuar ampliant les dades de veu per verificar. En aquesta línia, fa una crida a totes aquelles persones que vulguin cedir àudios lliures i representatius, com programes de ràdio o pòdcasts, per ampliar el fons de la plataforma. “El registre que tenim ara és el d’un ple municipal, que no és informal. Estaria bé és que s’alliberessin més dades, perquè això ens permetria ampliar i apropar-nos a la parla quotidiana”, apunta O'Reilly.
