Cómo Maldita.es usa IA para optimizar procesos complejos de verificación

Desde chatbots hasta herramientas personalizadas, el recorrido de esta fundación pionera en verificación revela lo que realmente se necesita para combatir la desinformación a gran escala

Por: Pablo Pérez

En Maldita.es, el proceso de verificación está impulsado principalmente por la participación de la comunidad, a través de un sistema automatizado de chatbot en aplicaciones de mensajería cerradas. Cuando alguien se encuentra con contenido que podría ser engañoso, puede enviarlo directamente al chatbot, que actúa como un punto de entrada accesible y anónimo. Cada envío es recibido y gestionado por un equipo de periodistas profesionales, que revisan, etiquetan y analizan el contenido. Este equipo realiza una investigación exhaustiva utilizando fuentes confiables y metodologías establecidas para determinar la veracidad de la información y ofrecer una respuesta clara y basada en evidencia.

Mucho ha cambiado desde 2018, cuando la Fundación Maldita.es comenzó a combatir la desinformación. Entre otras cosas, nuestra organización ha crecido bastante. Hoy lidiamos con cientos de consultas diarias de personas que quieren verificar lo que encuentran en línea: videos, mensajes reenviados, memes, entre otros. Hemos publicado miles de artículos y construido un valioso registro de personas expertas dispuestas a aportar su conocimiento.

Nuestra comunidad ha crecido significativamente, y con ese crecimiento surgen nuevos desafíos. A medida que las organizaciones se expanden, acumulan más datos, y los periodistas deben navegar sistemas de etiquetado cada vez más exigentes, lo que puede ser sumamente demandante. El conocimiento es cada vez más fragmentado, y muchas veces hay que recurrir al colega que publicó un artículo hace años o a quien gestiona las bases de datos manualmente. Esto se vuelve aún más desafiante para quienes se incorporan al equipo y no están familiarizados con los recursos de la organización.

Para afrontar estos y otros retos, el JournalismAI Innovation Challenge, con el apoyo de Google News Initiative, nos dio la oportunidad de desarrollar un asistente de IA para verificadores de datos. En lugar de crear un acceso multipropósito opaco y centralizado, nuestro objetivo era construir una capa de inteligencia artificial sobre algunas de nuestras herramientas internas. Queríamos aprovechar aquello en lo que los modelos de IA se desempeñan mejor: reconocimiento de patrones, recuperación de información, segmentación, entre otros. Integrar estas funcionalidades en un flujo de trabajo más amplio no solo mejora el rendimiento del sistema de IA, sino que también nos permite monitorear y corregir cualquier desvío en su comportamiento.

Este es un proyecto en curso que impacta en muchos aspectos del funcionamiento de Maldita.es. Por eso, ha involucrado distintos roles en diversos contextos, y esperamos que esto continúe en los próximos meses. Pero ya podemos compartir algunas experiencias valiosas que pueden ser útiles para otras redacciones u organizaciones interesadas en aplicar IA a sus propios desafíos.

1. Código abierto: de la idea a la implementación

Cuando comenzamos el proyecto, estábamos muy seguros de que queríamos implementar modelos de código abierto para algunas de nuestras tareas orientadas a la extracción de información. Habíamos identificado modelos multimodales de IA que se ajustaban bien a nuestras necesidades. Solo teníamos que implementarlos.

Como pueden suponer, las cosas se complicaron al comenzar la implementación. Muy pronto notamos una gran distancia entre lo que estos modelos estaban entrenados para hacer y lo que nosotros queríamos lograr con ellos. Más específicamente, había una gran diferencia entre sus datos y los nuestros.

La primera barrera fue el idioma. Aunque el español tiene amplia representación en la comunidad de IA, los modelos más avanzados y especializados suelen encontrarse solo en inglés. Y aunque el español es lo suficientemente cercano como para estar parcialmente cubierto, su rendimiento está lejos del que tienen en inglés. Más allá del idioma, los modelos estaban entrenados con muestras limpias, estructuradas y prototípicas, muy distintas de nuestros conjuntos de datos. que son desordenados, diversos y desequilibrados. Algunos tipos de contenido, como capturas de pantalla o textos reenviados extremadamente largos, son muy comunes para nosotros, pero no son el tipo de objetos que estos modelos suelen procesar.

Por supuesto, tuvimos que volver atrás y embarcarnos en un proceso mucho más largo de lo esperado de búsqueda e indexación de modelos que podrían ser buenos candidatos para nuestra tarea. Esto no fue sencillo, ya que las configuraciones de los modelos no se reportan de forma sistemática. Lo que al principio creíamos que podía resolverse elegantemente con un único modelo, tuvo que rediseñarse como un sistema modular, usando distintos modelos según el tipo de dato. Esto afectó tanto al uso como a la eficiencia.

Aunque conseguimos implementar nuestra meta mínima, otras funcionalidades quedaron fuera porque no existían modelos capaces de soportarlas, o no logramos encontrarlos. Esta experiencia fue muy valiosa, y en el futuro planeamos destinar más tiempo y recursos al proceso completo de desarrollo de modelos de código abierto, desde la idea hasta la implementación.

2. Registro de iteraciones

Como sabrán quienes trabajan con modelos de IA, medir el rendimiento del sistema es clave para tomar decisiones basadas en idea objetiva de cómo funciona el modelo, en lugar de quedarnos solo con los resultados que confirman lo que esperábamos (“cherry-picking”). Con esto en mente, queríamos evaluar nuestro sistema de emparejamiento con datos del mundo real.

A medida que nuestras bases de datos crecieron, se volvió inviable probar con todos los datos, así que usamos particiones específicas. Sin embargo, esto nos llevó de nuevo a bases de datos desequilibradas, con variaciones en las fechas y naturaleza de los contenidos usados para la prueba, lo que derivó en un rendimiento inconsistente. Si se hubiera documentado correctamente el proceso, podría haber ofrecido información valiosa sobre la eficacia del sistema en distintos escenarios. Pero no lo hicimos de forma sistemática, y eso dificultó identificar hasta qué punto el rendimiento podría ser atribuido a las variaciones en los datos o del modelo en sí. Esto nos dejó claro que documentar adecuadamente no sólo las métricas, sino también las condiciones bajo las cuales se obtuvieron, es esencial para generar datos robustos y de calidad que orienten la toma de decisiones.

3. Hablar, hablar, hablar

Nuestro proyecto nos obligó a interactuar en profundidad con muchos equipos, desde quienes gestionan la comunidad, especialistas en redes sociales, periodistas, verificadores, editores, hasta archivistas entre otros. Nuestra intención era mejorar su experiencia, y eso significó trabajar muy cerca de ellos. A lo largo del desarrollo realizamos entrevistas individuales, grupos focales y pruebas internas, todos pasos fundamentales para dar sentido al trabajo.

No lo hicimos a la perfección, y aprendimos varias lecciones en el camino. A veces nos enfocamos demasiado en lo que dijo una persona y perdimos de vista el panorama general. Otras veces, la utilidad potencial de nuestras pruebas estaba limitada por un prototipo que fallaba en funciones básicas. La consecuencia de esto, no obstante, es que siempre tuvimos presentes los problemas y situaciones reales de nuestra redacción. Con frecuencia, esto implicó avanzar con rapidez y decisión, ya que sus aportes trajeron ideas valiosas que, como desarrolladores, quizás no habríamos considerado. De hecho, muchas veces fue el equipo editorial o de comunidad quien terminó poniendo en práctica las ideas que habíamos delineado en la propuesta. Y tiene todo el sentido: son ellos quienes, esperamos, se beneficiarán de esto.

• Pablo Pérez es responsable técnico de IA en la Fundación Maldita.es

———

Este artículo es parte de una serie que proveerá actualizaciones y aprendizajes de los 35 proyectos del Innovation Challenge de JournalismAI, posible gracias al apoyo de Google News Initiative. Haz click aquí para acceder al resto de los artículos.