Header Ads Widget

Ticker

6/recent/ticker-posts

Verificación automatizada de hechos: el santo grial de la comunicación política

 

Verificación-automatizada-de-hechos-santo-grial-comunicación-política-nordic-apis

Estamos en medio de una revolución tecnológica. Parece que las máquinas están reemplazando rápidamente y burlando a los humanos en todos los ámbitos; Los algoritmos ahora pueden traducir idiomas extranjeros en tiempo real, proteger los reactores nucleares en el espacio exterior; incluso hay una API que traduce sus palabras al habla pirata (¡FINALMENTE!) Sin embargo, este año más que nunca, se describirá una limitación sorprendente de la tecnología. .

El programa de juegos más grande del mundo, las elecciones de Estados Unidos, está cerca de nosotros. Es un escenario único, en el que las grandes declaraciones se envían de forma rápida y contundente, pero donde la deshonestidad se percibe como tan omnipresente que se ha formado toda una industria para separar la verdad de la ficción. Para una tarea tan simple, seguramente debe haber un algoritmo, ¿verdad?

Equivocado. En los últimos años, científicos políticos y expertos en tecnología han colaborado en la búsqueda de lo que el profesor de Duke Bill Adair considera el " santo grial ": un motor de verificación de datos en tiempo real totalmente automatizado que alerta a las audiencias cuando una declaración política no es cierta. The Washington Post, por ejemplo, lanzó su servicio Truth Teller en 2013 con el sueño de hacer realidad la verificación de datos en “tiempo real”. Sin embargo, tres años después, el servicio prácticamente ha desaparecido y, a pesar de cierto grado de éxito en la automatización de la verificación de las noticias , todavía confiamos en el trabajo humano minucioso para garantizar la veracidad de nuestro diálogo político. Pero, ¿por qué resulta tan difícil?

Como hemos visto antes, la tecnología y las API han estado a la vanguardia de la disrupción significativa de la industria . Los avances recientes en el procesamiento del lenguaje natural, la inteligencia artificial y la automatización de los procesos de búsqueda podrían tener el poder de automatizar este lúgubre proceso de verificación de datos, acercándonos cada vez más al “santo grial” propuesto.

El proceso de verificación de hechos

Aunque el concepto de separar "verdadero" de "falso" parece simple, en realidad es todo lo contrario. De hecho, ver el proceso como dicotómico es una gran parte del problema. La verificación de hechos políticos implica tres procesos distintos: extracción, clasificación y verificación, cada uno de los cuales presenta desafíos distintos para quienes intentan automatizar la tarea.

Extracción

El primer paso, la extracción , implica identificar qué material verificar, una tarea que es notoriamente ardua. El diálogo puede ser difícil de aislar dentro de textos más amplios, y los investigadores pueden necesitar rastrear una gran cantidad de transcripciones y fuentes de noticias para identificar declaraciones verificables.

“Esta es el área donde los verificadores de hechos pierden más tiempo; muchos todavía buscan noticias manualmente para verificar los hechos ”, observa Alexios Mantzarlis, director de la Red Internacional de Verificación de Datos de Poynter.

Como tal, lo primero que debería ser capaz de hacer un sistema automatizado es extraer diálogos de cuerpos de texto más grandes.

Con este fin, varias aplicaciones pueden resultar útiles para la verificación automatizada de datos. Trooclick , por ejemplo, ha desarrollado un motor disponible como API que extrae el habla indirecta (tanto directa como indirecta) de cuerpos de texto, atribuyéndola al hablante correcto y presentando los resultados como datos estructurados. El motor también se puede utilizar para rastrear noticias y plataformas de redes sociales en la web, encontrar todas las instancias de diálogo y entregarlas al usuario. Por lo tanto, obtiene material potencialmente "comprobable" para los verificadores de hechos sin el laborioso proceso de búsqueda.

Clasificación

Una vez que se identifica el material, el siguiente paso es evaluar si una afirmación elegida es objetivamente verificable. Una declaración sencilla como "el senador nunca ha votado para alterar la segunda enmienda" es probablemente lo suficientemente polar como para ser comprobada. Por otro lado, un comentario más matizado, como “las decisiones de política exterior del presidente a menudo han tenido un impacto económico negativo”, podría plantear un problema, ya que no es cuantificable o incluso subjetivo. Por lo tanto, los enunciados deben clasificarse según se puedan o no probar empíricamente.

text-bubble-automatic-fact-check-nordic-apis

En este sentido, quizás el mayor desarrollo hasta la fecha es Claimbuster , un sistema que utiliza una mezcla de codificación humana y algoritmos de PNL para clasificar declaraciones de acuerdo con dos criterios: si la declaración es objetivamente verificable y si hay interés público en si es o no. veraz. El sistema establece una fórmula para evaluar la clasificación de una afirmación observando 20.000 declaraciones de debates presidenciales anteriores y utilizando análisis humanos para codificar cada una en términos de si es relevante para el público y si es objetivamente verificable. El sistema aísla las declaraciones fácticas que vale la pena validar de las declaraciones no fácticas e irrelevantes.

El sistema ha tenido éxito, con las "clasificaciones" que se encontraron para aislar correctamente el 74% de las declaraciones. Utilizado junto con una base de datos de declaraciones extraídas, el programa ciertamente podría ayudar a los verificadores de hechos a priorizar las cosas que vale la pena verificar para ahorrar tiempo. Sin embargo, cualquier expansión de la base de datos existente, y por lo tanto, las declaraciones que Claimbuster es capaz de clasificar digitalmente, se clasifica según la codificación humana . Por lo tanto, el sistema, aunque innovador, no logra automatizar completamente la clasificación de las citas para la verificación de datos.

Verificación

Después de un largo proceso de identificación y clasificación de las declaraciones potenciales, finalmente se lleva a cabo la "verificación de hechos". Esto requiere que los investigadores recopilen información de diversas fuentes sobre el tema en cuestión, evalúen la afirmación frente a estos hallazgos y presenten un argumento claro con respecto a la veracidad de la afirmación original. Según Bill Adair, esto puede demorar entre 15 minutos y dos días, dependiendo de la complejidad del reclamo. Los resultados finales pueden tener este aspecto : Verificación de hechos en el séptimo debate del Gobierno de Panamá .

Para que esto se automatice, el contenido de las declaraciones comprobadas debería desglosarse en algún tipo de fórmula digital estándar de la industria y cotejarse con un repositorio de datos estructurados con un modelo de consulta estricto. Si bien este enfoque ofrece un alto grado de precisión, su alcance es extremadamente limitado. Tal base de datos de afirmaciones "comprobadas" tardaría años en ampliarse lo suficiente como para ser utilizada como una fuente confiable de respuestas y, por lo tanto, no usurpa la investigación humana como la mejor fuente de respuestas.

¿Se podría construir el Santo Grial mítico usando varias API?

La inteligencia artificial ha avanzado mucho: la automatización de voz a texto se ha vuelto normal en la interacción humano-dispositivo, los equipos de desarrollo están diseñando bots para automatizar los procesos de trabajo en Slack , y los especialistas en marketing incluso están utilizando el reconocimiento de tonos para responder mejor a las entradas de los usuarios.

santo-grial-cáliz-verificación-de-hechos-nórdicos-apis

Si tuviéramos que diseñar un proceso de verificación de datos completamente automatizado, ¿qué tipo de tecnología implicaría? Ya existen muchas API que probablemente contribuirían al diseño de un proceso de verificación de datos que esté impulsado exclusivamente por máquinas, de principio a fin.

Examinemos las herramientas que podrían contribuir al backend de dicho sistema. Para una declaración comprobable como "Nunca voté en contra del control de armas", una búsqueda automatizada sería relativamente fácil, ya que es una afirmación simple, con recursos verificables. Ciertamente existen lagunas en el proceso, pero la innovación en un proceso de verificación de datos completamente automatizado probablemente involucraría este tipo de tecnologías.

Extracción

  • Reconocer quién está hablando: si quisiéramos un sistema en tiempo real que funcione en un debate rápido, sería necesaria la diferenciación automática de hablantes. Con una pequeña configuración, se podría utilizar algo como la API de reconocimiento de altavoces del Proyecto Oxford de Microsoft .
  • Capture texto de la grabación: muchas API, como IBM Watson Speech to Text , pueden distinguir la voz del audio y convertirla en texto sin formato.

Clasificación

Ahora tenemos todas las declaraciones habladas, atribuidas a cada hablante. Pero, como se mencionó anteriormente, no todo lo que se dice es "digno de verificación". Nuestro sistema necesitaría discernir la capacidad de verificación automáticamente y mejorar algo como Claimbuster, idealmente sin la vasta base de datos codificada por humanos.

Crear bots con las API API.ai o Wit.ai es bastante simple. Estas API analizan los comandos hablados para inferir acciones, tipos, ubicaciones y objetos. Convierten las solicitudes habladas, como programar una reunión o configurar el termostato a una determinada temperatura, en un código que una máquina luego digeriría e iniciaría. El objetivo de este paso sería utilizar la PNL y las relaciones semánticas para convertir una declaración en una acción legible por máquina que luego podría consultarse como realidad o ficción.

  • Los algoritmos de extracción de entidades nombradas pueden determinar palabras clave basadas en bases de datos ya seleccionadas.
  • Datos relacionales junto con análisis de sentimientos . Aislar las señales semánticas de "Sujeto-Acción-Objeto" determinaría el significado y etiquetaría los objetos de una manera que se pudiera buscar.

Verificación

En este punto, asumimos que la máquina comprende la propensión de las declaraciones individuales y tiene actores definidos que pueden ser interrogados. Este paso final implica el proceso de verificación de hechos real que se basa en tantas fuentes creíbles como sea posible. Pero, ¿dónde está la "verdad"? Hay muchas bases de datos de conocimiento ahora accesibles a través de API:

  • Bases de datos de noticias: IBM News , Overview News y otras.
  • Conocimientos generales: API de búsqueda personalizada de Google o API mediaWiki
  • Gobierno: la API de Govtrack.us muestra los votos en el Senado y la Cámara de Representantes de EE. UU.

Sería útil buscar a la "velocidad del pensamiento" utilizando algo como la API de Algolia . El resultado compararía los resultados en varios motores de búsqueda para determinar una estimación porcentual de precisión por reclamo.

Las afirmaciones complejas probablemente combinarían la automatización de máquinas y el trabajo humano. Necesitaríamos un dispositivo de seguridad contra anomalías, y ahí es donde entran los humanos: son los mejores para responder a declaraciones subjetivas y, naturalmente, pueden detectar si algo no está del todo bien. Como dice Bill Adair, la verificación de datos podría llevar de 15 minutos a 2 días; no estamos ni cerca del tiempo real con las búsquedas humanas. La verificación normal de datos es un arte, pero ¿podría acelerarse el proceso mediante búsquedas colaborativas ?

Las aplicaciones pueden llamar a la API de FancyHands para automatizar las tareas humanas. Pero para una escala mayor, AmazonTurk podría potencialmente recolectar miles de búsquedas humanas en segundos. Un sistema integrado de verificación de datos de colaboración colectiva propondría una sola declaración a un grupo de usuarios verificados, que luego realizarían un trabajo preliminar manual utilizando recursos internos o externos para determinar la validez.

Imagínese viendo el próximo debate del partido. Debajo de cada concursante hay una calificación que muestra automáticamente el porcentaje de precisión de sus declaraciones. Cuando los datos provienen por primera vez de la automatización de la máquina, el porcentaje de precisión estimado se muestra inmediatamente. A medida que ingresen más datos después de las búsquedas de recursos humanos colectivos, los datos se volverán menos estimativos y más creíbles para una verdad o mentira establecida.

Una clara refutación al enfoque de colaboración colectiva es que la verificación de datos es un arte. Incluso suponiendo que haya suficientes personas interesadas en participar, no siempre se puede dividir en pequeñas tareas repetibles que cualquier ciudadano podría completar en 30 segundos o más. Un sistema de verificación de hechos puramente automatizado en tiempo real como este sigue siendo hipotético, pero tal vez se pueda lograr con futuras investigaciones algorítmicas, avances lingüísticos y una combinación inteligente de esta tecnología.

De vuelta a la realidad

Entonces, en la cúspide de la elección más escudriñada (y quizás polémica) en la historia de Estados Unidos, ¿estamos más adelante en nuestra búsqueda de la “verdad” automática? En resumen, no tanto como esperábamos. La tecnología actual bien podría permitirnos identificar el diálogo político y clasificar las declaraciones "comprobables" más rápidamente que nunca. Pero, al menos por ahora, el matiz inherente del lenguaje, así como la complejidad de hacer coincidir las preguntas y las respuestas digitalmente, continúan haciendo que la verificación automatizada de datos sea un objetivo difícil de alcanzar.

Alexios Mantzarlis , director y editor de la red internacional de verificación de hechos de Poynter , admitió recientemente que “los verificadores de hechos pueden tener que dejar el“ santo grial ”a un lado por ahora”, mientras continuamos con este enfoque más modular.

“Es genial pensar en ello como un proceso completo, pero lo que los verificadores de hechos necesitan ahora son pequeños pasos para llevarlos por un largo camino”.

Lo que los verificadores de hechos necesitan ahora son herramientas que ayuden a automatizar pasos específicos dentro del proceso, y quizás el espacio de la API sea primordial con la tecnología y el conocimiento para que ocurra tal desarrollo. Con la campaña electoral de Estados Unidos lista para dominar las salas de prensa este año, el 31 de marzo se llevará a cabo una conferencia internacional de verificación de datos en la Universidad de Duke, Carolina del Norte.

Publicar un comentario

0 Comentarios