La IA de Google Overviews ha representado monstruos ficticios como si fueran reales

Un tribunal alemán ha dictaminado que Google es directamente responsable de las respuestas inexactas generadas por su función AI Overview, marcando un precedente legal significativo en cómo se trata el contenido generado por inteligencia artificial bajo las leyes existentes. La decisión se produce después de que dos compañías editoriales con sede en Múnich presentaran una demanda contra el gigante tecnológico, alegando que la IA vinculó incorrectamente sus negocios a prácticas fraudulentas, trampas de suscripción y esquemas engañosos. Según el fallo del tribunal, Google no puede simplemente desviar la responsabilidad alegando que simplemente agrega contenido de terceros sin moldearlo o respaldarlo activamente.

El caso se centró en la funcionalidad conocida como AIAI Overview, que resume los resultados de búsqueda utilizando el procesamiento del lenguaje natural y los presenta en un formato estructurado. Los editores argumentaron que este resumen generado por IA era engañoso porque conectaba a sus compañías con prácticas comerciales dudosas que no estaban presentes en los resultados de búsqueda reales. En cambio, la IA había combinado sus datos con información sobre otras compañías genuinamente problemáticas, fabricando enlaces que no existían ni siquiera en las fuentes citadas dentro de los resultados de búsqueda.

La defensa de Google se basó en gran medida en el principio de que los motores de búsqueda no deben rendir cuentas por el contenido que agregan de fuentes externas. Sin embargo, el tribunal rechazó este argumento, afirmando que el AI Overview hace más que simplemente mostrar o vincular a los resultados de búsqueda: crea nuevas declaraciones independientes que van más allá de las simples referencias a contenido externo. Los jueces enfatizaron que la IA no solo enumera fuentes, sino que sintetiza y presenta información en sus propias palabras, haciendo que Google sea directamente responsable de la exactitud de estos resúmenes.

El tribunal también desestimó la afirmación de Google de que los usuarios podían verificar las fuentes por sí mismos a través de los enlaces proporcionados y ya eran conscientes de que el contenido generado por IA no debería tomarse a la ligera. Señaló que AI Overview se presentaba como una declaración independiente con contenido comprensible de forma independiente, sin ofrecer ninguna indicación a los lectores de que la información podría ser poco confiable. Como resultado, el tribunal ordenó a Google que dejara de difundir afirmaciones falsas y que asumiera el 80 por ciento de los costos legales asociados con el caso.

En respuesta al fallo, un portavoz de Google declaró que la compañía está comprometida a mejorar la calidad de sus resúmenes de IA para garantizar que la mayoría de las respuestas proporcionen información precisa. Sin embargo, la compañía ha anunciado su intención de apelar la decisión, señalando que el fallo aún no es definitivo. Este caso destaca las crecientes preocupaciones sobre la confiabilidad del contenido generado por IA y plantea preguntas sobre el grado en que las compañías tecnológicas pueden ser legalmente responsables de los resultados de sus algoritmos.

Más allá de las implicaciones legales inmediatas, el fallo tiene un significado más amplio en el debate en curso sobre el papel de la IA en la difusión de la información. Los críticos han levantado alarmas durante mucho tiempo sobre casos en los que la IA de Google ha tergiversado el contenido ficticio como real. Por ejemplo, las búsquedas relacionadas con las entradas de la Fundación SCP anomalías ficticias creadas con fines de entretenimiento a veces han resultado en resúmenes generados por la IA que tratan a estas entidades inventadas como reales. En un caso, una consulta para SCP-565 condujo a una descripción de una cabeza humana anómala y móvil que se mueve como un cangrejo, acompañada de referencias a registros forenses y la identidad de un hombre fallecido.

Otra búsqueda de SCP-426, una tostadora ficticia que obliga a cualquiera que la mencione a hablar de ella en primera persona, produjo una respuesta escrita en primera persona, con la IA describiéndose a sí misma como la tostadora y detallando las lesiones fabricadas sufridas por aquellos que intentan imitarla.

Estos ejemplos subrayan los riesgos potenciales de los sistemas de IA que no distinguen entre la ficción y la realidad, especialmente cuando presentan contenido sintetizado como fáctico.

A medida que continúa la batalla legal, el resultado de la apelación de Google probablemente influirá en las futuras regulaciones con respecto a la responsabilidad de la IA. Si se mantiene, el fallo podría sentar un precedente que requiera que las compañías tecnológicas asuman una mayor responsabilidad por la precisión del contenido generado por la IA, lo que podría conducir a una supervisión más estricta y pautas más claras para el manejo de la información sintética.