Descifrando la caja negra: por qué la IA explicable es clave para la confianza y la responsabilidad

La transparencia es una de esas palabras de moda asociadas con la IA. Puede significar muchas cosas diferentes para distintas personas, por lo que es importante definir qué abarca, qué no abarca y por qué ciertos aspectos no están incluidos.

IA explicable y transparencia

Algunos definen la IA “explicable” como aquella que es transparente, por eso estos dos términos suelen usarse de manera sinónima o conjunta al describir métodos responsables de IA. Pero, ¿qué significa eso realmente? La transparencia es, por definición, un estado intermedio entre opaco y claro, lo que implica que existen distintos niveles de transparencia. En la gobernanza de datos, la transparencia se refiere a prácticas de datos abiertos, mientras que en la arquitectura de datos significa entender completamente cómo funciona algo. En la IA, es un poco de ambos: ser transparente implica que el modelo es ético y que la empresa que lo usa o diseña ha documentado cómo ha utilizado y creado la IA. La transparencia puede caracterizarse por ser:

• Interpretable: poder explicar o comunicar el significado de cómo algo fue creado, seleccionado, mejorado, mantenido o discontinuado, presentado en términos comprensibles;
• Disponible: poder acceder a la información para tomar decisiones basadas en ella;
• Completa: poder explicar algo de principio a fin, desde diferentes facetas y niveles de profundidad;
• Responsabilidad: capacidad de seguir, rastrear, verificar o revisar procesos, acciones, usos y decisiones de forma regular y repetible.

Transparencias en la arquitectura de IA

Las distintas capas en las arquitecturas de IA pueden tener diferentes aspectos de transparencia, dependiendo de qué componentes se utilicen. Existen componentes tradicionales en la arquitectura de IA, como bases de datos, motores de búsqueda, herramientas de integración continua y entrega/despliegue continuo (CICD), pero también hay componentes más comunes en arquitecturas específicas de IA, como bases de datos vectoriales, ingeniería de prompts, agentes, y más. Un área común en las arquitecturas de IA es el entrenamiento de IA, aunque este término a menudo se usa para muchas cosas distintas dentro de la IA. Aunque EBSCO no entrena IA, es útil entender los diferentes aspectos de cómo funcionan los modelos de IA al revisar la documentación relacionada.

Interacción con modelos de IA

Las diferentes formas de interactuar con los modelos de IA son:

• Información usada para crear embeddings de palabras, entradas o vectores (tradicionalmente lo que se entiende por entrenamiento de IA).
• Información y/o embeddings usados para entrenar modelos transformadores (tradicionalmente lo que se entiende por entrenamiento de IA).
• Información y/o embeddings usados en la inferencia y predicción del modelo (tradicionalmente lo que se refiere a cuando la IA genera texto, imágenes o pasos en un proceso; es la salida directa del entrenamiento de IA basada en un prompt).
• Información y/o embeddings usados para el grounding (no es parte del entrenamiento de IA; el grounding es una fuente de datos complementaria que la IA consulta después de la generación para mejorar su precisión y relevancia contextual).
• Información y/o embeddings usados para el fine-tuning o ajuste fino (usualmente es una guía heurística o basada en reglas para refinar el procesamiento y la salida del modelo de IA).
• Información y/o embeddings usados para inferir basándose en esquemas como ontologías o grafos de conocimiento (esto es normalmente una guía que se da al modelo de IA para hacerlo más relevante a necesidades específicas de una organización).
• Información y/o embeddings usados para extracción de características o entidades (no suele ser parte del entrenamiento, sino una forma de minería de texto y datos).
• Análisis de datos (cuando una IA se usa para entender la estructura y el contexto de textos o imágenes. No es parte del entrenamiento).
• Recuperación de información (cuando una IA se usa para buscar y recuperar información en base a una consulta o prompt. No es parte del entrenamiento).

Evaluando la transparencia en la IA

Esta lista muestra que la IA está compuesta por muchos elementos. Aunque no todos sean relevantes para cada caso de uso o producto, representan buenos aspectos que conviene consultar o revisar en la documentación disponible al evaluar la transparencia y los indicadores en los que esta es necesaria.

Contar con una IA explicable implica que las métricas utilizadas para evaluarla, así como la forma en que se diseña, implementa y mantiene, también se presentan de manera transparente a los usuarios finales. Una IA explicable y transparente permite a los usuarios determinar si la calidad, la ética, la seguridad, la privacidad, el impacto ambiental y otros criterios cumplen con sus expectativas y si la funcionalidad de IA cubrirá sus necesidades.

El compromiso de EBSCO con la transparencia

Para garantizar la transparencia, EBSCO siempre indica cuándo se utiliza IA en sus productos. Además, contamos con páginas de producto para cada funcionalidad de IA, donde se explica qué modelo se está utilizando, por qué fue seleccionado, qué medidas de control se han implementado para garantizar la calidad, la seguridad y el impacto ambiental, qué criterios de calidad se aplican y cómo se fundamenta o mantiene el modelo. EBSCO no entrena modelos de IA, pero si llegáramos a hacerlo, también lo documentaríamos en una página de producto específica.

Consulta los documentos de transparencia de IA para AI Insights y Búsqueda en lenguaje natural en EBSCO Connect. Nuestro compromiso es ofrecer un documento de transparencia para cada funcionalidad de IA que lancemos, así que te invitamos a visitar EBSCO Connect para mantenerte al día con las novedades.