Objetivo
Mejorar la fiabilidad y la utilidad de los datos utilizados a lo largo del ciclo de vida de la IA.
Gobernanza de la IA y gestión de datos
La calidad de los datos de IA se refiere a la precisión, integridad, coherencia, puntualidad, relevancia y fiabilidad de los datos utilizados para entrenar, ajustar, evaluar y operar sistemas de inteligencia artificial. Los datos de alta calidad permiten una IA fiable, mejoran el rendimiento de los modelos y reducen los riesgos operativos y de cumplimiento normativo.
Definición rápida
La calidad de los datos de IA garantiza que los datos utilizados para entrenar, evaluar y operar los sistemas de IA sean precisos, completos, consistentes, relevantes, oportunos y fiables.
Mejorar la fiabilidad y la utilidad de los datos utilizados a lo largo del ciclo de vida de la IA.
Garantizar resultados de IA precisos, fiables y consistentes.
Precisión, exhaustividad, coherencia, puntualidad, relevancia, validez y singularidad.
Resultados sesgados, deriva del modelo, predicciones inexactas, escasa explicabilidad y riesgo de incumplimiento normativo.
Datos de entrenamiento, conjuntos de datos de ajuste fino, indicaciones, fuentes de recuperación, entradas del modelo y datos de evaluación.
Gobernanza de la IA, linaje de datos, observabilidad de datos, monitorización de modelos, seguridad de datos e IA responsable.
Definición básica
calidad de los datos de IA Es el grado en que los datos utilizados para entrenar, ajustar, evaluar y operar los sistemas de inteligencia artificial son precisos, completos, consistentes, oportunos, relevantes, válidos y confiables.
La calidad de los datos de IA se aplica a lo largo de todo el ciclo de vida de la IA, incluidos los conjuntos de datos de entrenamiento, las entradas del modelo, las indicaciones, las fuentes de recuperación, los datos de ajuste fino, los datos de evaluación y la información generada o a la que acceden los agentes de IA.
Los datos de IA de alta calidad ayudan a que los modelos produzcan resultados más precisos, consistentes y fiables. Los datos de baja calidad pueden introducir sesgos, ilusiones, predicciones inexactas, desviaciones del modelo, vulnerabilidades de seguridad, riesgos de incumplimiento normativo y decisiones automatizadas poco fiables.
Los conjuntos de datos utilizados para entrenar a un modelo de IA o aprendizaje automático para que reconozca patrones y genere resultados.
El registro del origen de los datos, cómo cambiaron y cómo se movieron a través de los sistemas y flujos de trabajo de IA.
Un cambio en las características de los datos de producción que puede reducir la precisión o la fiabilidad del modelo con el tiempo.
Las políticas, funciones, controles y supervisión utilizados para gestionar los sistemas de IA de forma responsable a lo largo de su ciclo de vida.
Distinciones clave
Estos conceptos funcionan de forma conjunta, pero cada uno aborda un aspecto diferente de la preparación, la gestión, la supervisión y la protección de los datos utilizados por los sistemas de IA.
¿Son los datos lo suficientemente fiables para el uso previsto en IA?
La calidad de los datos de IA evalúa si los datos de entrenamiento, ajuste fino, recuperación, evaluación y operación son precisos, completos, consistentes, relevantes, oportunos, válidos y adecuados para el propósito previsto.
¿De dónde proceden los datos y cómo han cambiado?
El linaje de datos rastrea los datos desde su origen a través de transformaciones, flujos de trabajo, modelos, aplicaciones y resultados, de modo que los equipos puedan comprender la procedencia, las dependencias y el impacto posterior.
¿La calidad de los datos está cambiando o deteriorándose con el tiempo?
La observabilidad de los datos supervisa continuamente la actualidad, el volumen, el esquema, la distribución y el comportamiento del flujo de datos para detectar incidentes, anomalías, desviaciones y cambios inesperados.
¿Cómo se deben gestionar de forma responsable los datos y los sistemas de IA?
La gobernanza de la IA define las políticas, la propiedad, la rendición de cuentas, los controles de riesgos, los procesos de revisión y los requisitos del ciclo de vida para los modelos, conjuntos de datos, aplicaciones y agentes de IA.
Gestión continua de la calidad de los datos
La calidad de los datos de IA conecta el descubrimiento, la validación, la gobernanza, la monitorización y la corrección a través de un ciclo de vida continuo que mantiene los datos aptos para su uso en IA.
Localice datos de capacitación, ajuste fino, evaluación, recuperación, avisos y operaciones en la nube, SaaS, bases de datos, lagos de datos, plataformas de IA y entornos locales.
Evaluar la precisión, la exhaustividad, la coherencia, la validez, la puntualidad, la relevancia, la singularidad y la idoneidad para el caso de uso de IA previsto.
Relacionar los hallazgos sobre la calidad de los datos con el contexto de origen, propiedad, sensibilidad, procedencia, acceso, uso, sesgo, privacidad y seguridad.
Defina los umbrales de calidad, la propiedad, las reglas de validación, los requisitos de aprobación, los controles de retención y las políticas de uso aceptable para los datos de IA.
Active flujos de trabajo para limpiar, enriquecer, estandarizar, deduplicar, poner en cuarentena, reemplazar o eliminar datos que no cumplan con los requisitos de calidad.
Supervise los cambios en los datos, los flujos de trabajo, los modelos, las fuentes de recuperación y los requisitos comerciales para detectar desviaciones y prevenir la degradación de la calidad con el tiempo.
Valor empresarial y de la IA
Los datos de alta calidad ayudan a las organizaciones a construir sistemas de IA más precisos, fiables, seguros y dignos de confianza, al tiempo que reducen los riesgos operativos, de cumplimiento normativo y de reputación.
Los datos precisos, completos, relevantes y consistentes ayudan a los sistemas de IA a producir predicciones, recomendaciones, clasificaciones y respuestas generadas más fiables.
Detecte datos de baja calidad, sesgados, obsoletos, duplicados o gestionados incorrectamente antes de que provoquen resultados inexactos, desviaciones del modelo o decisiones automatizadas perjudiciales.
Conectar la calidad de los datos con el linaje, la propiedad, la confidencialidad, el propósito y los requisitos de las políticas para mejorar la transparencia, la rendición de cuentas y el cumplimiento a lo largo del ciclo de vida de la IA.
Supervise y corrija continuamente los problemas de calidad de los datos a medida que cambien los conjuntos de datos, los flujos de trabajo, las fuentes de recuperación, los modelos y los requisitos comerciales.
Guía de implementación
Una gestión eficaz de la calidad de los datos de IA debe combinar el descubrimiento continuo, estándares medibles, un contexto fiable, la gobernanza y la monitorización constante a lo largo de todo el ciclo de vida de la IA.
Mantener una visibilidad actualizada de los datos de entrenamiento, los conjuntos de datos de ajuste fino, las indicaciones, las fuentes de recuperación, los datos de evaluación y las entradas operativas en todos los entornos.
Establecer umbrales claros de precisión, exhaustividad, coherencia, validez, relevancia, puntualidad y singularidad en función de cada caso de uso de la IA.
Evaluar la calidad de los hallazgos junto con el origen, la propiedad, la sensibilidad, el acceso, el propósito, la privacidad, la seguridad y los requisitos reglamentarios.
Utilice reglas y flujos de trabajo repetibles para validar, limpiar, enriquecer, estandarizar, eliminar duplicados, poner en cuarentena o reemplazar los datos que no cumplan con los requisitos de calidad.
Reevalúe los datos a medida que cambien con el tiempo las fuentes, los flujos de datos, los modelos, los sistemas de recuperación, los usuarios y los requisitos comerciales.
Preguntas frecuentes
Explore las preguntas más frecuentes sobre la calidad de los datos de IA, el rendimiento de los modelos, la gobernanza, la monitorización y la implementación.
La calidad de los datos de IA es el grado en que los datos utilizados para entrenar, ajustar, evaluar, recuperar información y operar sistemas de IA son precisos, completos, consistentes, oportunos, relevantes, válidos y confiables.
Los datos de alta calidad ayudan a los sistemas de IA a producir resultados más precisos, consistentes y fiables. Los datos de baja calidad pueden dar lugar a resultados sesgados, ilusiones, predicciones inexactas, desviaciones del modelo y decisiones automatizadas poco fiables.
Las dimensiones comunes incluyen precisión, exhaustividad, coherencia, puntualidad, relevancia, validez, singularidad e idoneidad para el caso de uso previsto de la IA.
Los datos de mala calidad pueden reducir la precisión del modelo, reforzar los sesgos, aumentar los falsos positivos o los falsos negativos, debilitar la capacidad de explicación, provocar desviaciones y producir resultados inconsistentes o inseguros.
Las organizaciones miden la calidad de los datos de IA definiendo umbrales y realizando pruebas de integridad, precisión, coherencia, actualidad, duplicación, validez, distribución, relevancia y otros requisitos vinculados al caso de uso de la IA.
La calidad de los datos de IA respalda la gobernanza al conectar los conjuntos de datos con la propiedad, el linaje, la confidencialidad, el propósito, las políticas, los estándares de validación y los requisitos de rendición de cuentas a lo largo del ciclo de vida de la IA.
Las organizaciones deben supervisar los datos de entrenamiento, los conjuntos de datos de ajuste fino, las indicaciones, las fuentes de recuperación, las entradas del modelo, los datos de evaluación, los datos operativos, las salidas generadas y los datos a los que acceden los agentes de IA.
Las organizaciones pueden mejorar la calidad de los datos de IA mediante el descubrimiento continuo, la elaboración de perfiles, la validación, el linaje, la propiedad, la aplicación de políticas, la corrección automatizada, la detección de desviaciones y la monitorización constante.
Continúa explorando
Explore soluciones y directrices para mejorar la calidad, la gobernanza, la seguridad y la fiabilidad de los datos utilizados a lo largo del ciclo de vida de la IA.
Descubra, gestione y proteja los modelos, agentes, conjuntos de datos, aplicaciones y flujos de trabajo que dan soporte a la IA empresarial.
Explorar la gobernanza de la IA →Obtenga visibilidad, clasificación, procedencia, contexto de riesgo y control unificados en todos los datos empresariales que impulsan la IA.
Explora la plataforma →Establecer la propiedad, las políticas, el linaje, los estándares de calidad y la rendición de cuentas para los datos utilizados en los sistemas y flujos de trabajo de IA.
Explorar la gobernanza de datos →Desarrolla una IA confiable
BigID ayuda a las organizaciones a descubrir, clasificar, gestionar, proteger y supervisar los datos utilizados en modelos, agentes, aplicaciones, conjuntos de datos y flujos de trabajo de IA para mejorar la calidad y reducir el riesgo asociado a la IA.