Data Quality: Indicadores clave en la calidad de datos
DataCuando hablamos de data quality hablamos de calidad de datos. Y este es un tema complejo, pues en lo que a calidad de datos se refiere no existen estandarizaciones. Cada empresa debe gestionar los datos de tal manera que los mismos cumplan con el propósito determinado para el que se usarán en esa empresa.
Echa un vistazo a nuestro Máster en Business Intelligence y Data Management, ¡y descubre el resto!
Data Quality Management: qué es y para qué sirve
Para que la calidad de los datos sea la adecuada en una empresa, los responsables de su gestión deben asegurarse de verificar hasta qué punto dichos datos son fiables y efectivos. Verificación que incluye diferentes acciones. Entre ellas su actualización, normalización y eliminación de duplicidades. A veces, mediante herramientas o software dedicado.
Una de las cuestiones de máxima importancia para los responsables del análisis de la calidad de datos es que deben conocer las dimensiones de la calidad de datos de manera realista. En otras palabras: es imposible que los datos estén libres de errores al 100%.
Con el fin de evitar la creación de un pozo de inversión sin fondo, es preciso asumir que la calidad de los datos debe ajustarse a los estándares que los responsables establezcan en cada caso. Y no buscar una calidad absoluta imposible de alcanzar. Lo que sí deben hacer los responsables del data quality management es definir dichos estándares en función de los requisitos que deben cumplir, el proceso que los definirá y cuáles son los márgenes de error admisibles.
Indicadores de calidad de datos
La correcta gestión del data quality depende en gran parte de que las compañías sean capaces de medir la calidad real de los datos. Para lograrlo, se dispone de diferentes métricas e indicadores. Cada uno de ellos aplicables a diferentes fases del ciclo de calidad de datos. Aunque cada empresa es única, existen algunos indicadores de calidad de datos que son universales.
- Precisión: mide el grado en que los datos se ajustan a la realidad que representan. O , dicho de otro modo, hasta qué punto son datos ciertos.
- Integridad: los datos son íntegros si se ajustan a las reglas dadas de relación de datos.
- Oportunidad o disponibilidad: que los datos sean accesibles siempre que se necesite
- Que sean únicos: que no haya datos repetidos que puedan falsear las conclusiones
- Coherencia: se refiere a que una misma pieza de datos contenga el mismo valor independientemente del conjunto de datos donde se encuentre.
- Completud: que los datos conformen unidades completas en sí mismos.
- Representación: se refiere al formato de los datos y a su utilidad.
Si bien los indicadores de datos anteriores son de gran utilidad, conviene no perder de vista medidas de tipo cualitativo, como las relacionadas con la experiencia de los clientes, la aparición de oportunidades de negocio, la aparición de redundancias en procesos o los índices de cumplimiento.
Plan de calidad de datos: pasos para crearlo
Un plan de análisis de datos será capaz tanto de comprobar los niveles de calidad de los mismos, como de mantenerlos. Para ello hay 5 factores que podemos llamar pasos o pilares fundamentales del plan.
Reglas de calidad de datos
Como decíamos más arriba, el nivel de data quality tiene que ver con la medida en que los datos de que dispone una empresa se adecuan a las necesidades de la misma. Para medir esa adecuación es necesario establecer lo que se denominan reglas de calidad de datos. Es decir, que hay que definir los requisitos que los datos deben cumplir. Es vital en este sentido crear un sistema de documentación de las reglas y requisitos.
Evaluación de los datos
Es necesario que el proceso que una organización utiliza para medir la calidad de datos sea repetible. De esta manera se garantiza la coherencia a nivel global y es más sencillo detectar anomalías en los datos de nueva creación.
Para esta labor son de utilidad las herramientas de perfilado de datos y las estadísticas.
Gestión de metadatos semánticos
Se trata de asegurarse de que los diferentes departamentos de una organización interpreten los datos de la misma manera. Algo que se logra mediante la centralización de la gestión, de manera que se puedan crear normas a nivel corporativo que reduzcan o eliminen las interpretaciones disidentes.
Comprobación continua de la validez de los datos
Pongamos que los datos se usan para mejorar la experiencia del cliente, para mejorar la satisfacción del usuario. Esta labor, como muchas otras, debe realizarse de manera continua o periódica. Lo que significa que la gestión de la calidad de los datos y su control no puede quedarse en una acción puntual. El data quality management debe formar parte de la operativa común de la empresa. Empresas como Amazon, Apple o Google son ejemplos de organizaciones donde la calidad de los datos es fundamental.
Registro, seguimiento y solución de incidencias
Los datos no son seres vivos, pero sí se comportan como organismos cambiantes, de ahí que parte del data quality management debe ocuparse de su seguimiento. El objetivo es detectar y solucionar anomalías e incidencias en la calidad de los datos que afecten a la operativa de la empresa o a los procesos de toma de decisiones.
Estas son solo algunas de las cuestiones relativas al data quality que puedes llegar a manejar en tu día a día como data manager.
Máster en Business Intelligence y Data Management Barcelona
