¿Qué es un arquitecto de datos o data architect y qué hace?
Profesiones DigitalesEste perfil profesional requiere de amplios conocimientos en el campo del big data, pues tiene un rol muy importante en la empresa para la que trabaja.
En este post veremos qué es un arquitecto de datos o data architect y qué hace, pero antes, debemos conocer lo qué es la arquitectura big data, sus principales características y tipos.
¿Qué es la arquitectura Big Data?
La arquitectura big data es un proceso que consiste en analizar métodos de análisis no convencional para altos volúmenes de datos.
Para ser capaces de valorar esa cantidad de información, se diseñan esquemas de trabajo y estructuras informacionales de forma personalizada. De esta forma, conseguimos comprender los procesos relacionados al almacenamiento, gestión y procesamiento de datos.
Características de la arquitectura Big Data
Las características que la forman son las 5 que exponemos a continuación:
- Escalabilidad: capacidad de procesamiento y almacenamiento amplia y en constante crecimiento.
- Distribución y procesamiento de datos en diferentes máquinas (no confundir con data science, se puede hacer data science y no big data).
- Localidad del dato: cercanía del mismo para conseguir velocidad.
- Tolerancia a fallos.
- División en 3 capas: una de análisis, otra de gestión y la última para almacenar y procesar datos.
Tipos de arquitectura Big Data
Una vez explicadas las características, veamos los dos tipos de arquitectura más conocidas en el sector de los datos.
Arquitectura Lambda
Es una arquitectura de procesamiento de datos genérica, escalable y tolerante a errores. Nace en 2012 y se divide en tres capas:
- Batch Layer: se gestiona la información en crudo. Si has trabajado con Google Analytics te sonará la “Raw Data View” donde no hay ninguna segmentación ni filtro en los datos.
- Serving layer: indexa los datos de la capa anterior para que puedan tratarse para un fin concreto. Es un proceso lento.
- Speed layer: trabaja solo con datos nuevos.
Aunque es cierto que la arquitectura Lambda conserva los datos de entrada sin cambios y que es muy adecuada para el tratamiento de los mismos, no es suficientemente rápida y mantener las capas pueden tener costes altos.
Arquitectura Kappa
Nace dos años más tarde para agilizar el proceso de la arquitectura Lambda. Lo hace eliminando la capa Batch y realizando todo el procesamiento en una nueva capa llamada Real-time layer, que ofrece soporte a procesamientos en tiempo real. Es una simplificación más versátil para un ritmo más rápido de tratamiento de datos.
El principal problema es que los sistemas de datos deben soportar grandes volúmenes de los mismos y el espacio de almacenamiento debe ser mayor.
Es más adecuada cuando el análisis y el procesamiento va a ser el mismo en la capa batch y en la capa speed.
¿Qué tipo de arquitectura de datos es mejor?
Entonces… ¿Cuál de las dos es mejor? Depende del tipo negocio y de la cantidad de datos que se vayan a procesar.
Si el objetivo es desarrollar y operar los sistemas sobre un solo flujo de procesamiento de información y seguir obteniendo los mejores resultados del mismo, es mejor utilizar la arquitectura Kappa, pues no cuenta con la capa batch.
Por otro lado, en caso de que exista mucha dependencia a la latencia, es decir, al tiempo de respuesta del procesamiento de la información, es mejor utilizar la arquitectura Lambda.
Ahora que ya conocemos algo más sobre la arquitectura de datos, vamos a definir al profesional que la diseña, explicando cuáles son sus funciones y habilidades.
¿Qué es un arquitecto de datos o data architect?
Un arquitecto de datos es el que construye y diseña plataformas para el procesamiento masivo de datos para transfórmalos en información que apoye la toma de decisiones del negocio.
Su rol es análogo al del arquitecto tradicional, con la diferencia de que el arquitecto de datos también construye la plataforma. Además, crea y mantiene el conocimiento organizacional sobre los datos y sistemas sobre los que se mueven.
Gracias a esto, una empresa puede gestionar sus datos como un activo y aumentar el valor que obtienen de los mismos, ya que les permite:
- Identificar nuevas oportunidades de negocio.
- Reducir costes.
- Mitigar riesgos.
Es importante no confundir a un data architect con un chief data officer, pues el perfil del arquitecto de datos es mucho más técnico, mientras que el director de datos debe saber interpretarlos luego para actuar en consecuencia.
Funciones de un arquitecto de datos
Este es un cargo de mucha responsabilidad dentro de una compañía, por lo que sus funciones son bastante complejas en un sector que, como te explicamos en nuestro artículo sobre la importancia del big data, crece a medida que aumentan los negocios digitales. Estas son las 7 funciones principales de un arquitecto de datos:
- Diseño de modelos de datos.
- Desarrollo de bases de datos.
- Saber qué tecnologías va a usar y cómo va a hacerlo.
- Seleccionar los almacenes de datos y las fuentes de los mismos.
- Gestión del flujo de trabajo o workflow. Asegurarse de tener la velocidad de procesamiento y el acceso al almacenamiento para respaldarlo es esencial.
- Encargado y principal responsable de que las tres fases de los procesos ETL se cumplan en los tiempos establecidos y se realicen correctamente.
- Auditorías de datos: Realización de informes y evaluación del trabajo de forma habitual.
Como puedes ver, este perfil está muy alejado de los negocios o incluso de análisis de datos como un data manager. Las funciones de un arquitecto de datos están más relacionadas con la infraestructura de los datos que de pensar cómo ejecutarlos o qué estrategias utilizar para el negocio.
Perfil de un arquitecto de datos
Este es el perfil de big data más técnico que existe hoy en día en el sector de los datos, así que tiene que contar con habilidades orientadas a este campo. Aquí te mostramos las principales y más genéricas.
- Saber trabajar con sistemas CRM y ERP.
- Manejar herramientas como R o Python, las cuales ya has visto en nuestro post sobre herramientas de data mining.
- Amplios conocimientos en SQL y NoSQL para hacer la estructura y el diseño de los datos.
- Comprender tecnologías como Hadoop y Spark.
- Cada vez más necesario el entendimiento de como funcionan los sistemas Cloud.
Hemos hecho un breve repaso sobre la arquitectura big data, las características y los tipos, para luego conocer un perfil profesional muy demandado en la actualidad. Si quieres ser data architect debes saber que el ecosistema de los datos es muy cambiante y que las nuevas tecnologías te van a exigir ir moldeando tus conocimientos y habilidades continuamente.
Nosotros, como escuela de negocios reconocida en el sector y con más de 10 años de experiencia, impartimos un máster sobre Business Intelligence y Data Management en el que, entre otras muchas cosas, tratamos la arquitectura de las bases de datos. ¡Échale un vistazo a los módulos y pídenos información!
¿Qué es un arquitecto de datos o data architect y qué hace?
Máster en Inteligencia Artificial para la Transformación de Negocios
