Data solution architect | Data Engineer
Data solution architect | Data Engineer
Data Mesh es un modelo organizativo para descentralizar la gestión de datos mediante dominios responsables de sus propios Data Products. El paradigma Data Mesh está ganando adeptos como un nuevo enfoque para la gestión de datos en las organizaciones. A…
Data Engineering Zoomcamp – Semana 6 Llegamos a la última semana del bootcamp para Data Engineers organizado por DataTalksClub. Si la semana pasada vimos el procesamiento de datos por lotes, en esta vamos a abordar el procesamiento en tiempo real…
Data Engineering Zoomcamp – Semana 5 Entramos en la recta final del bootcamp para Data Engineers. Las dos semanas que quedan están dedicadas al procesamiento de datos, comenzando esta con el batch o procesamiento por lotes empleando tecnología spark y…
Data Engineering Zoomcamp – Semana 4 Cada vez se pone más interesante el bootcamp para Data Engineers. La cuarta semana está dedicada al modelaje de datos y los Analytics Engineer como pieza intermedia entre los Data Engineers y los Data…
Si estás trabajando con dataframes de Pandas en Python te propongo varias formas de optimizar el consumo de memoria RAM. Para nuestro ejemplo vamos a usar el siguiente dataset: En primer lugar, para analizar el consumo de memoria de cada…
Data Engineering Zoomcamp – Semana 3 La tercera semana del bootcamp para Data Engineers se ha centrado en Data warehouse y en concreto, el servidio de Google Cloud Platform dedicado a tal fin: BigQuery. Hemos abordado conceptos como particionamiento y…
A consecuencia de un mundo empresarial cada vez más impulsado por los datos en los últimos años se viene hablando de la data literacy o alfabetización de datos. Se trata de una metodología de trabajo que busca desarrollar la capacidad…
Dentro de la transformación de la arquitectura de datos de un modelo centralizado (Data Warehouse o Data Lake) a uno descentralizado (Data Mesh) podemos encontramos con un cambio de enfoque de desarrollo software, desplazándonos de un punto de vista data-driven…
En la era digital, las organizaciones recopilan y almacenan una cantidad masiva de datos de diferentes fuentes. Sin embargo, el acúmulo de información sin clasificar y sin gestionar adecuadamente puede convertirse en un problema y dificultar la recuperación y el…