Hoy en día, las grandes corporaciones dependen en gran medida del análisis de datos para estructurar y ejecutar sus actividades diarias. Estos conjuntos de información tienen una amplia variedad de usos, desde respaldar decisiones operativas hasta definir estrategias de marketing.
De hecho, la dinámica de mercado que vemos hoy está directamente ligada al análisis e interpretación de datos. El crecimiento constante del volumen de información almacenada es una tendencia clara e inequívoca para los próximos años.
En este contexto, empresas destacadas del sector de monitoreo consideran este fenómeno un factor decisivo. Un ejemplo es el estudio realizado por BCG (Boston Consulting Group) en colaboración con Red Hat: en 2021, el volumen de datos sumaba 84 ZB, y la proyección es que alcance 149 ZB hacia 2024, un incremento del 77,38%.
Además, gestionar esta enorme cantidad de datos se ha convertido en un desafío considerable para las empresas, ya que equilibrar los costos de almacenamiento, redes, procesamiento y seguridad resulta una tarea ardua y muy onerosa.
En la plataforma Lakehouse de Databricks, los principales componentes de gasto son las máquinas virtuales y las Databricks Units (DBUs).
Máquinas virtuales para procesamiento masivo
Las máquinas virtuales se utilizan para aprovisionar clústeres en Databricks y procesar datos. Cuanto mayor es la configuración de la máquina virtual, más capacidad de procesamiento ofrece y, en consecuencia, mayores son los costos de infraestructura asociados.
Databricks Units (DBUs) para la tarificación
La Databricks Unit (DBU) es la métrica que utiliza el Lakehouse de Databricks para medir la capacidad de procesamiento y calcular los costos asociados a la plataforma. La cantidad de DBUs que requiere una carga de trabajo se determina considerando tanto la capacidad de procesamiento como el volumen de datos procesados. En términos simples, un clúster de mayor tamaño (con más máquinas virtuales y de mayor capacidad) implica el uso de más DBUs y, por lo tanto, una mayor capacidad de procesamiento de datos.
El costo real de las DBUs varía según el tipo de carga de trabajo, como muestra la siguiente tabla:
Reproducción: https://www.databricks.com/product/pricing – Nota: los precios pueden variar según la región.
Todos los principales proveedores de nube, como Azure, AWS y GCP, ofrecen herramientas de monitoreo que ayudan a gestionar los costos. Sin embargo, no son lo suficientemente flexibles o exigen mucho esfuerzo para obtener la información según las necesidades del negocio.
Cómo mejorar el monitoreo de costos con Unity Catalog
Unity Catalog es una solución de gobernanza de datos centralizada que permite el control total de su Lakehouse de Databricks. Su adopción lleva el monitoreo de los pipelines de datos a otro nivel, al aportar observabilidad sobre los datos almacenados en el Lakehouse e inteligencia operativa sobre accesos, costos, auditoría, linaje y mucho más, a través de las tablas de sistema.
De forma predeterminada, las tablas de sistema no están disponibles para consulta en Unity Catalog, como muestra la siguiente imagen:
Cómo habilitar la visualización de las tablas de sistema
Aunque las tablas no están accesibles, es posible habilitarlas a través de las APIs REST de Unity Catalog.
Para habilitar el acceso a las tablas de sistema, siga las instrucciones del siguiente enlace: https://docs.databricks.com/en/administration-guide/system-tables/index.html#enable-system-tables
¡Voilà!
Para nuestro escenario específico, se destaca la tabla de sistema “system.billing.usage”. Esta tabla reúne los datos de consumo en DBUs de todos los workspaces de la cuenta de Databricks, independientemente de la región en la que se haya creado cada workspace.
Observabilidad y previsibilidad de costos
Junto con el uso adecuado de tags en los recursos de Databricks, es posible obtener insights detallados sobre el consumo en DBUs, por ejemplo por:
- Pipelines de datos
- Áreas de negocio
- Cargas de trabajo
- Franjas horarias de mayor uso
- Workspaces
Esta información de consumo es vital para mejorar la gobernanza del entorno analítico, tanto en términos de costos como de datos (detección de desvíos y anomalías).
Cómo aprovechar la plataforma Lakehouse de Databricks
La plataforma Lakehouse de Databricks ofrece una solución integral que simplifica el proceso de inteligencia operativa. Combinando Dashboards, Saved Queries y Databricks SQL Serverless, es posible crear visualizaciones y gráficos de forma intuitiva. La actualización de los dashboards puede programarse según las necesidades de su negocio.
Además, la plataforma permite configurar alertas que notifican a los responsables sobre escenarios o desvíos que requieren acción inmediata.
Ejemplo de dashboard de previsibilidad de costos en reales y DBUs
Ejemplo de gráfico de historial de consumo mensual de Jobs
Ejemplo de consulta de costos por pipeline de datos
Ejemplo de gráfico de historial de consumo mensual por tipo de carga
Ejemplo de gráfico de historial de consumo diario de Jobs con detección de anomalías
Conclusión
Estos son algunos de los innumerables insights que se pueden generar para monitorear los costos de su entorno Databricks utilizando Dashboards, Saved Queries y Databricks SQL Serverless junto con los metadatos gestionados por Unity Catalog.
Las tablas de sistema de Unity Catalog están en fase “Public Preview”, pero ya ofrecen métricas importantes para la mejora operativa del Lakehouse de Databricks. Unity Catalog evoluciona constantemente y, con el tiempo, esperamos que haya nuevas métricas disponibles para mejorar aún más la gobernanza del entorno analítico.
Limitaciones
Las tablas de sistema están en public preview y no se actualizan en tiempo real.
Alianza entre Digiage y Databricks:
Digiage es partner oficial de Databricks y se ha destacado en la modernización de estructuras de data lakes en diversos sectores, como retail, automotriz, utilities, telecomunicaciones y servicios financieros. Además, Digiage ha impulsado mejoras operativas en sus clientes mediante la implementación de IA generativa.
¿Desea saber más? Contacte a Digiage…
Autores
Daniel Antonelli – Arquitecto de Soluciones Data & Analytics
Gregory Miguel – Head de Data & Analytics