Cuando pensamos en los usos de los datos que manejamos a diario, debemos tener en cuenta que esos datos, en la gran mayoría de los casos, deben utilizarse para diversas funciones y no deben considerarse productos desechables, sean datos más antiguos o más recientes.
Toda esa cantidad de datos es información que, en consecuencia, resulta estratégica para las más diversas decisiones y para los más diversos fines.
En los últimos años hemos pasado a valorar aún más los datos que las empresas utilizan a diario, con la mirada puesta en un futuro no muy lejano en el que estaremos obligados a optimizar procesos para tomar decisiones y usar la información cada vez más rápido.
En este camino surgió la idea de los data lakehouses, que no son más que la combinación de data lakes (grandes repositorios de datos en bruto en su forma original) y data warehouses (conjuntos organizados de datos estructurados), que aprovechan lo mejor de cada arquitectura para crear un enorme espacio de almacenamiento de datos en bruto a menor costo.
Además de los costos reducidos, este nuevo camino para las arquitecturas de almacenamiento resulta atractivo para las empresas que buscan emplear varias soluciones para distintos usos en su día a día, ya que pueden sustituir varios sistemas por un único lakehouse. Sin embargo, es importante destacar que en este modelo de arquitectura no podemos esperar una única fuente de información, y se convierte en una excelente ventaja para las empresas cuando se combina, por ejemplo, con la tecnología de Starburst o Starburst Galaxy.
A continuación exploraremos un poco más cada una de estas arquitecturas, con una visión general de sus beneficios y limitaciones que convierten a los data lakehouses en una opción de arquitectura para grandes volúmenes de información.
Bases de datos:
Las bases de datos representan el fundamento tradicional de la tecnología de datos. Aunque pueden adoptar varias formas, todas facilitan la recopilación estructurada de datos. Esos datos se organizan y almacenan de forma sistemática para permitir la recuperación, la gestión y la manipulación eficientes de la información.
Las tecnologías de bases de datos suelen clasificarse según su funcionalidad, finalidad y capacidades, por ejemplo:
Sistemas de gestión de bases de datos (DBMS): son la columna vertebral de las soluciones de datos y se utilizan principalmente para ejecutar operaciones de creación, lectura, actualización y eliminación (CRUD), dando soporte a muchas otras aplicaciones de negocio.
OLTP (Online Transactional Processing): sistemas utilizados para la creación de datos transaccionales. Se emplean comúnmente para registrar, por ejemplo, transacciones financieras y datos de log.
Cumplimiento ACID: ACID significa Atomicidad, Consistencia, Aislamiento y Durabilidad. Este sistema sirve para validar datos transaccionales: cuando se utiliza, funciona con un 100% de precisión o falla por completo. Con este tipo de garantía, los datos evitan cualquier pérdida o incumplimiento.
Data Warehouses:
Los data warehouses son uno de los modelos de almacenamiento de datos más tradicionales y emplean un repositorio centralizado, estructurado e integrado, diseñado específicamente para consultas, informes y análisis. Si antes estas bases de datos se utilizaban de forma local, en los últimos años este proceso de almacenamiento se ha ido trasladando a la nube.
Sin embargo, es importante destacar que tanto los data warehouses locales como los alojados en la nube tienen las mismas ventajas y desventajas. A continuación exploraremos un poco más los data warehouses.
Datos estructurados: para que los data warehouses funcionen correctamente, es importante que los datos almacenados estén bien estructurados, siguiendo estándares establecidos previamente.
Desempeño: en lo que respecta específicamente a los datos estructurados, los data warehouses ofrecen un alto desempeño; por eso, según la carga de trabajo, su uso sigue siendo recomendable.
Puntos débiles: cuando se trata de datos no estructurados, los data warehouses no admiten este tipo de información, que tiene un mejor desempeño, por ejemplo, en los data lakes. Además, en términos de recursos, los data warehouses exigen una carga muy grande de recursos financieros y tecnológicos, lo que los vuelve inviables para parte de las empresas.
Data Lakes:
Los data lakes son hoy uno de los modelos de almacenamiento más modernos y se utilizan para almacenar datos estructurados, no estructurados y semiestructurados. Además, están diseñados para almacenar grandes volúmenes de información y para procesos de Machine Learning (ML) e Inteligencia Artificial (IA). Normalmente se utilizan en procesos de lectura y tienen un costo mucho menor en comparación con los data warehouses.
Múltiples formatos de datos: a diferencia de los data warehouses, los data lakes admiten una variedad mucho mayor de formatos de datos, por lo que resultan mucho más versátiles. Además, en cuanto a costos, los data lakes tienen un costo tecnológico mucho más bajo que otras soluciones.
Optimizados para aprendizaje automático (ML) e IA: los data lakes almacenan una gran cantidad de datos en bruto. Eso los hace ideales para alimentar estructuras de aprendizaje automático, a menudo impulsadas por modelos creados con Python, Scala o R. También son una tecnología esencial en el entrenamiento de los modelos emergentes de inteligencia artificial (IA).
¿Por qué los data lakes se utilizan mucho más?
Al analizarlo en profundidad, vemos que el uso de data lakes por parte de las empresas está directamente relacionado con la facilidad que ofrecen en materia de escalabilidad y costos. En el caso de las grandes empresas, es imposible almacenar información en grandes volúmenes con una arquitectura que no pueda escalar, y más aún si hablamos, por ejemplo, de multinacionales.
En este sentido, en términos de capacidad de almacenamiento y costos, los data lakes ofrecen una arquitectura de bajo costo capaz de almacenar grandes volúmenes de datos en bruto. Además, es importante destacar que en este tipo de almacenamiento la capacidad de cómputo y la de almacenamiento están separadas, lo que permite reducirlas o ampliarlas de forma independiente.
Así, el data lake permite que los arquitectos asignen recursos según la necesidad y en el momento en que se requieren. Por ejemplo, si una organización necesita almacenamiento adicional, puede adquirirlo de forma rápida y eficiente, sin tener que adquirir también recursos de cómputo que quizá no necesite. En cambio, las necesidades de cómputo o almacenamiento se dimensionan de forma individual, en tiempo real, lo que ahorra mucho tiempo, esfuerzo y dinero.
Por último, al observar los costos con mayor detalle, vemos que los data lakes ofrecen un almacenamiento mucho más económico que otras formas de almacenamiento. Además, con el avance de las tecnologías, su desempeño ha crecido y hoy puede equipararse al de los data warehouses tradicionales.
La combinación de un sistema escalable, económico y eficiente es una victoria clara para muchas organizaciones, ya que logra un equilibrio ideal entre distintos factores.
¿Cuál es la diferencia entre un data lake y un data lakehouse?
En los últimos años, los data lakes han madurado hasta el punto de que los data lakes modernos incluyen muchas capacidades que no existían en las versiones anteriores. Estos lagos de datos modernos se definen por formatos de tabla modernos y abiertos, como Iceberg, Delta Lake o Hudi. Incluyen un soporte transaccional mejorado, que rivaliza con las mejores bases de datos OLTP, y funciones como evolución de esquema, evolución de particiones y viaje en el tiempo. Esto redujo aún más la brecha entre data lakes, data warehouses y bases de datos. Esa convergencia dio origen al término data lakehouse para describir los data lakes modernos, un nombre que surge de la mezcla entre data lake y data warehouse.
Los data lakehouses incluyen varias capacidades importantes que los diferencian de los data lakes tradicionales, entre ellas:
Capa de gobernanza mejorada y recopilación de metadatos:
En comparación con un data lake tradicional, un data lakehouse gestiona la gobernanza de datos de manera superior. Esto es el resultado de un enfoque más avanzado para la recopilación de metadatos, capaz de construir un registro preciso de los cambios en la tabla en cualquier momento. Esta es la principal capacidad que habilita funciones mejoradas y la adopción de funcionalidades que eliminan la distinción entre data lake, data warehouse y base de datos.
Data lake tradicional:
Los data lakes, especialmente los que utilizan almacenamiento de objetos en la nube, suelen usar una capa de almacenamiento inmutable, que puede crearse con AWS S3, Azure ADLS, Google Cloud Storage u otro sistema similar. En estos sistemas, los datos pueden leerse y escribirse, pero normalmente no pueden eliminarse ni actualizarse por completo. Este problema suele afectar a los usuarios de Hive, que pueden encontrarse en situaciones en las que creen que los datos de un usuario fueron eliminados cuando, en realidad, persistieron.
Formatos de tabla modernos:
Todas estas capacidades y beneficios son posibles gracias a la adopción de uno de los formatos modernos de tabla de lakehouse, como Iceberg, Delta Lake o Hudi. Estos formatos agregan una capa de metadatos sobre las tablas de un data lakehouse que habilita capacidades propias de un data warehouse.
Uso de formatos de archivo modernos:
Es importante señalar que los data lakehouses también utilizan formatos de archivo modernos, tal como se espera de un data lake. Esto incluye formatos populares y modernos como Parquet, ORC y Avro.
Mejoras con un lakehouse:
En un data lakehouse, las mejoras en la capa de gobernanza optimizan la recopilación de metadatos, lo que permite actualizar y eliminar los datos por completo según sea necesario. Esto abre nuevos casos de uso que antes estaban vedados a los data lakes tradicionales. Por ejemplo, garantiza que requisitos regulatorios como el GDPR puedan implementarse plenamente con tecnología de data lake. La gobernanza del GDPR suele exigir la capacidad de eliminar los datos de un usuario cuando este lo solicita.
¿Es este el fin de los data lakes?
En términos generales, conviene pensar en el data lakehouse como una evolución del data lake, no como un sustituto. Por eso, su adopción puede ser gradual. No se trata de una tecnología que obligue a los usuarios a replantear todo lo que hacen ni a eliminar procesos establecidos. Por el contrario, un data lakehouse puede acompañar la evolución natural del patrón de uso de datos de una organización y, al mismo tiempo, ofrecer muchas mejoras en el camino.
Si le gustó este contenido, lo invitamos a seguir el blog de Digiage y, si tiene dudas, estamos a su disposición para ayudarle.