De Principios a Práctica: Automatización Conforme a las Normas en Informes Financieros

MICROSOFT FABRIC

Un data warehouse, o almacén de datos, es una base de datos centralizada diseñada específicamente para el análisis y la gestión de grandes volúmenes de datos procedentes de diversas fuentes dentro de una organización. A diferencia de las bases de datos operativas utilizadas para la gestión diaria de transacciones, un data warehouse está estructurado para facilitar la consulta y el análisis eficiente de los datos, apoyando así la toma de decisiones empresariales.

Las principales características de un data warehouse incluyen:

1. Integración de Datos: Consolida datos de múltiples fuentes, como sistemas de (ERP), sistemas de gestión de relaciones con clientes (CRM), y otras bases de datos operativas. Los datos suelen ser limpiados y transformados durante este proceso para asegurar la consistencia.

2. Tema-Orientado: Los datos dentro de un data warehouse están organizados por temas específicos, como ventas, finanzas o marketing, en lugar de por procesos empresariales. Esto facilita a los usuarios finales el acceso a la información relevante para el análisis.

3. No Volátil: Una vez que los datos se introducen en el data warehouse, no se modifican ni eliminan, lo que proporciona un registro histórico estable para el análisis a lo largo del tiempo.

4. Variado en el Tiempo: Los datos en un data warehouse se mantienen para largos periodos de tiempo, lo que permite análisis históricos. Esto es diferente de las bases de datos operativas, donde los datos pueden cambiar minuto a minuto.

El diseño y la implementación de un data warehouse suelen seguir un enfoque denominado modelado dimensional, el cual organiza los datos en tablas de hechos y dimensiones. Las tablas de hechos almacenan datos cuantitativos que queremos analizar (como ventas totales), mientras que las tablas de dimensiones contienen datos descriptivos sobre los "cómo" y "por qué" de esos hechos (como la fecha, la ubicación y el cliente de esas ventas).

Un data warehouse bien diseñado y mantenido puede proporcionar a una organización una poderosa herramienta para el análisis de tendencias, la realización de informes empresariales y la toma de decisiones basada en datos. Con el tiempo, estos almacenes de datos pueden evolucionar para incorporar tecnologías más avanzadas, como la inteligencia artificial y el machine learning, ampliando aún más su capacidad para generar insights y apoyar la estrategia empresarial.

¿Por qué es tan importante este concepto?

En el contexto empresarial contemporáneo, las organizaciones se encuentran inmersas en un entorno caracterizado por la diversidad y complejidad de las fuentes de datos disponibles, incluyendo formatos tales como Excel, CSV, SQL, PDF y recursos en línea, entre otros. Este panorama obliga a las entidades a adoptar metodologías robustas para la gestión de datos, siendo el proceso de Extracción, Transformación y Carga (ETL, por sus siglas en inglés) una práctica fundamental en este ámbito. El ETL facilita la integración de datos provenientes de múltiples orígenes, permitiendo su consolidación, análisis y almacenamiento efectivo.

A modo ilustrativo, consideremos la operación de tesorería diaria de una organización, registrada mediante un archivo Excel, y la gestión contable y administrativa soportada por un sistema ERP con base de datos en SQL. Adicionalmente, la entidad puede requerir ajustar valores contables en función de índices de inflación, los cuales pueden ser consultados en sitios web institucionales como el del Consejo Profesional de Ciencias Económicas, encargado de regular los estándares contables. Asimismo, es común la obtención de planes de pago impositivo a través de portales gubernamentales, en formatos como PDF, proporcionados por organismos de regulación fiscal, tal como la Administración Federal de Ingresos Públicos (AFIP) en Argentina.

La integridad y coherencia de la información revisten una importancia crítica en este proceso. Es frecuente que discrepancias en la información, derivadas de la utilización de distintas fuentes por parte de los departamentos de una organización, conduzcan a errores o a inconsistencias en los datos reportados, a pesar de referirse a la misma información. Esta situación subraya la necesidad de establecer un repositorio de datos unificado, accesible por cualquier departamento requeriente, para asegurar la uniformidad, precisión y confiabilidad de la información utilizada en los procesos de toma de decisiones y cumplimiento normativo

¿Si lo tuviésemos que explicar con una analogía a este proceso cómo lo podríamos hacer?

Microsoft Fabric: La Caja de Legos Mágica

"Imagina que tienes una caja de legos muy especial, que se llama Microsoft Fabric. Con esta caja, puedes construir castillos, carros, robots y muchas cosas más, usando bloques de diferentes formas y colores."

"El robot usa un hechizo mágico llamado Power Query. Este hechizo puede tomar legos que estaban en diferentes cajas, como una caja debajo de tu cama, otra en el armario, y hasta algunos legos que estaban en el jardín, y los une todos en una sola caja. Así, todos tus legos están organizados y listos para que construyas lo que quieras."

"Dentro de esta caja mágica, hay una máquina muy especial, como un robot, que se llama Flujo de Datos. Lo que hace este robot es ayudarte a encontrar los legos que necesitas. Si tienes tus legos regados por toda tu habitación o escondidos en diferentes cajas, el robot los encuentra y los pone todos juntos para que puedas usarlos mejor."

Flujo de Datos: La Máquina de Ordenar Legos

Power Query: El Hechizo para Unir los Legos

Formato Tabular: La Regla de Construcción

"Cuando usas los legos, hay una regla importante: tienes que construir sobre una base plana, que se llama formato tabular. Es como un tablero de ajedrez donde colocas tus piezas. Este tablero te ayuda a saber dónde va cada lego, y asegura que tu construcción sea fuerte y no se caiga. La primera fila de legos debe decir qué tipo de piezas son (como torres, caballos, peones en el ajedrez), y no puedes dejar espacios vacíos."

La Magia de Power Query

"Power Query es muy respetuoso con tus legos. Nunca cambia los legos originales; solo toma lo que necesita y lo transforma en construcciones maravillosas en el tablero base. Imagina que tienes legos de diferentes cajas: unos que forman un cofre del tesoro, otros que son partes de un barco pirata, y algunos que construyen un dragón. Power Query te ayuda a combinarlos para crear una gran aventura de piratas sin cambiar los legos con los que empezaste."

Microsoft Fabric y Sus Herramientas

"Finalmente, Microsoft Fabric, con su máquina de Flujo de Datos y el hechizo Power Query, es como tener un equipo de magos y robots que te ayudan a construir lo que quieras con tus legos, sin importar dónde los encontraste o cómo eran antes. Puedes construir castillos, ciudades, o incluso un mundo entero, ¡y todo está organizado y listo para jugar!"

Pero nombramos un concepto muy importante..........

¿Por qué es tan importante el FORMATO TABULAR?

El formato tabular es una estructura de datos que organiza elementos en filas y columnas, creando una matriz donde cada fila representa un registro y cada columna un tipo de información específica sobre ese registro. Esta forma de organizar la información es extremadamente relevante en múltiples campos, especialmente en ciencia de datos, bases de datos, y en la presentación de información en herramientas como Power BI y Microsoft Excel.

Power Pivot

Power Pivot es una herramienta diseñada para trabajar dentro de Microsoft Excel y es parte de la suite de Power BI. Utiliza un modelo tabular para almacenar y gestionar los datos:

1. Modelo Tabular: En Power Pivot, los datos se organizan en tablas. Estas tablas se pueden relacionar entre sí, permitiendo análisis complejos a través de relaciones, similar a como funcionarían las bases de datos relacionales, pero con una estructura y optimización que es característica del modelo tabular.

2. Procesamiento en memoria: Power Pivot utiliza el motor analítico en memoria de Microsoft, VertiPaq, que permite realizar cálculos rápidos y eficientes. Este motor es excelente para manejar modelos tabulares y es fundamental en el rápido rendimiento de las consultas.

3. DAX (Data Analysis Expressions): Power Pivot usa DAX para realizar cálculos y análisis. DAX es un lenguaje de fórmulas que fue diseñado específicamente para trabajar con datos en modelos tabulares.

Las funciones CUBO en Excel son interesantes porque interactúan con datos que provienen de modelos OLAP (Online Analytical Processing), y no directamente del modelo tabular usado en Power Pivot. Aquí te explico cómo funcionan y se relacionan con estos modelos:

Funciones CUBO en Excel

1. Origen del Modelo: Las funciones CUBO en Excel están diseñadas para conectarse y recuperar datos de fuentes de datos externas que utilizan un modelo multidimensional, como los cubos OLAP, que se encuentran comúnmente en SQL Server Analysis Services (SSAS) en modo multidimensional.

2. Uso de Modelo Dimensional: Estas funciones operan sobre datos organizados en un modelo dimensional (cubos OLAP), donde los datos están estructurados en dimensiones y hechos, facilitando análisis complejos y multidimensionales. Las funciones CUBO permiten a los usuarios realizar consultas ad-hoc dentro de Excel a un cubo OLAP, como obtener valores agregados, slices de datos específicos, o explorar jerarquías de dimensiones.

Power Pivot

1. Modelo Tabular: Power Pivot utiliza un modelo tabular, que aunque optimizado para análisis, es fundamentalmente diferente en su estructura interna y en la forma en que se manejan las relaciones de datos en comparación con los cubos OLAP. Power Pivot es más flexible y generalmente más accesible para usuarios de negocio debido a su integración con Excel y su relativa facilidad de uso.

2. Independencia de CUBO: Aunque Power Pivot y las funciones CUBO pueden ser utilizadas dentro del mismo entorno de Excel, no dependen una de la otra y utilizan diferentes arquitecturas de datos subyacentes para realizar sus operaciones. Power Pivot no utiliza cubos OLAP ni el modelo dimensional directamente.

Diferencias Clave

- Modelo de Datos: Power Pivot usa un modelo tabular en memoria, mientras que las funciones CUBO interactúan con modelos dimensionales externos.

- Uso y Flexibilidad: Power Pivot es ideal para análisis rápidos, modificaciones y visualizaciones en Excel, utilizando datos tanto de fuentes internas como externas. Por otro lado, las funciones CUBO están específicamente diseñadas para aprovechar la estructura y el poder de análisis de los cubos OLAP.

- Integración de Tecnología: Mientras que Power Pivot es una herramienta integrada de Excel para modelado de datos, las funciones CUBO requieren una conexión a una fuente de datos OLAP externa.

En resumen, las funciones CUBO de Excel no utilizan el modelo de Power Pivot. En cambio, acceden a datos estructurados en un modelo dimensional (cubos OLAP), proporcionando capacidades analíticas que están más alineadas con análisis empresariales complejos y multidimensionales. Esto es distinto al enfoque más general y flexible del modelo tabular utilizado en Power Pivot, que está optimizado para un entorno de BI ágil y accesible directamente dentro de Excel.

Las funciones CUBO en Excel son interesantes porque interactúan con datos que provienen de modelos OLAP (Online Analytical Processing), y no directamente del modelo tabular usado en Power Pivot. Aquí te explico cómo funcionan y se relacionan con estos modelos:

Funciones CUBO en Excel

1. Origen del Modelo: Las funciones CUBO en Excel están diseñadas para conectarse y recuperar datos de fuentes de datos externas que utilizan un modelo multidimensional, como los cubos OLAP, que se encuentran comúnmente en SQL Server Analysis Services (SSAS) en modo multidimensional.

2. Uso de Modelo Dimensional: Estas funciones operan sobre datos organizados en un modelo dimensional (cubos OLAP), donde los datos están estructurados en dimensiones y hechos, facilitando análisis complejos y multidimensionales. Las funciones CUBO permiten a los usuarios realizar consultas ad-hoc dentro de Excel a un cubo OLAP, como obtener valores agregados, slices de datos específicos, o explorar jerarquías de dimensiones.

Power Pivot

1. Modelo Tabular: Power Pivot utiliza un modelo tabular, que aunque optimizado para análisis, es fundamentalmente diferente en su estructura interna y en la forma en que se manejan las relaciones de datos en comparación con los cubos OLAP. Power Pivot es más flexible y generalmente más accesible para usuarios de negocio debido a su integración con Excel y su relativa facilidad de uso.

2. Independencia de CUBO: Aunque Power Pivot y las funciones CUBO pueden ser utilizadas dentro del mismo entorno de Excel, no dependen una de la otra y utilizan diferentes arquitecturas de datos subyacentes para realizar sus operaciones. Power Pivot no utiliza cubos OLAP ni el modelo dimensional directamente.

Diferencias Clave

- Modelo de Datos: Power Pivot usa un modelo tabular en memoria, mientras que las funciones CUBO interactúan con modelos dimensionales externos.

- Uso y Flexibilidad: Power Pivot es ideal para análisis rápidos, modificaciones y visualizaciones en Excel, utilizando datos tanto de fuentes internas como externas. Por otro lado, las funciones CUBO están específicamente diseñadas para aprovechar la estructura y el poder de análisis de los cubos OLAP.

- Integración de Tecnología: Mientras que Power Pivot es una herramienta integrada de Excel para modelado de datos, las funciones CUBO requieren una conexión a una fuente de datos OLAP externa.

Conclusión

En resumen, las funciones CUBO de Excel no utilizan el modelo de Power Pivot. En cambio, acceden a datos estructurados en un modelo dimensional (cubos OLAP), proporcionando capacidades analíticas que están más alineadas con análisis empresariales complejos y multidimensionales. Esto es distinto al enfoque más general y flexible del modelo tabular utilizado en Power Pivot, que está optimizado para un entorno de BI ágil y accesible directamente dentro de Excel.

MICROSOFT FABRIC

Un data warehouse, o almacén de datos, es una base de datos centralizada diseñada específicamente para el análisis y la gestión de grandes volúmenes de datos procedentes de diversas fuentes dentro de una organización. A diferencia de las bases de datos operativas utilizadas para la gestión diaria de transacciones, un data warehouse está estructurado para facilitar la consulta y el análisis eficiente de los datos, apoyando así la toma de decisiones empresariales.

Las principales características de un data warehouse incluyen:

1. Integración de Datos: Consolida datos de múltiples fuentes, como sistemas de (ERP), sistemas de gestión de relaciones con clientes (CRM), y otras bases de datos operativas. Los datos suelen ser limpiados y transformados durante este proceso para asegurar la consistencia.

2. Tema-Orientado: Los datos dentro de un data warehouse están organizados por temas específicos, como ventas, finanzas o marketing, en lugar de por procesos empresariales. Esto facilita a los usuarios finales el acceso a la información relevante para el análisis.

3. No Volátil: Una vez que los datos se introducen en el data warehouse, no se modifican ni eliminan, lo que proporciona un registro histórico estable para el análisis a lo largo del tiempo.

4. Variado en el Tiempo: Los datos en un data warehouse se mantienen para largos periodos de tiempo, lo que permite análisis históricos. Esto es diferente de las bases de datos operativas, donde los datos pueden cambiar minuto a minuto.

El diseño y la implementación de un data warehouse suelen seguir un enfoque denominado modelado dimensional, el cual organiza los datos en tablas de hechos y dimensiones. Las tablas de hechos almacenan datos cuantitativos que queremos analizar (como ventas totales), mientras que las tablas de dimensiones contienen datos descriptivos sobre los "cómo" y "por qué" de esos hechos (como la fecha, la ubicación y el cliente de esas ventas).

Un data warehouse bien diseñado y mantenido puede proporcionar a una organización una poderosa herramienta para el análisis de tendencias, la realización de informes empresariales y la toma de decisiones basada en datos. Con el tiempo, estos almacenes de datos pueden evolucionar para incorporar tecnologías más avanzadas, como la inteligencia artificial y el machine learning, ampliando aún más su capacidad para generar insights y apoyar la estrategia empresarial.

¿Por qué es tan importante este concepto?

En el contexto empresarial contemporáneo, las organizaciones se encuentran inmersas en un entorno caracterizado por la diversidad y complejidad de las fuentes de datos disponibles, incluyendo formatos tales como Excel, CSV, SQL, PDF y recursos en línea, entre otros. Este panorama obliga a las entidades a adoptar metodologías robustas para la gestión de datos, siendo el proceso de Extracción, Transformación y Carga (ETL, por sus siglas en inglés) una práctica fundamental en este ámbito. El ETL facilita la integración de datos provenientes de múltiples orígenes, permitiendo su consolidación, análisis y almacenamiento efectivo.

A modo ilustrativo, consideremos la operación de tesorería diaria de una organización, registrada mediante un archivo Excel, y la gestión contable y administrativa soportada por un sistema ERP con base de datos en SQL. Adicionalmente, la entidad puede requerir ajustar valores contables en función de índices de inflación, los cuales pueden ser consultados en sitios web institucionales como el del Consejo Profesional de Ciencias Económicas, encargado de regular los estándares contables. Asimismo, es común la obtención de planes de pago impositivo a través de portales gubernamentales, en formatos como PDF, proporcionados por organismos de regulación fiscal, tal como la Administración Federal de Ingresos Públicos (AFIP) en Argentina.

La integridad y coherencia de la información revisten una importancia crítica en este proceso. Es frecuente que discrepancias en la información, derivadas de la utilización de distintas fuentes por parte de los departamentos de una organización, conduzcan a errores o a inconsistencias en los datos reportados, a pesar de referirse a la misma información. Esta situación subraya la necesidad de establecer un repositorio de datos unificado, accesible por cualquier departamento requeriente, para asegurar la uniformidad, precisión y confiabilidad de la información utilizada en los procesos de toma de decisiones y cumplimiento normativo

¿Si lo tuviésemos que explicar con una analogía a este proceso cómo lo podríamos hacer?

Microsoft Fabric: La Caja de Legos Mágica

"Imagina que tienes una caja de legos muy especial, que se llama Microsoft Fabric. Con esta caja, puedes construir castillos, carros, robots y muchas cosas más, usando bloques de diferentes formas y colores."

"El robot usa un hechizo mágico llamado Power Query. Este hechizo puede tomar legos que estaban en diferentes cajas, como una caja debajo de tu cama, otra en el armario, y hasta algunos legos que estaban en el jardín, y los une todos en una sola caja. Así, todos tus legos están organizados y listos para que construyas lo que quieras."

"Dentro de esta caja mágica, hay una máquina muy especial, como un robot, que se llama Flujo de Datos. Lo que hace este robot es ayudarte a encontrar los legos que necesitas. Si tienes tus legos regados por toda tu habitación o escondidos en diferentes cajas, el robot los encuentra y los pone todos juntos para que puedas usarlos mejor."

Flujo de Datos: La Máquina de Ordenar Legos

Power Query: El Hechizo para Unir los Legos

Formato Tabular: La Regla de Construcción

"Cuando usas los legos, hay una regla importante: tienes que construir sobre una base plana, que se llama formato tabular. Es como un tablero de ajedrez donde colocas tus piezas. Este tablero te ayuda a saber dónde va cada lego, y asegura que tu construcción sea fuerte y no se caiga. La primera fila de legos debe decir qué tipo de piezas son (como torres, caballos, peones en el ajedrez), y no puedes dejar espacios vacíos."

La Magia de Power Query

"Power Query es muy respetuoso con tus legos. Nunca cambia los legos originales; solo toma lo que necesita y lo transforma en construcciones maravillosas en el tablero base. Imagina que tienes legos de diferentes cajas: unos que forman un cofre del tesoro, otros que son partes de un barco pirata, y algunos que construyen un dragón. Power Query te ayuda a combinarlos para crear una gran aventura de piratas sin cambiar los legos con los que empezaste."

Microsoft Fabric y Sus Herramientas

"Finalmente, Microsoft Fabric, con su máquina de Flujo de Datos y el hechizo Power Query, es como tener un equipo de magos y robots que te ayudan a construir lo que quieras con tus legos, sin importar dónde los encontraste o cómo eran antes. Puedes construir castillos, ciudades, o incluso un mundo entero, ¡y todo está organizado y listo para jugar!"

Pero nombramos un concepto muy importante..........

¿Por qué es tan importante el FORMATO TABULAR?

El formato tabular es una estructura de datos que organiza elementos en filas y columnas, creando una matriz donde cada fila representa un registro y cada columna un tipo de información específica sobre ese registro. Esta forma de organizar la información es extremadamente relevante en múltiples campos, especialmente en ciencia de datos, bases de datos, y en la presentación de información en herramientas como Power BI y Microsoft Excel. A continuación, detallaré las razones de su relevancia y cómo interrelaciona con las tecnologías mencionadas.