Flujo de datos
Preparación de Datos es el módulo de ETL de la plataforma Dattos. En él recopila, limpia, transforma, combina y organiza información de diferentes sistemas y fuentes externas para generar resultados confiables para análisis, BI y visualizaciones. Todo esto en una interfaz no-code, diseñada para usuarios de negocio, que sustituye las hojas de cálculo tradicionales con mayor agilidad y seguridad.
Este artículo presenta el diseñador de flujos: las áreas de la pantalla, cómo construir y configurar un flujo y los recursos que ayudan a documentar y validar el resultado.
Cómo funciona un flujo de preparación
Un flujo de datos es un conjunto de etapas conectadas, cada una de las cuales ejecuta una función sobre la información. Puede agregar, conectar y configurar las etapas según el objetivo del flujo.
Cada etapa puede tener uno o más puertos de entrada y salida, que es por donde se crean las conexiones entre etapas. Las conexiones representan las transiciones entre las etapas y siguen una lógica horizontal, de izquierda a derecha.
El encabezado del diseñador
En la parte superior de la pantalla aparecen el nombre del proceso y, de izquierda a derecha, los botones de acción:
Cerrar: cierra la edición del flujo y lleva a la pantalla de Visualización/Ejecución del proceso, donde se encuentra la información de la configuración.
Galería: abre los modelos de flujo listos para usar, con búsqueda y filtros por tipo de fuente de datos y de resultado.
Identificación: abre las reglas de identificación de los archivos utilizados en el flujo para la carga automática.
Fecha de referencia: aparece en los procesos Turbo AI con fuente de archivo y define la columna del archivo de donde proviene la fecha de referencia. Consulte la sección "Fecha de referencia en la fuente", más adelante.
Ejecutar: lleva a la pantalla de Importación y Ejecución del proceso, considerando el flujo creado en el diseñador.
Opciones: permite Restaurar modelo (recupera un modelo en el formato Dattos .XDTT) y Descargar modelo (descarga el flujo creado en el estándar .XDTT).
Signo de interrogación: abre el Manual del Sistema (guía "Introducción al Flujo Preparación de Datos") en una nueva pestaña y la opción Iniciar Tutorial, con un paso a paso de las principales funcionalidades y un video sobre cómo configurar un flujo desde cero.
La barra de herramientas y las categorías de etapas
La barra de herramientas muestra todas las etapas disponibles, agrupadas por categoría e identificadas por color:
Fuente de datos: importación de archivos y datos.
Preparación: limpieza, normalización y modelado de datos.
Combinación: unión y combinación de datos.
Agregación: consolidación y agrupación de datos.
Salida: exportación de datos y resultados.
Agregar, conectar y eliminar etapas
Para agregar: arrastre la etapa desde la barra de herramientas hasta el canvas, que aparece debajo.
Para conectar: acerque la etapa a otra que tenga una salida libre y la plataforma sugerirá la conexión; solo tiene que soltarla. Para conectar manualmente, haga clic en el puerto de salida de una etapa, arrastre el puntero hasta el puerto de entrada de la otra y suéltelo.
Para eliminar: seleccione la etapa y haga clic en la x roja que aparece encima de ella, o presione la tecla Delete. Confirme en la ventana que aparece haciendo clic en Confirmar.
Organizar el diseño
Cuando el flujo crece, la plataforma puede reposicionar las etapas para que el diseño sea legible. Hay dos opciones:
Organizar diseño: botón con el icono de una varita, en la barra de reposicionamiento situada en el pie del canvas. Redibuja todo el flujo, conserva el orden de las ramas que creó y mantiene todo el flujo dentro del área visible.
Organizar selección: seleccione dos o más etapas, haga clic con el botón derecho en el canvas y elija Organizar selección. Solo se redibuja el fragmento seleccionado, en el lugar donde ya estaba, y el resto del flujo no se modifica.
El mismo menú incluye Seleccionar todo (Ctrl+A) y Borrar selección.
Configurar una etapa
Para abrir el área de configuración de una etapa, haga doble clic sobre ella después de agregarla al flujo. Las opciones varían según la etapa elegida. Los detalles de cada una se encuentran en los artículos sobre etapas de Preparación de Datos.
Consejo: las etapas de la categoría Fuente de datos abren automáticamente el área de configuración cuando se agregan al flujo.
Reprocesamiento automático: el flujo se reprocesa cada vez que se agrega, edita o elimina una etapa, para que la muestra de datos refleje fielmente el resultado actual.
Menú contextual de la etapa
Haga clic con el botón derecho sobre cualquier etapa del flujo para abrir el menú contextual:
Configurar etapa: accede a las configuraciones específicas para realizar ajustes.
Editar nombre: personaliza el nombre que se muestra para la etapa, con el fin de identificarla de forma más intuitiva.
Agregar descripción: inserta información sobre la etapa. Cuando ya existe una descripción, el menú ofrece Editar nombre y descripción y Eliminar descripción.
Eliminar etapa: elimina la etapa del flujo.
Consejo: describir las etapas facilita la comprensión del flujo, ahorra tiempo, reduce la posibilidad de errores y aporta mayor claridad a la comunicación del equipo.
Notas explicativas en el diseñador
Además de las descripciones por etapa, puede agregar anotaciones libres en el diseñador para documentar el flujo. Haga clic con el botón derecho en cualquier espacio en blanco y seleccione Agregar anotación. Se abre una ventana para incluir información útil e ideas en los puntos más relevantes del flujo.
Para editar o eliminar una anotación, haga clic con el botón derecho sobre ella y utilice las opciones que aparecen.
Validar mediante la Muestra de Datos
La Muestra de Datos se encuentra en una barra azul en la parte inferior del diseñador. Haga doble clic para ampliarla. Con una etapa configurada y seleccionada, muestra las primeras 100 filas de esa etapa del flujo.
La ventana de muestra contiene:
Pestañas de puertos de salida: disponibles según la etapa seleccionada.
Información general del tamaño: por ejemplo, "Mostrando una muestra de 100 filas de un total de 300 filas - 20 columnas".
Tabla de muestra de datos.
Campo de búsqueda: localiza contenido dentro de la muestra.
Fecha de la simulación.
Descargar: exporta la muestra en un archivo .xlsx.
Límite de la muestra: la Muestra de Datos muestra como máximo 100 filas, independientemente del tamaño de las fuentes de datos cargadas en el flujo.
Historial de mensajes
Para comprender los errores y las alertas, abra el historial haciendo clic en cualquier icono de la esquina inferior derecha del diseñador. Los mensajes se clasifican en tres tipos, que se pueden filtrar en la ventana:
Error: configuraciones de etapas no válidas.
Advertencia: fallos de sincronización del flujo de datos.
Mensaje: eventos de edición y sincronización de las configuraciones de las etapas.
La tabla muestra, para cada registro:
Tipo: la categoría del mensaje.
Origen: la etapa que originó el mensaje. Cuando no se especifica, se trata de un evento del flujo en su conjunto.
Mensaje: el texto del mensaje.
Galería de modelos
La Galería reúne modelos de flujo listos para usar, que puede utilizar por completo o aprovechar parcialmente. Haga clic en el botón Galería, en la esquina superior derecha, para abrir la ventana de selección, con búsqueda y filtros por categoría de etapas y por caso de uso (contable, fiscal, financiero, sanitario, entre otros).
Al hacer clic en Usar modelo, la plataforma carga el modelo en el diseñador. Para ver más detalles antes de elegirlo, haga clic en el área del modelo deseado y abra la pantalla con la etiqueta de filtro, una captura del modelo en el diseñador y la descripción.
Consejo: puede agregar más de un modelo a su proceso y después editar el flujo para adaptarlo a sus necesidades.
Configurar la regla de identificación
La Regla de Identificación permite que la plataforma dirija automáticamente cada archivo enviado desde las pantallas "Carga de archivos" y "Ejecución de procesos" al flujo correcto. La regla utiliza el contenido de columnas específicas para realizar esta dirección.
Haga clic en el botón Regla de Identificación para abrir la pantalla donde configura la regla para cada Fuente de Datos de tipo archivo. Cada fuente muestra un estado:
Válido: la etapa de entrada ya tiene una regla de identificación configurada.
No válido: la etapa de entrada todavía no tiene una regla configurada.
Para crear la regla, seleccione el contenido de una celda (intersección de columna y fila) y haga clic en Agregar regla. Es posible definir una o más reglas. Al finalizar, el estado de la fuente cambia a Válido.
Consejo: mantenga presionada la tecla Ctrl para seleccionar más de una celda de la hoja de cálculo.
Qué etapas aparecen: solo se incluyen en la lista las Fuentes de Datos que leen archivos y tienen una muestra de datos. Cuando hay etapas aptas que todavía no tienen una regla configurada, aparece un indicador rojo en el botón Regla de Identificación del diseñador.
Fecha de referencia en la fuente
En los procesos Turbo AI, la fecha de referencia puede provenir de una columna del propio archivo. De este modo, un archivo con varios períodos genera, en una sola ejecución, una carga para cada fecha, cada una con solo las filas de esa fecha, sin tener que enviar el mismo archivo una vez por fecha.
Para configurar:
En el encabezado del diseñador, haga clic en Fecha de referencia. El botón aparece cuando el flujo tiene al menos una fuente de archivo.
En la lista Fuentes de Datos, a la izquierda, elija la fuente. El icono situado junto a cada fuente indica si ya tiene configurada la fecha de referencia.
En cada salida de la fuente, elija la Columna de fecha. Solo aparecen las columnas de tipo Fecha.
En Cuando la fecha no sea un día hábil en el calendario, elija Desplazar al siguiente día hábil (opción predeterminada) o Rechazar la fecha.
Haga clic en Guardar y cerrar.
Algunos comportamientos que debe conocer:
Salida sin columna marcada: sus datos no se filtran y se incluyen en todas las fechas de referencia. Sirve, por ejemplo, para una tabla de apoyo válida para todas las fechas.
Más de una fuente configurada: se consideran las fechas de todas ellas.
Columna que dejó de existir: si la columna configurada desaparece de la salida o cambia de tipo, la ventana muestra una advertencia y es necesario eliminar la configuración de esa salida para poder guardar.
Fuentes que no son archivos: las bases de datos y las API no proporcionan la fecha. Cuando utilizan la fecha de referencia en una consulta, reciben la fecha de cada carga.
Los cambios que se producen al ejecutar, incluido el límite de fechas por ejecución, se describen en el artículo Ejecutar un proceso.
Control de versiones y restauración
Mediante la acción Opciones, en el diseñador, puede descargar el modelo del flujo (.XDTT) y restaurar una preparación a partir de un archivo guardado. El procedimiento completo se encuentra en el artículo Control de versiones y restauración.
Artículos relacionados
Etapa Archivo Excel
Etapa Archivo OFX
Etapa Archivo de texto
Ejecutar un proceso
Control de versiones y restauración