Fluxo de dados
A Preparação de Dados é o módulo de ETL da plataforma Dattos. Nele você coleta, limpa, transforma, combina e organiza informações de diferentes sistemas e fontes externas para gerar resultados confiáveis para análises, BI e visualizações. Tudo isso em uma interface no-code, desenhada para usuários de negócio, que substitui as planilhas tradicionais com mais agilidade e segurança.
Este artigo apresenta o designer de fluxos: as áreas da tela, como construir e configurar um fluxo e os recursos que ajudam a documentar e validar o resultado.
Como funciona um fluxo de preparação
Um fluxo de dados é um conjunto de etapas conectadas, cada uma executando uma função sobre as informações. Você adiciona, conecta e configura as etapas de acordo com o objetivo do fluxo.
Cada etapa pode ter uma ou mais portas de entrada e de saída, que é por onde as conexões entre etapas são criadas. As conexões representam as transições entre as etapas e seguem uma lógica horizontal, da esquerda para a direita.
O cabeçalho do designer
No topo da tela aparecem o nome do processo e, da esquerda para a direita, os botões de ação:
Fechar: fecha a edição do fluxo e leva para a tela de Visualização/Execução do processo, onde ficam as informações da configuração.
Galeria: abre os modelos de fluxo prontos para uso, com busca e filtros por tipo de fonte de dados e de resultado.
Identificação: abre as regras de identificação dos arquivos usados no fluxo para o upload automático.
Executar: leva para a tela de Importação e Execução do processo, considerando o fluxo criado no designer.
Opções: permite Restaurar modelo (recupera um modelo no formato Dattos .XDTT) e Baixar modelo (baixa o fluxo construído no padrão .XDTT).
Ponto de interrogação: abre o Manual do Sistema (guia "Introdução ao Fluxo Preparação de Dados") em nova aba e o Iniciar Tutorial, com um passo a passo das principais funcionalidades e um vídeo de como configurar um fluxo do zero.
A barra de ferramentas e as categorias de etapas
A barra de ferramentas lista todas as etapas disponíveis, agrupadas por categoria e identificadas por cor:
Fonte de Dados: importação de arquivos e dados.
Preparação: limpeza, normalização e modelagem de dados.
Combinação: junção e mescla de dados.
Agregação: consolidação e agrupamento de dados.
Saída: exportação de dados e resultados.
Adicionar, conectar e remover etapas
Para adicionar: arraste a etapa da barra de ferramentas para o canvas, logo abaixo.
Para conectar: aproxime a etapa de outra que tenha uma saída livre e a plataforma sugere a conexão; basta soltar. Para conectar manualmente, clique na porta de saída de uma etapa, arraste o ponteiro até a porta de entrada da outra e solte.
Para remover: selecione a etapa e clique no x vermelho exibido acima dela, ou pressione a tecla Delete. Confirme na janela que aparece clicando em Confirmar.
Configurar uma etapa
Para abrir a área de configuração de uma etapa, dê dois cliques sobre ela depois de adicioná-la ao fluxo. As opções variam conforme a etapa escolhida. O detalhamento de cada uma está nos artigos de etapas da Preparação de Dados.
Dica: as etapas da categoria Fonte de Dados abrem a área de configuração automaticamente quando são adicionadas ao fluxo.
Reprocessamento automático: o fluxo é reprocessado sempre que uma etapa é adicionada, editada ou excluída, para que a amostra de dados reflita o resultado atual com fidelidade.
Menu de contexto da etapa
Clique com o botão direito sobre qualquer etapa do fluxo para abrir o menu de contexto:
Configurar Etapa: acessa as configurações específicas para ajustes.
Editar Nome: personaliza o nome de exibição da etapa, para uma identificação mais intuitiva.
Adicionar Descrição: insere informações sobre a etapa. Quando já existe descrição, o menu oferece Editar nome e descrição e Apagar descrição.
Excluir Etapa: remove a etapa do fluxo.
Dica: descrever as etapas facilita o entendimento do fluxo, economiza tempo, reduz a chance de erro e dá clareza extra na comunicação da equipe.
Notas explicativas no designer
Além das descrições por etapa, você pode adicionar anotações livres no designer para documentar o fluxo. Clique com o botão direito em qualquer espaço em branco e selecione Adicionar anotação. Uma janela é aberta para você incluir informações úteis e insights nos pontos mais relevantes do fluxo.
Para editar ou excluir uma anotação, clique com o botão direito sobre ela e use as opções exibidas.
Validar pela Amostra de Dados
A Amostra de Dados fica em uma barra azul na parte inferior do designer. Dê dois cliques para ampliá-la. Com uma etapa configurada e selecionada, ela exibe as 100 primeiras linhas daquela etapa do fluxo.
A janela de amostra contém:
Guias de portas de saída: disponíveis conforme a etapa selecionada.
Informações gerais de tamanho: por exemplo, "Exibindo amostra de 100 linhas de um total de 300 linhas - 20 colunas".
Tabela de amostra de dados.
Campo de busca: localiza conteúdo dentro da amostra.
Data da simulação.
Baixar: exporta a amostra em arquivo .xlsx.
Limite da amostra: a Amostra de Dados exibe no máximo 100 linhas, independentemente do tamanho das fontes de dados carregadas no fluxo.
Histórico de Mensagens
Para entender erros e alertas, abra o histórico clicando em qualquer ícone no canto inferior direito do designer. As mensagens são classificadas em três tipos, que podem ser filtrados na janela:
Erro: configurações de etapas inválidas.
Aviso: falhas de sincronização do fluxo de dados.
Mensagem: eventos de edição e sincronização das configurações das etapas.
A tabela lista, para cada registro:
Tipo: a categoria da mensagem.
Origem: a etapa que originou a mensagem. Quando não especificado, trata-se de um evento do fluxo como um todo.
Mensagem: o texto da mensagem.
Galeria de Modelos
A Galeria reúne modelos de fluxo prontos, que você pode usar por completo ou aproveitar em partes. Clique no botão Galeria, no canto superior direito, para abrir a janela de seleção, com busca e filtros por categoria de etapas e por caso de uso (contábil, fiscal, financeiro, saúde, entre outros).
Ao clicar em Usar Modelo, a plataforma carrega o modelo no designer. Para ver mais detalhes antes de escolher, clique na área do modelo desejado e abra a tela com tag de filtro, print do modelo no designer e descrição.
Dica: você pode somar mais de um modelo ao seu processo e depois editar o fluxo para adaptá-lo à sua necessidade.
Configurar a Regra de Identificação
A Regra de Identificação permite que a plataforma direcione automaticamente cada arquivo enviado pelas telas "Upload de Arquivos" e "Execução de Processos" para o fluxo correto. A regra usa o conteúdo de colunas específicas para fazer esse direcionamento.
Clique no botão Regra de Identificação para abrir a tela onde você configura a regra para cada Fonte de Dados do tipo arquivo. Cada fonte exibe um status:
Válido: a etapa de entrada já tem regra de identificação configurada.
Inválido: a etapa de entrada ainda não tem regra configurada.
Para criar a regra, selecione o conteúdo de uma célula (cruzamento de coluna e linha) e clique em Adicionar Regra. É possível definir uma ou mais regras. Ao concluir, o status da fonte muda para Válido.
Dica: mantenha a tecla Ctrl pressionada para marcar mais de uma célula da planilha.
Quais etapas aparecem: só entram na lista as Fontes de Dados que leem arquivos e que possuem amostra de dados. Quando há etapas elegíveis ainda sem regra configurada, um indicativo vermelho aparece no botão Regra de Identificação no designer.
Versionamento e restauração
Pela ação Opções, no designer, você baixa o modelo do fluxo (.XDTT) e restaura uma preparação a partir de um arquivo salvo. O passo a passo completo está no artigo Versionamento e restauração.
Artigos relacionados
Etapa Arquivo Excel
Etapa Arquivo OFX
Etapa Arquivo Texto
Versionamento e restauração