Fluxo de dados
A Preparação de Dados é o módulo de ETL da plataforma Dattos. Nele você coleta, limpa, transforma, combina e organiza informações de diferentes sistemas e fontes externas para gerar resultados confiáveis para análises, BI e visualizações. Tudo isso em uma interface no-code, desenhada para usuários de negócio, que substitui as planilhas tradicionais com mais agilidade e segurança.
Este artigo apresenta o designer de fluxos: as áreas da tela, como construir e configurar um fluxo e os recursos que ajudam a documentar e validar o resultado.
Como funciona um fluxo de preparação
Um fluxo de dados é um conjunto de etapas conectadas, cada uma executando uma função sobre as informações. Você adiciona, conecta e configura as etapas de acordo com o objetivo do fluxo.
Cada etapa pode ter uma ou mais portas de entrada e de saída, que é por onde as conexões entre etapas são criadas. As conexões representam as transições entre as etapas e seguem uma lógica horizontal, da esquerda para a direita.
O cabeçalho do designer
No topo da tela aparecem o nome do processo e, da esquerda para a direita, os botões de ação:
Fechar: fecha a edição do fluxo e leva para a tela de Visualização/Execução do processo, onde ficam as informações da configuração.
Galeria: abre os modelos de fluxo prontos para uso, com busca e filtros por tipo de fonte de dados e de resultado.
Identificação: abre as regras de identificação dos arquivos usados no fluxo para o upload automático.
Data de referência: aparece nos processos Turbo AI com fonte de arquivo e define a coluna do arquivo de onde vem a data de referência. Veja a seção "Data de referência na fonte", mais abaixo.
Executar: leva para a tela de Importação e Execução do processo, considerando o fluxo criado no designer.
Opções: permite Restaurar modelo (recupera um modelo no formato Dattos .XDTT) e Baixar modelo (baixa o fluxo construído no padrão .XDTT).
Ponto de interrogação: abre o Manual do Sistema (guia "Introdução ao Fluxo Preparação de Dados") em nova aba e o Iniciar Tutorial, com um passo a passo das principais funcionalidades e um vídeo de como configurar um fluxo do zero.
A barra de ferramentas e as categorias de etapas
A barra de ferramentas lista todas as etapas disponíveis, agrupadas por categoria e identificadas por cor:
Fonte de Dados: importação de arquivos e dados.
Preparação: limpeza, normalização e modelagem de dados.
Combinação: junção e mescla de dados.
Agregação: consolidação e agrupamento de dados.
Saída: exportação de dados e resultados.
Adicionar, conectar e remover etapas
Para adicionar: arraste a etapa da barra de ferramentas para o canvas, logo abaixo.
Para conectar: aproxime a etapa de outra que tenha uma saída livre e a plataforma sugere a conexão; basta soltar. Para conectar manualmente, clique na porta de saída de uma etapa, arraste o ponteiro até a porta de entrada da outra e solte.
Para remover: selecione a etapa e clique no x vermelho exibido acima dela, ou pressione a tecla Delete. Confirme na janela que aparece clicando em Confirmar.
Organizar o layout
Quando o fluxo cresce, a plataforma pode reposicionar as etapas para deixar o desenho legível. Há dois caminhos:
Organizar layout: botão com ícone de varinha, na barra de reposicionamento no rodapé do canvas. Redesenha o fluxo inteiro, preservando a ordem dos ramos que você construiu e deixando todo o fluxo dentro da área visível.
Organizar seleção: selecione duas ou mais etapas, clique com o botão direito no canvas e escolha Organizar seleção. Só o trecho selecionado é redesenhado, no lugar onde já estava, e o restante do fluxo não se mexe.
O mesmo menu traz Selecionar tudo (Ctrl+A) e Limpar seleção.
Configurar uma etapa
Para abrir a área de configuração de uma etapa, dê dois cliques sobre ela depois de adicioná-la ao fluxo. As opções variam conforme a etapa escolhida. O detalhamento de cada uma está nos artigos de etapas da Preparação de Dados.
Dica: as etapas da categoria Fonte de Dados abrem a área de configuração automaticamente quando são adicionadas ao fluxo.
Reprocessamento automático: o fluxo é reprocessado sempre que uma etapa é adicionada, editada ou excluída, para que a amostra de dados reflita o resultado atual com fidelidade.
Menu de contexto da etapa
Clique com o botão direito sobre qualquer etapa do fluxo para abrir o menu de contexto:
Configurar Etapa: acessa as configurações específicas para ajustes.
Editar Nome: personaliza o nome de exibição da etapa, para uma identificação mais intuitiva.
Adicionar Descrição: insere informações sobre a etapa. Quando já existe descrição, o menu oferece Editar nome e descrição e Apagar descrição.
Excluir Etapa: remove a etapa do fluxo.
Dica: descrever as etapas facilita o entendimento do fluxo, economiza tempo, reduz a chance de erro e dá clareza extra na comunicação da equipe.
Notas explicativas no designer
Além das descrições por etapa, você pode adicionar anotações livres no designer para documentar o fluxo. Clique com o botão direito em qualquer espaço em branco e selecione Adicionar anotação. Uma janela é aberta para você incluir informações úteis e insights nos pontos mais relevantes do fluxo.
Para editar ou excluir uma anotação, clique com o botão direito sobre ela e use as opções exibidas.
Validar pela Amostra de Dados
A Amostra de Dados fica em uma barra azul na parte inferior do designer. Dê dois cliques para ampliá-la. Com uma etapa configurada e selecionada, ela exibe as 100 primeiras linhas daquela etapa do fluxo.
A janela de amostra contém:
Guias de portas de saída: disponíveis conforme a etapa selecionada.
Informações gerais de tamanho: por exemplo, "Exibindo amostra de 100 linhas de um total de 300 linhas - 20 colunas".
Tabela de amostra de dados.
Campo de busca: localiza conteúdo dentro da amostra.
Data da simulação.
Baixar: exporta a amostra em arquivo .xlsx.
Limite da amostra: a Amostra de Dados exibe no máximo 100 linhas, independentemente do tamanho das fontes de dados carregadas no fluxo.
Histórico de Mensagens
Para entender erros e alertas, abra o histórico clicando em qualquer ícone no canto inferior direito do designer. As mensagens são classificadas em três tipos, que podem ser filtrados na janela:
Erro: configurações de etapas inválidas.
Aviso: falhas de sincronização do fluxo de dados.
Mensagem: eventos de edição e sincronização das configurações das etapas.
A tabela lista, para cada registro:
Tipo: a categoria da mensagem.
Origem: a etapa que originou a mensagem. Quando não especificado, trata-se de um evento do fluxo como um todo.
Mensagem: o texto da mensagem.
Galeria de Modelos
A Galeria reúne modelos de fluxo prontos, que você pode usar por completo ou aproveitar em partes. Clique no botão Galeria, no canto superior direito, para abrir a janela de seleção, com busca e filtros por categoria de etapas e por caso de uso (contábil, fiscal, financeiro, saúde, entre outros).
Ao clicar em Usar Modelo, a plataforma carrega o modelo no designer. Para ver mais detalhes antes de escolher, clique na área do modelo desejado e abra a tela com tag de filtro, print do modelo no designer e descrição.
Dica: você pode somar mais de um modelo ao seu processo e depois editar o fluxo para adaptá-lo à sua necessidade.
Configurar a Regra de Identificação
A Regra de Identificação permite que a plataforma direcione automaticamente cada arquivo enviado pelas telas "Upload de Arquivos" e "Execução de Processos" para o fluxo correto. A regra usa o conteúdo de colunas específicas para fazer esse direcionamento.
Clique no botão Regra de Identificação para abrir a tela onde você configura a regra para cada Fonte de Dados do tipo arquivo. Cada fonte exibe um status:
Válido: a etapa de entrada já tem regra de identificação configurada.
Inválido: a etapa de entrada ainda não tem regra configurada.
Para criar a regra, selecione o conteúdo de uma célula (cruzamento de coluna e linha) e clique em Adicionar Regra. É possível definir uma ou mais regras. Ao concluir, o status da fonte muda para Válido.
Dica: mantenha a tecla Ctrl pressionada para marcar mais de uma célula da planilha.
Quais etapas aparecem: só entram na lista as Fontes de Dados que leem arquivos e que possuem amostra de dados. Quando há etapas elegíveis ainda sem regra configurada, um indicativo vermelho aparece no botão Regra de Identificação no designer.
Data de referência na fonte
Nos processos Turbo AI, a data de referência pode vir de uma coluna do próprio arquivo. Assim, um arquivo com várias competências gera, numa única execução, um carregamento para cada data, cada um só com as linhas daquela data, sem precisar enviar o mesmo arquivo uma vez por data.
Para configurar:
No cabeçalho do designer, clique em Data de referência. O botão aparece quando o fluxo tem pelo menos uma fonte de arquivo.
Na lista Fontes de Dados, à esquerda, escolha a fonte. O ícone ao lado de cada fonte indica se ela já tem a data de referência configurada.
Em cada saída da fonte, escolha a Coluna de data. Só aparecem as colunas do tipo Data.
Em Quando a data não for dia útil no calendário, escolha Deslocar para o próximo dia útil (o padrão) ou Rejeitar a data.
Clique em Salvar e Fechar.
Alguns comportamentos para conhecer:
Saída sem coluna marcada: os dados dela não são filtrados e entram em todas as datas de referência. Serve, por exemplo, para uma tabela de apoio que vale para todas as datas.
Mais de uma fonte configurada: valem as datas de todas elas.
Coluna que deixou de existir: se a coluna configurada sumir da saída ou mudar de tipo, a janela avisa, e é preciso remover a configuração dessa saída para poder salvar.
Fontes que não são arquivo: banco de dados e API não trazem a data. Quando usam a data de referência numa consulta, recebem a data de cada carregamento.
O que muda na hora de executar, inclusive o limite de datas por execução, está no artigo Executar um processo.
Versionamento e restauração
Pela ação Opções, no designer, você baixa o modelo do fluxo (.XDTT) e restaura uma preparação a partir de um arquivo salvo. O passo a passo completo está no artigo Versionamento e restauração.
Artigos relacionados
Etapa Arquivo Excel
Etapa Arquivo OFX
Etapa Arquivo Texto
Executar um processo
Versionamento e restauração