Etapa Deduplicar
A etapa Deduplicar identifica se um registro é exclusivo ou duplicado dentro de um fluxo de preparação de dados. Use-a quando precisar separar as ocorrências únicas das repetidas, segundo as colunas que definem o que conta como duplicidade.
A Deduplicar fica na categoria Preparação da barra de ferramentas.
Configurar o Deduplicar
A configuração do Deduplicar é simples. Assim que outra etapa é conectada à sua entrada, todas as colunas são exibidas. Basta selecionar as colunas que entram na regra de validação da duplicidade.
Seleção de Coluna: marca uma ou mais colunas que fazem parte da regra de duplicidade. Por padrão, todas as colunas vêm selecionadas.
Status da Coluna: indica a situação da coluna, que pode ser Válido ou Inválido. A coluna fica Inválida quando uma coluna usada na regra é excluída na etapa de entrada ou tem o tipo de dado alterado nela. Nesse status, a plataforma permite excluir a coluna.
Coluna: mostra todas as colunas carregadas da etapa de entrada. Os valores desta coluna não são editáveis.
Tipo de Dado: tipo de dado da coluna de entrada, que pode ser Alfanumérico, Numérico ou Data.
Fechar: fecha a tela sem salvar as configurações e volta para o Designer.
Salvar: salva as configurações.
Atenção: a etapa exibe um informativo de erro quando não há ao menos uma transição conectada.
Portas de saída
Após a configuração, o Deduplicar tem duas saídas:
Saída U: contém todos os dados sem duplicidade e a primeira ocorrência de cada registro duplicado.
Saída D: contém as demais ocorrências de cada registro duplicado.
Exemplo de configuração
Considere as colunas de entrada Negócio, Data, Conta, Valor e Descrição, com quatro registros que repetem a Conta 1001 em dois deles.
Configurando a regra de duplicidade pela coluna Conta, o resultado se divide assim:
Saída U recebe a primeira ocorrência da Conta 1001 mais os registros sem duplicidade (Contas 1002 e 1004), totalizando três registros.
Saída D recebe a segunda ocorrência da Conta 1001 (Negócio B, Data 14/11/2022, Valor 120, Descrição "Despesas 2").
Artigos relacionados
Etapa Transformar
Etapa Ordenar
Etapa Empilhar