Filtrar Registros Duplicados em um Arquivo de Origem¶

Se os registros de origem puderem conter duplicatas e você quiser processar apenas o primeiro registro e filtrar as duplicatas, poderá fazer isso usando scripts e uma condição. Esse processo também é conhecido como desduplicação.

Assim que tiver sua Transformação em vigor, identifique o campo que deseja usar para verificar se há duplicatas.

• O campo E-mail foi selecionado para este exemplo.

• Clique duas vezes neste campo no lado de destino para exibir a caixa Formula Builder:

  

• Na seção superior esquerda (Script), insira estas linhas, como na imagem acima:

  Set(Email, "1");
  

  Email
  

• Isso criará uma variável dinâmica, definirá o name dessa variável igual ao valor no campo E-mail, definirá o value da variável como "1" e retornará o valor do campo E-mail.

• Clique em OK para salvar.

• Depois de concluir a etapa acima, clique com o botão direito do mouse em _flat_ abaixo do alvo.

• Selecione Adicionar condição. Isso adiciona outro item no topo de seus campos de destino chamado Condição.

• Clique duas vezes neste Campo para exibir a caixa Construtor de fórmulas.

• Insira esta fórmula na seção de script:

  If(Get(Email)==1, False, True)
  

A função Get utilizará o valor do campo E-mail para recuperar a variável dinâmica que criamos nos passos anteriores e verificar se a variável possui o valor 1. Caso possua, irá pular o registro; caso contrário, continuará com a inserção.

• Clique em OK para salvar.

Nossa transformação de amostra concluída deve ficar assim:

Depois de concluir as etapas descritas acima, você poderá executar sua transformação e as duplicatas não serão processadas.