Filtrar Registros Duplicados en un Archivo de Origen¶

Si sus registros de origen pueden contener duplicados y desea procesar solo el primer registro y filtrar los duplicados, puede lograrlo mediante secuencias de comandos y una condición. Este proceso también se conoce como deduplicación.

Una vez que tenga su Transformación en su lugar, identifique el campo que desea usar para buscar duplicados.

• El campo Correo fue seleccionado para este ejemplo.

• Haga doble clic en este campo en el lado de destino para mostrar el cuadro Formula Builder:

  

• En la sección superior izquierda (Secuencia de Comandos), ingrese estas líneas, como en la imagen de arriba:

  Set(Email, "1");
  

  Email
  

• Esto creará una variable dinámica, establecerá el nombre de esa variable igual al valor en el campo Correo, establecerá el valor de la variable en "1" y luego devolverá el valor del campo Correo.

• Haga clic en Aceptar para guardar.

• Una vez que haya completado el paso anterior, haga clic derecho en _flat_ debajo del objetivo.

• Seleccione Agregar condición. Esto agrega otro elemento en la parte superior de los campos de destino llamado Condición.

• Haga doble clic en este Campo para mostrar el cuadro Creador de fórmulas.

• Ingrese esta fórmula en la sección del secuencia de comandos:

  If(Get(Email)==1, False, True)
  

La función Obtener utilizará el valor en el campo Correo para recuperar la variable dinámica que creamos en los pasos anteriores y verificar si la variable tiene un valor de 1. Si lo tiene, se saltará el registro; de lo contrario, continuará con la inserción.

• Haga clic en Aceptar para guardar.

Nuestra transformación de muestra completa debería verse así:

Una vez que haya completado los pasos descritos anteriormente, podrá ejecutar su transformación y los duplicados no se procesarán.