Eliminar datos duplicados en Tableau Prep

Respuesta

En cualquier situación, los duplicados se pueden eliminar de forma manual usando el metodo que aparece en Limpiar (solucionar) variantes del mismo valor

HAGA CLIC PARA EXPANDIR LOS PASOS

Caso 1: medidas duplicadas en una unión de columnas

En el libro de trabajo de Tableau Prep "duplicates from join.tfl", la tabla "January Inventory" muestra cada producto una única vez con su inventario total. La tabla "January Orders" puede tener varias filas de un mismo producto si se realizaron varios pedidos de un producto. Después de unir las columnas de las tablas "Sales" e "Inventory", la medida [Inventory] se ha duplicado. El primer flujo muestra el problema.

Opción 1: usar una unión de filas en lugar de una unión de columnas

Nota: Ninguno de los valores de [Inventory] se relacionará directamente con los datos de "January Orders". Esto puede causar problemas al crear cálculos sin agregaciones o en vistas con un mayor nivel de granularidad que los campos de la cláusula de unión de columnas, como podría ser [Product] en este ejemplo.

Opción 2: crear un cálculo para distribuir equitativamente valores de medida

Puede usarse un paso de agregación para averiguar el número de pedidos por producto y dividir el inventario por el número de pedidos. El resultado final será que el inventario estará representado de igual modo en cada pedido. Por ejemplo, hay dos pedidos de sombreros. [Inventory] será 100 para cada pedido de sombreros. [New Inventory] será 50 para cada pedido.

Nota: esta operación puede generar datos imprecisos de inventario en una vista si únicamente se excluyen del filtro algunos pedidos de un producto.

Cree una unión de columnas INNER de "January Inventory" y "January Orders" en [Product] = [Product].
Añada una agregación de la unión de columnas 2.
En el paso de agregación 1, haga lo siguiente:
1. Arrastre cualquiera de los dos campos [Product] a Campos agrupados.
2. Arrastre [Order ID] a Campos agregados.
3. Cambie la agregación del ID de pedido a Conteo definido.
4. Cambie el nombre del ID de pedido a algo como Pedidos por producto.
  - En lugar de [Order ID], use el campo de la otra tabla que tiene un valor único para cada fila.
  - Si no hay un identificador único, antes de crear el paso de agregación añada un paso para crear un campo calculado que concatene las dimensiones necesarias para obtener valores únicos en cada fila.
  - Por ejemplo, STR([Order ID])+STR([Date])
Arrastre la unión de columnas 2 a la agregación 1 y suelte la unión de columnas 2 en una nueva unión de columnas.
En el paso de unión de columnas 3, cree una unión de columnas LEFT en [Product] = [Product].
Añada un paso de la unión de columnas 3.
En el paso de limpieza 1, haga clic en el botón Crear campo calculado.
En el cuadro de diálogo Campo calculado que se abre, siga estos pasos y haga clic en Aceptar:
1. Asigne un nombre al campo calculado. En este ejemplo, el campo calculado se llamará "Nuevo inventario".
2. En el campo de fórmula, cree un cálculo similar al siguiente:
```
[Inventory]/[Orders per Product]
```

Opción 3: agregar datos para que las tablas tengan una relación de 1:1

Añada un paso de agregación de los pedidos de enero 4.
En el paso de agregación 2, haga lo siguiente:
1. Arrastre [Product] al panel Campos agrupados.
2. Arrastre [Sales], [Quantity], [Order ID] y [Customer] al panel Campos agregados.
3. Haga clic en CNT en el campo [Customer] y seleccione Conteo definido.
4. Haga clic en SUM en el campo [Order ID] y seleccione Conteo definido.
Arrastre la agregación 2 al inventario de enero 4 para crear una unión de columnas INNER en Product = Product.

NOTA: el campo [Product] se ha arrastrado al panel Campos agrupados porque es el único campo que se usa en la unión de columnas. La tabla final solo tendrá una fila por producto, lo cual implica que se perderán los detalles de cada pedido.

Opción 4: usar una expresión FIXED en Tableau Desktop

Para obtener instrucciones detalladas, consulte Eliminar datos duplicados con cálculos LOD.

La ventaja de usar una expresión FIXED en Tableau Desktop es que las expresiones de nivel de detalle (LOD) tienen reglas de agregación especiales. Por tanto, un campo de inventario en el que se han eliminado los duplicados mediante FIXED podría mostrar el inventario completo sin duplicados de un producto, ya haya uno o varios pedidos del producto en la vista.

HAGA CLIC PARA EXPANDIR LOS PASOS

Caso 2: datos duplicados después de unir las filas de fuentes de datos con los mismos datos

En el libro de trabajo de Tableau Prep "duplicates from union.tfl", "January Orders" es el primer informe de pedidos de enero. La tabla "January Orders (corrections)" es un informe publicado posteriormente con algunos nuevos pedidos y correcciones de pedidos ya existentes en "January Orders". Al unir las filas de ambas tablas, se conservan todas las filas de cada tabla, lo cual crea medidas duplicadas.

El primer flujo de "duplicates from union.tfl" muestra este problema.

Opción 1: conservar todos los datos de una tabla y los datos no coincidentes de otra tabla

En este ejemplo, queremos conservar todos los datos de "January Orders (corrections)" y únicamente los pedidos de "January Orders" que no existan en "January Orders (corrections)".

Cree una nueva unión de filas entre "January Orders" y "January Orders (corrections)".
En el paso de unión de columnas 1, haga lo siguiente:
1. En las cláusulas de unión de columnas aplicadas, cree una cláusula de unión de columnas en [Order ID] = [Order ID].
2. En el tipo de unión de columnas, haga clic en las secciones del diagrama de Venn para que únicamente esté rellenado el segmento situado más a la izquierda. Tableau Prep lo denomina una unión de columnas "Únicamente sin coincidencias a la izquierda".
Arrastre "January Orders (corrections)" a la unión de columnas 1 y suelte la tabla en Nueva unión de filas.

Opción 2: conservar los registros con la fecha más reciente

Por ejemplo, la Sra. Mouse cambió su pedido para añadir otro abrigo, pero el cambio se registró accidentalmente en "January Orders". El pedido correcto es el de la fecha más reciente.

Cree una unión de columnas FULL OUTER entre "January Orders" y "January Orders (corrections)" en [Order ID] = [Order ID].
Añada un paso de la unión de columnas 2.
Fusione todos los campos coincidentes, excepto los campos de fecha y los valores de medida:
1. Haga clic en el campo cuyos valores deben prevalecer sobre los del otro campo en el panel de perfil.
2. Haga Ctrl + clic en el campo coincidente.
3. Haga clic con el botón derecho en cualquiera de los dos campos y seleccione Fusionar campos.
  - Una vez fusionados los campos, Tableau Prep no conservará ambos valores (si había dos valores distintos), sino que conservará el valor del campo seleccionado en primer lugar, si lo hay.
  - Por ejemplo, la Sra. Horse tenía el nombre registrado accidentalmente como Sra. House en la tabla "January Orders" y el nombre correcto aparece en "January Orders (corrections). Al fusionar [Customer] y [Customer-1], habría que seleccionar [Customer-1] en primer lugar.
  - Puede comprobar el campo que prevalecerá sobre el otro por el nombre en el campo fusionado. El formato del nombre será [nombre del primer campo y nombre del segundo campo]. El nombre del campo que aparezca en primer lugar prevalecerá sobre el otro.
  - Si los campos se han fusionado en el orden incorrecto, la fusión puede deshacerse haciendo clic con el botón derecho en el icono de fusión sobre el nombre del campo fusionado en el panel de perfil y seleccionando Eliminar.
4. Haga clic en el botón Crear campo calculado.
5. En el cuadro de diálogo Campo calculado que se abre, siga estos pasos y haga clic en Aceptar:
  1. Asigne un nombre al campo calculado. En este ejemplo, el campo calculado se denomina "Fecha más reciente".
  2. En el campo de fórmula, cree un cálculo similar al siguiente:
```
IF [Date] > [Date-1]
THEN [Date]
ELSE IFNULL( [Date-1], [Date] )
END
```
  3. El cálculo anterior indicará [Date] si es una fecha posterior o [Date-1] si es más reciente. De lo contrario, el cálculo indicará [Date-1].
  4. Si alguno de los dos campos es NULL, la primera condición no se cumplirá nunca. La función IFNULL() sustituye [Date-1] por [Date] si [Date-1] es NULL. Esto significa que el cálculo siempre indicará un valor no nulo si lo hay.
  5. Elimine [Date] y [Date-1].
6. Cree un campo calculado con un nombre como "Nuevo coste" con un cálculo similar al siguiente:
```
IF [Date] > [Date-1]
THEN [Cost]
ELSE IFNULL( [Cost-1], [Cost] )
END
```
7. Elimine [Cost] y [Cost-1].
8. Repita los pasos 6-7 para cada medida.

Opción 3: cada duplicado debe tratarse de manera distinta

Cree una unión de columnas FULL OUTER entre "January Orders" y "January Orders (corrections)" en [Order ID] = [Order ID].
Añada un paso de la unión de columnas 3.
Fusione todos los campos si a) tienen el mismo valor en ambas tablas o b) los valores de una tabla siempre deben prevalecer sobre los demás.
Haga clic en el botón Crear campo calculado.
En el cuadro de diálogo Campo calculado que se abre, siga estos pasos y haga clic en Aceptar:
1. Asigne un nombre al campo calculado. En este ejemplo, el campo calculado se denomina "Nuevo coste".
2. En el campo de fórmula, cree un cálculo similar al siguiente:
```
CASE [Order ID-1 & Order ID]
WHEN 5 THEN [Date]
WHEN 9 THEN [Date]
ELSE IFNULL([Date-1],[Date])
END
```
- El cálculo anterior leerá cada valor de [Order ID-1 & Order ID] y devolverá el campo de fecha especificado. Para simplificar, solo se han especificado los identificadores que deben indicar [Date]; todo lo demás indicará [Date-1] o [Date] si [Date-1] es NULL debido a la instrucción ELSE.
- El valor de [Order ID-1 & Order ID] se usa en la instrucción CASE porque este campo tendrá un valor único para cada fila de datos.
- Esto también significa que cualquier nuevo identificador que se añada indicará [Date-1] cuando este flujo vuelva a ejecutarse en el futuro.
Elimine [Date] y [Date-1].
Repita los pasos 4-6 para todos los campos en los que los duplicados deban tratarse de forma individual.