Remoção de dados duplicados no Tableau Prep

Resposta

Em qualquer cenário, as duplicatas podem ser removidas manualmente usando o método em Limpar (corrigir) variações do mesmo valor

CLIQUE PARA EXPANDIR AS ETAPAS

Cenário 1: medidas duplicadas de uma união de colunas

Na pasta de trabalho workbook "duplicates from join.tfl" do Tableau Prep, a tabela "Inventário de janeiro" lista cada produto uma vez com o inventário total. A tabela "Pedidos de janeiro" poderá ter muitas linhas para um produto se vários pedidos forem para o mesmo produto.Depois de unir a tabela "Vendas" e "Inventário", a medida [Inventory (Inventário)] foi duplicada.O primeiro fluxo demonstra o problema.

Opção 1: usar uma união de linhas em vez de união de colunas

Observação: nenhum dos valores de [Inventory (Inventário)] será relacionado diretamente com qualquer um dos dados de "Pedidos de janeiro".Isso pode causar problemas ao criar cálculos sem agregações ou em exibições que mostram um nível mais alto de granularidade do que o(s) campo(s) da cláusula de união de colunas, que seria [Product (Produto)] neste exemplo.

Opção 2: criar um cálculo para distribuir igualmente os valores de medida

Podemos usar uma etapa de agregar para encontrar o número de pedidos por produto e dividir o estoque pelo número de pedidos. Então, o resultado final será que uma parte igual do inventário será representada por cada uma. Por exemplo, há 2 pedidos para chapéu. [Inventory (Inventário)] será 100 para cada pedido de chapéu. [New Inventory (Novo inventário)] será 50 para cada pedido.

Observação: isso poderá gerar informações de inventário imprecisas em uma exibição, se apenas alguns pedidos de um produto forem filtrados.

Crie uma união de colunas INNER "Inventário de janeiro" e "Pedidos de janeiro" em [Product (Produto)] = [Product (Produto)]
Adicione Agregar de união de colunas 2
Na etapa Agregar 1, faça o seguinte:
1. Arraste ambos [Product (Produto)] até Campos agrupados
2. Arraste [Order ID (ID do pedido)] até Campos agregados
3. Altere a agregação de ID do pedido para Contagem distinta
4. Renomeie a ID do pedido para algo como Pedidos por produto
  - Em vez de [Order ID (ID do pedido)], use o campo de outra tabela que tenha um valor exclusivo para cada linha.
  - Se não houver um identificador exclusivo, antes de criar a etapa de agregar, adicione uma etapa para criar um campo calculado que concatene as dimensões necessárias para se obter um valor exclusivo para cada linha.
  - Por exemplo, STR([Order ID])+STR([Date])
Arraste a União de colunas 2 até Agregar 1 e solte a União de colunas 2 em Nova união de colunas
Na etapa de União de colunas 3, crie uma união de colunas LEFT em [Product (Produto)] = [Product (Produto)]
Adicione uma Etapa de União de colunas 3
Na etapa Limpar 1, clique no botão Criar campo calculado…
Na caixa de diálogo Campo calculado que é aberta, faça o seguinte e clique em OK:
1. Nomeie o campo calculado. Neste exemplo, o campo calculado é denominado "Novo inventário"
2. No campo de fórmula, crie um cálculo similar ao seguinte:
```
[Inventory]/[Orders per Product]
```

Opção 3: agregar dados de modo que as tabelas tenham um relacionamento 1:1

Adicione uma etapa Agregar em Pedidos de janeiro 4
Na etapa Agregar 2, faça o seguinte:
1. Arraste [Product (Produto)] até o painel Campos agrupados
2. Arraste [Sales (Vendas)], [Quantity (Quantidade)], [Order ID (ID do pedido)] e [Customer (Cliente)] até o painel Campos agregados
3. Clique em CNT no campo [Customer (Cliente)] e selecione Contagem distinta
4. Clique em SUM no campo [Order ID (ID do pedido)] e selecione Contagem distinta
Arraste Agregar 2 até Inventário de janeiro 4 para criar uma união de colunas INNER em Product = Product

OBSERVAÇÃO: o campo [Product (Produto)] foi arrastado até o painel Campos agrupados porque esse é o único campo usado para a união de colunas. A tabela final somente terá uma linha por produto, significando que os detalhes em cada pedido serão perdidos.

Opção 4: usar uma expressão FIXED no Tableau Desktop

Para obter instruções detalhadas, consulte Remoção de dados duplicados com cálculos de LOD.

A vantagem de usar uma expressão FIXED no Tableau Desktop é que as expressões de nível de detalhe (LOD) têm regras de agregação especiais. Portanto, um campo de inventário deduplicado usando FIXED poderia mostrar o inventário completo e não duplicado para um produto, se houvesse apenas um ou vários pedidos desse produto.

CLIQUE PARA EXPANDIR AS ETAPAS

Cenário 2: dados duplicados após uma união linhas de fontes de dados com os mesmos dados

Na pasta de trabalho Tableau Prep "duplicates from union.tfl", "Pedidos de janeiro" é o primeiro relatório de pedidos em janeiro. A tabela "Pedidos de janeiro (correções)" é um relatório liberado posteriormente com alguns novos pedidos, mas também com correções em pedidos que já existem em "Pedidos de janeiro".Quando as linhas das duas tabelas são unidas, todas as linhas de ambas as tabelas são mantidas, o que cria medidas duplicadas.

O primeiro fluxo em "duplicates from union.tfl" demonstra esse problema.

Opção 1: manter todos os dados de uma tabela e dados não correspondentes da outra tabela

Para este exemplo, queremos todos os dados de "Pedidos de janeiro (correções)" e somente os pedidos de "Pedidos de janeiro" que não existem em "Pedidos de janeiro (correções)".

Crie uma nova união de colunas entre "Pedidos de janeiro" e "Pedidos de janeiro (correções)"
Na etapa União de colunas 1, faça o seguinte:
1. Para Cláusulas de união de colunas aplicadas, crie uma cláusula de união de colunas em [Order ID (ID do pedido)] = [Order ID (ID do pedido)]
2. Para o Tipo de união de colunas, clique nas seções do diagrama de Venn, para que somente o segmento mais à esquerda seja preenchido. O Tableau Prep chamará isso de uma união de colunas "Mantida não correspondida somente".
Arraste "Pedidos de janeiro (correções)" até União de colunas 1 e arraste a tabela em Nova união de linhas

Opção 2: manter os registros com a data mais recente

Por exemplo, a Sra. Mouse alterou o pedido para adicionar outro casaco, mas essa alteração foi acidentalmente registrada em "Pedidos de janeiro". O pedido correto é o com a data mais recente.

Crie uma união FULL OUTER entre "Pedidos de janeiro" e "Pedidos de janeiro (correções)" em [Order ID (ID do pedido)] = [Order ID (ID do pedido)]
Adicione uma Etapa de União de colunas 2
Mescle todos os campos correspondentes, exceto os campos de data e os valores de medida:
1. Clique no campo cujos valores devem substituir os outros no painel de perfil
2. Clique no campo correspondente com a tecla Ctrl pressionada
3. Clique com o botão direito do mouse nos dois campos e selecione Mesclar campos
  - Quando os campos são mesclados, o Tableau Prep não mantém ambos valores (se houver dois valores diferentes), ao invés disso, ele mantém o valor do campo selecionado primeiro, se houver.
  - Por exemplo, o nome Sra. Horse foi acidentalmente registrado como Sra. House na tabela "Pedidos de janeiro" e o nome dela está correto em "Pedidos de janeiro (correções). Ao mesclar [Customer (Cliente)] e [Customer-1 (Cliente-1)], quero selecionar [Customer-1 (Cliente-1)] primeiro.
  - Você pode verificar qual campo substituirá o outro, através do nome do campo mesclado. O nome será formatado como [nome do primeiro campo e nome do segundo campo]. O nome de campo listado primeiro será o campo que substituirá o outro.
  - Se os campos foram mesclados na ordem errada, a mesclagem pode ser desfeita clicando com o botão direito do mouse no ícone de mesclagem, acima do nome do campo mesclado no painel de perfil, e selecionando Remover.
4. Clique no botão Criar campo calculado…
5. Na caixa de diálogo Campo calculado que é aberta, faça o seguinte e clique em OK:
  1. Nomeie o campo calculado. Neste exemplo, o campo calculado é chamado de "Data mais recente".
  2. No campo de fórmula, crie um cálculo similar ao seguinte:
```
IF [Date] > [Date-1]
THEN [Date]
ELSE IFNULL( [Date-1], [Date] )
END
```
  3. O cálculo acima retornará [Date (Data)] se ele for "maior", ou no caso de datas mais recentes, que [Date-1 (Data-1)]. Caso contrário, o cálculo retornará [Date-1 (Data-1)].
  4. Se ambos os campos forem NULL, então, a primeira condição será sempre falsa. A função IFNULL() substitui [Date-1 (Data-1)] por [Date (Data)], quando [Date-1 (Data-1)] é NULL. Isso significa que o cálculo sempre retornará um valor não NULL, se houver.
  5. Remova [Date (Data)] e [Date-1 (Data-1)]
6. Crie um campo calculado com o nome "Novo custo" usando um cálculo semelhante ao seguinte:
```
IF [Date] > [Date-1]
THEN [Cost]
ELSE IFNULL( [Cost-1], [Cost] )
END
```
7. Remova [Cost (Custo)] e [Cost-1 (Custo-1)]
8. Repita as etapas de 6 a 7 para cada medida

Opção 3: cada duplicata deve ser tratada de forma diferente

Crie uma união FULL OUTER entre "Pedidos de janeiro" e "Pedidos de janeiro (correções)" em [Order ID (ID do pedido)] = [Order ID (ID do pedido)]
Adicione uma Etapa de União de colunas 3
Mescle todos os campos que a) têm os mesmos valores nas duas tabelas, ou b) os valores de uma tabela devem sempre prevalecer
Clique no botão Criar campo calculado…
Na caixa de diálogo Campo calculado que é aberta, faça o seguinte e clique em OK:
1. Nomeie o campo calculado. Neste exemplo, o campo calculado é denominado "Novo cuso"
2. No campo de fórmula, crie um cálculo similar ao seguinte:
```
CASE [Order ID-1 & Order ID]
WHEN 5 THEN [Date]
WHEN 9 THEN [Date]
ELSE IFNULL([Date-1],[Date])
END
```
- O cálculo acima lerá cada valor de [Order ID-1 & Order ID (ID do pedido-1 e (ID do pedido)] e retornará o campo de data especificado. Para simplificar, apenas especifiquei quais IDs devem retornar [Date (Data)] e, então, o restante retornará [Date-1 (Data-1)] ou [Date (Data)], se [Date-1 (Data-1)] for NULL, devido à expressão ELSE.
- O valor de [Order ID-1 & Order ID (ID do pedido-1 e (ID do pedido)] é usado na expressão CASE porque esse campo terá um valor exclusivo para cada linha de dados.
- Isso também significa que qualquer IDs nova adicionada retornará [Date-1 (Data-1)] quando esse fluxo for executado novamente no futuro.
Remova [Date (Data)] e [Date-1 (Data-1)]
Repita as etapas de 4 a 6 para todos os campos em que as duplicatas precisam ser tratadas individualmente