在 Tableau Prep 中移除重复数据

答案

对于任何情况，可以使用清理（修复）相同值的变体中的方法手动移除重复值

单击以展开步骤

情形 1：联接中的重复度量

在 Tableau Prep 工作簿“duplicates from join.tfl”中，“January Inventory”（一月库存）表会列出每个产品及其总库存一次。在“January Orders”（一月订单）表中，如果同一产品有多个订单，则一个产品可能会有多个行。联接“Sales”（销售额）和“Inventory”（库存）表后，度量“[Inventory]”（度量）出现了重复。第一个流程展现了问题。

选项 1：使用并集而不是联接

注意：“[Inventory]”（库存）的任何值将不会与“January Orders”（一月订单）中的任何数据直接相关。在没有聚合的情况下创建计算时，或者在显示的粒度级别比联接子句中的字段（本例中将为“[Product]”（产品））高的视图中，这可能会导致问题

选项 2：创建计算来平均分配度量值

我们可以使用聚合步骤来查找每个产品的订单数，然后将库存除以订单数。则最终结果将是，将为每个订单展现库存的一等份。例如，帽子有两个订单。每个帽子订单的“[Inventory]”（库存）将为 100。每个订单的“[New Inventory]”（新库存）将为 50。

请注意：假如产品的某些订单已被筛选掉，这可能会导致视图中的库存信息不准确。

依据“[Product] = [Product]”创建“January Inventory”（一月库存）和“January Orders”（一月订单）的内部联接
通过“联接 2”添加聚合
在“聚合 1”步骤中，执行以下操作：
1. 将“[Product]”（产品）拖到分组字段
2. 将“[Order ID]”（订单 ID）拖到聚合字段
3. 将“Order ID”（订单 ID）的聚合更改为“非重复计数”
4. 将“Order ID”（订单 ID）重命名为像“Orders per Product”（各产品订单）这样的名称
  - 使用每一行具有唯一值的另一个表中的字段，而不是“[Order ID]”（订单 ID）。
  - 如果没有唯一标识符，则在创建聚合步骤之前，添加一个步骤来创建一个计算字段，该计算字段会串连实现每行具有唯一值所需的维度。
  - 例如，STR([Order ID])+STR([Date])
将“联接 2”拖到“聚合 1”上，并将“联接 2”放在“新建联接”上
在“联接 3”步骤中，依据“[Product] = [Product]”创建一个左联接
从“联接 3”中添加一个步骤
在“清理 1”步骤中，单击“创建计算字段...”按钮
在打开的“计算字段”对话框中，执行以下操作，然后单击“确定”：
1. 命名此计算字段。在此示例中，计算字段名为“New Inventory”（新库存）
2. 在公式字段中，创建一个类似于如下的计算：
```
[Inventory]/[Orders per Product]
```

选项 3：对数据进行聚合，使表具有一对一关系

从“一月订单 4”中添加一个聚合步骤
在“聚合 2”步骤中，执行以下操作：
1. 将“[Product]”（产品）拖到“分组字段”窗格
2. 将“[Sales]”（销售额）、“[Quantity]”（数量）、“[Order ID]”（订单 ID）和“[Customer]”（客户）拖到“聚合字段”窗格
3. 在“[Customer]”（客户）字段上单击“CNT”以选择“非重复计数”
4. 在“[Order ID]”（订单 ID）字段上单击“SUM”以选择“非重复计数”
将“聚合 2”拖到“一月库存 4”上，依据“Product = Product”创建一个内部联接

注意：之所以将“[Product]”（产品）字段拖到“分组字段”窗格上，原因是该字段是用作联接依据的唯一字段。最终表中的每个产品将只有一行，这意味着每个订单上的详细信息将丢失。

选项 4:在 Tableau Desktop 中使用 FIXED 表达式

有关详细指引，请参见使用 LOD 计算删除重复数据。

在 Tableau Desktop 中使用 FIXED 表达式的优势是，该详细级别 (LOD) 表达式有特殊的聚合规则。因此，使用 FIXED 去除了重复数据的库存字段可显示产品的完整不重复库存，不管视图中的该产品是只有一个订单还是有多个订单。

单击以展开步骤

情形 2：合并具有相同数据的数据源后出现重复数据

在 Tableau Prep 工作簿“duplicates from union.tfl”中，“January Orders”（一月订单）是一月份订单的第一个报表。“January Orders (corrections)”（一月订单（修正））"表是稍后发布的报表，其中包含一些新订单，但也包含针对“January Orders”（一月订单）中已存在的订单的修正。合并这两个表之后，两个表中的所有行都会保留，从而会产生重复的度量。

“duplicates from union.tfl”中的第一个流程展现出了此问题。

选项 1：保留一个表中的所有数据和另一个表中的非匹配数据

对于此示例，我们需要“January Orders (corrections)”（一月订单（修正））中的所有数据，并且只需要“January Orders”（一月订单）中在“January Orders (corrections)”（一月订单（修正））中不存在的订单。

在“January Orders”（一月订单）和“January Orders (corrections)”（一月订单（修正））之间创建一个新联接
在“联接 1”步骤中，执行以下操作：
1. 对于“应用的联接子句”，依据“[Order ID] = [Order ID]”创建一个联接子句
2. 对于“联接类型”，单击维恩图的各个部分以便只填充最左边的一段。Tableau Prep 会将此称为“仅左侧不匹配”联接。
将“January Orders (corrections)”（一月订单（修正））拖到“联接 1”上，并将该表放在“新建并集”上

选项 2：保留具有最近日期的记录

例如，Mouse 女士更改了其订单来增加另一件外套，但此项更改意外地记录在了“January Orders”（一月订单）中。正确的订单是具有最近日期的订单。

依据“[Order ID] = [Order ID]”在“January Orders”（一月订单）和“January Orders (corrections)”（一月订单（修正））之间创建一个完全外部联接
从“联接 2”中添加一个步骤
合并除日期字段和度量值之外的所有匹配字段：
1. 单击其值应取代“配置”窗格中的另一个值的字段
2. 按住 Ctrl 单击匹配的字段
3. 右键单击任一字段，并选择“合并字段”
  - 合并字段之后，Tableau Prep 不会同时保留两个值（如果有两个不同的值），而是保留先选择的字段（如果有）中的值。
  - 例如，Horse 女士的姓名在“January Orders”（一月订单）表中被意外地记录为 House 女士，而其正确的姓名出现在“January Orders (corrections)”（一月订单（修正））中。在合并“[Customer]”（客户）和“[Customer-1]”（客户-1）时，我想要先选择“[Customer-1]”（客户-1）。
  - 您可以通过已合并字段的名称来验证哪个字段将替代另一个字段。名称的格式类似于“[第一个字段名称 & 第二个字段名称]”。先列出的字段名称将是会替代另一个字段的字段。
  - 如果字段的合并顺序不正确，可通过在“配置”窗格中右键单击已合并字段名称上方的合并图标并选择“移除”来撤消合并。
4. 单击“创建计算字段...”按钮
5. 在打开的“计算字段”对话框中，执行以下操作，然后单击“确定”：
  1. 命名此计算字段。在此示例中，计算字段名为“Most Recent Date”（最近日期）
  2. 在公式字段中，创建一个类似于如下的计算：
```
IF [Date] > [Date-1]
THEN [Date]
ELSE IFNULL( [Date-1], [Date] )
END
```
  3. 如果“[Date]”（日期）比“[Date-1]”（日期-1）“大”或者就日期而言比较近，则上面的计算将返回“[Date]”（日期）。否则计算将返回“[Date-1]”（日期-1）。
  4. 如果任一字段为 NULL，则第一个条件将始终为 false。如果“[Date-1]”（日期-1）为 NULL，IFNULL() 函数会将“[Date-1]”（日期-1）替换为“[Date]”（日期）。这意味着计算将始终返回非 NULL 值（如果有）。
  5. 移除“[Date]”（日期）和“[Date-1]”（日期-1）
6. 使用类似于如下的计算创建一个名称类似于“New Cost”（新成本）的计算字段：
```
IF [Date] > [Date-1]
THEN [Cost]
ELSE IFNULL( [Cost-1], [Cost] )
END
```
7. 移除“[Cost]”（成本）和“[Cost-1]”（成本-1）
8. 为每个度量重复步骤 6-7

选项 3：应以不同的方式处理每个重复项

依据“[Order ID] = [Order ID]”在“January Orders”（一月订单）和“January Orders (corrections)”（一月订单（修正））之间创建一个完全外部联接
从“联接 3”中添加一个步骤
合并满足以下任一条件的所有字段：a) 有两个表中具有相同值，或者 b) 一个表中的值应始终替代
单击“创建计算字段...”按钮
在打开的“计算字段”对话框中，执行以下操作，然后单击“确定”：
1. 命名此计算字段。在此示例中，计算字段名为“New Cost”（新成本）
2. 在公式字段中，创建一个类似于如下的计算：
```
CASE [Order ID-1 & Order ID]
WHEN 5 THEN [Date]
WHEN 9 THEN [Date]
ELSE IFNULL([Date-1],[Date])
END
```
- 上面的计算将浏览“[Order ID-1 & Order ID]”（订单 ID-1 & 订单 ID）的每个值，并返回指定的日期字段。为了简化操作，我只指定了哪些 ID 应返回“[Date]”（日期），而任何其他 ID 将返回“[Date-1]”（日期-1），或者因为有 ELSE 语句的原因，将在“[Date-1]”（日期-1）为 NULL 的情况下返回“[Date]”（日期）。
- 之所以在 CASE 语句中使用“[Order ID-1 & Order ID]”（订单 ID-1 & 订单 ID）值，原因是此字段的每行数据将具有唯一值。
- 这也意味着，将来重新运行此流程时，增加的任何新 ID 将返回“[Date-1]”（日期-1）。
移除“[Date]”（日期）和“[Date-1]”（日期-1）
为需要单独处理重复项的所有字段重复步骤 4-6