使用Bigquery SQL语句过滤掉重复数据

在Bigquery中，可以使用DISTINCT关键字和GROUP BY子句来过滤重复数据。对于分区表，可以使用WITHIN子句指定要过滤的分区。

以下是一个示例查询，将过滤掉分区表mydataset.mytable中的重复数据：

SELECT DISTINCT *
FROM mydataset.mytable
WHERE _PARTITIONTIME >= TIMESTAMP('2021-01-01')
  AND _PARTITIONTIME < TIMESTAMP('2021-02-01')
GROUP BY column1, column2

这个查询将返回在2021年1月份分区中，column1和column2都相同的唯一行。

注意，使用DISTINCT关键字和GROUP BY子句可能会对查询的性能产生影响。如果数据量很大，建议使用其他方法来过滤重复数据，例如使用窗口函数或使用聚合函数。

另外，可以使用INSERT、INSERT IGNORE或MERGE语句将新数据插入到分区表中，并排除重复数据。例如：

INSERT mydataset.mytable (column1, column2)
SELECT column1, column2
FROM source_table
WHERE NOT EXISTS (
  SELECT 1
  FROM mydataset.mytable
  WHERE _PARTITIONTIME >= TIMESTAMP('2021-01-01')
    AND _PARTITIONTIME < TIMESTAMP('2021-02-01')
    AND mydataset.mytable.column1 = source_table.column1
    AND mydataset.mytable.column2 = source_table.column2
)

此查询将从源表中选择唯一的(column1, column2)组合，并将其插入到分区表中（如果分区表中不存在相同的组合）。注意，在这种情况下，你需要使用NOT EXISTS子句来检查分区表中是否已经存在相同的数据。