Apache Spark 使用 .crc 文件（循环冗余校验）来验证数据文件的完整性，以保证准确性和一致性。当 Spark 读取 Hadoop 分布式文件系统（HDFS）文件时，它会自动检测 .crc 文件，以确保数据文件没有被损坏或篡改。

以下是使用 Spark 读取 Hadoop 文件系统中的 Parquet 文件并验证 .crc 文件的示例代码：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("read_parquet_file").getOrCreate()

df = spark.read.parquet("/path/to/parquet/file")

在这个例子中，Spark 会自动检测 Parquet 文件和它的 .crc 文件，以确保文件的数据完整性。

如果你需要手动验证 .crc 文件，你可以使用以下代码：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("validate_crc_file").getOrCreate()

data_file_path = "/path/to/data/file"
crc_file_path = f"{data_file_path}.crc"

# Read the data file and compute CRC32 checksum
data = spark.sparkContext.binaryFiles(data_file_path).map(lambda x: x[1]).collect()[0]
crc = zlib.crc32(data) & 0xffffffff

# Read the CRC file and parse the hexadecimal CRC32 checksum
with open(crc_file_path, "r") as f:
    crc_hex_str = f.readline().strip()
    crc_file = int(crc_hex_str, 16)

# Verify the computed and parsed CRC32 checksums match
assert crc == crc_file, "CRC32 checksums do not match"

这个示例代码读取数据文件中的二进制数据，并计算 CRC32 校验和。然后，它读取 .crc 文件并解释其十六进制 CRC32 校验和。最后，代码验证计算出的和解释出的 CRC32 校验和是否匹配。如果校验和匹配，则数据文件是完整和准确的。