linux办公网
不合法的Parquet文件：AWSGlue目录表不支持Snappy文件。
创始人
2024-12-24 19:01:39
0次

在AWS Glue Catalog表中使用Snappy文件可能引发错误。解决此问题的一种方法是将文件压缩为Gzip格式。以下是示例代码：

import boto3
import botocore

s3 = boto3.resource('s3')

def convert_snappy_to_gzip(bucket_name, key):
    try:
        object = s3.Object(bucket_name, key)
        content = object.get()['Body'].read()
        new_key = key[:-7] + ".gzip"
        s3.Object(bucket_name, new_key).put(Body=content, ContentEncoding='gzip')
        object.delete()
    except botocore.exceptions.ClientError as e:
        print(e)

此代码将指定的Snappy文件转换为Gzip格式并将其存储在相同的S3 bucket中。后续的AWS Glue Catalog表中可以使用这个新的Gzip文件。

上一篇：不合法的模式配置：[OBject Object]不是数组中的有效类型。

下一篇：不合法状态异常：无法找到TLS ALPN提供程序；没有可用的netty-tcnative、Conscrypt或Jetty NPN/ALPN。

相关内容

热门资讯

AWSECS：访问外部网络时出... 如果您在AWS ECS中部署了应用程序，并且该应用程序需要访问外部网络，但是无法正常访问，可能是因为...
AWSElasticBeans... 在Dockerfile中手动配置nginx反向代理。例如，在Dockerfile中添加以下代码：FR...
AWR报告解读 WORKLOAD REPOSITORY PDB report (PDB snapshots) AW...
AWS管理控制台菜单和权限 要在AWS管理控制台中创建菜单和权限，您可以使用AWS Identity and Access Ma...
北信源内网安全管理卸载 北信源内网安全管理是一款网络安全管理软件，主要用于保护内网安全。在日常使用过程中，卸载该软件是一种常...
​ToDesk 远程工具安装及... 目录 前言 ToDesk 优势 ToDesk 下载安装 ToDesk 功能展示 文件传输 设备链接 ...
Azure构建流程（Power... 这可能是由于配置错误导致的问题。请检查构建流程任务中的“发布构建制品”步骤，确保正确配置了“Arti...
群晖外网访问终极解决方法：IP... 写在前面的话 受够了群晖的quickconnet的小水管了，急需一个新的解决方法&#x...
AWSECS：哪种网络模式具有... 使用AWS ECS中的awsvpc网络模式来获得最佳性能。awsvpc网络模式允许ECS任务直接在V...
不能访问光猫的的管理页面 光猫是现代家庭宽带网络的重要组成部分，它可以提供高速稳定的网络连接。但是，有时候我们会遇到不能访问光...