AWSGlue无法连接到Snowflake。
创始人
2024-09-25 17:02:53
0

以下是一组步骤,可用于解决 AWS Glue 与 Snowflake 连接问题:

  1. 确保 AWS Glue IAM 角色有 Snowflake 权限。

在 IAM 控制台上,确保已在 AWS Glue 根据实际情况创建了一个 IAM 角色。至少应该有 AWSServiceRoleForAWSGlueService 和 Snowflake 粘合剂 Snowflake Connector 权限。您可以使用以下代码示例创建 IAM 角色。

aws iam create-role --role-name my-glue-snowflake-role --assume-role-policy-document file://trustpolicyforec2.json
aws iam attach-role-policy --policy-arn arn:aws:iam::aws:policy/service-role/AWSServiceRoleForAWSGlueService --role-name my-glue-snowflake-role
aws iam attach-role-policy --policy-arn arn:aws:iam::aws:policy/AmazonS3FullAccess --role-name my-glue-snowflake-role
aws iam attach-role-policy --policy-arn arn:aws:iam::aws:policy/AWSGlueConsoleFullAccess --role-name my-glue-snowflake-role
aws iam attach-role-policy --policy-arn arn:aws:iam::aws:policy/PowerUserAccess --role-name my-glue-snowflake-role

您还需要在 Snowflake 中创建具有必要权限的 Snowflake 用户。有关如何创建 Snowflake 用户的信息,请参见 Snowflake 文档。

  1. 创建 Glue Job 并启用 VPC。

创建 AWS Glue 作业时切换到启用 VPC。确保 VPC 中的所有 SG 都包含 Snowflake 部分的入站/出站规则。

  1. 使用 Glue DynamicFrameConnectors 手动连接到 Snowflake。

请使用以下代码示例手动连接到 Snowflake。

import boto3

from awsglue.dynamicframe import DynamicFrame
from awsglue.context import GlueContext
from pyspark.context import SparkContext
from pyspark.sql.functions import col
from awsglue.job import Job
from awsglue.transforms import *

sc = SparkContext()
glueContext = GlueContext(sc)
job = Job(glueContext)

snowflakeSource = glueContext.create_dynamic_frame.from_options(
    'snowflake',
    connection_options={
        'url': 'jdbc:snowflake://..snowflakecomputing.com/',
        'user': '',
        'password': '',
        'dbtable': '.

相关内容

热门资讯

前端-session、jwt 目录:   (1)session (2&#x...
linux入门---制作进度条 了解缓冲区 我们首先来看看下面的操作: 我们首先创建了一个文件并在这个文件里面添加了...
关于测试,我发现了哪些新大陆 关于测试 平常也只是听说过一些关于测试的术语,但并没有使用过测试工具。偶然看到编程老师...
前缀和与对数器与二分法 1. 前缀和 假设有一个数组,我们想大量频繁的去访问L到R这个区间的和,...
nodejs:本地安装nvm实... 一、背景-使用不同版本node的原因 vue3+ts、nuxt3版本,node...
JAVA集合知识整理 Java集合知识整理 HashMap相关 HashMap的底层数据结构:jdk1.8之...
无刷直流电机介绍及单片机控制实... 无刷直流电机介绍及单片机控制实例前言基本概念优势与劣势使用寿命基本结构使用单片机控制实例电子调速器&...
fwdiary(2) dp2 1.传纸条  AcWing 275. 传纸条 - AcWing 走两条路,走一条最大的...
常用的DOS命令 常用的DOS命令 DOS(Disk Operating System,磁...
<C++> 类和对象(下) 1.const成员函数将const修饰的“成员函数”称之为const成员函数,cons...