下面是一个示例代码,演示了如何在PySpark中连接到Kusto数据源,而不使用AAD应用程序:
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder.appName("KustoConnectorExample").getOrCreate()
# 定义连接字符串
connectionString = "https://..kusto.windows.net;Initial Catalog=;"
# 定义查询语句
query = "StormEvents | take 10"
# 定义Kusto连接选项
kustoOptions = {
"kustoCluster": "..kusto.windows.net",
"kustoDatabase": "",
"kustoQuery": query,
"kustoAadAppClientId": "",
"kustoAadAppClientSecret": "",
"kustoAadAuthority": "",
"kustoAadTenantId": ""
}
# 从Kusto读取数据
df = spark.read.format("com.microsoft.kusto.spark.datasource") \
.options(**kustoOptions) \
.load()
# 显示数据
df.show()
# 关闭SparkSession
spark.stop()
请注意,上述示例中的kustoAadAppClientId
,kustoAadAppClientSecret
,kustoAadAuthority
和kustoAadTenantId
参数均为空。这意味着我们不使用AAD应用程序进行连接,并且将使用直接连接字符串进行身份验证。
您需要将
,
,
替换为相应的Kusto集群,区域和数据库名称。