安装必要的Python库和软件:需要安装pyodbc,pandas和pyarrow库。此外,还需要安装ODBC驱动程序才能连接到SQL Server。
连接到SQL Server数据库:使用pyodbc库连接到SQL Server数据库。以下是一个连接到数据库的例子:
import pyodbc
server = 'server_name'
database = 'database_name'
username = 'username'
password = 'password'
driver = '{ODBC Driver 17 for SQL Server}'
cnxn = pyodbc.connect('DRIVER=' + driver + ';SERVER=' + server + ';DATABASE=' + database + ';UID=' + username + ';PWD=' + password)
import pandas as pd
query = "SELECT * FROM table_name"
df = pd.read_sql(query, cnxn)
import pyarrow.parquet as pq
table = pa.Table.from_pandas(df)
pq.write_table(table, 'filename.parquet')
通过使用以上步骤,可以将大量数据从SQL Server传输到Parquet文件中。