AWS Sagemaker终端节点不支持并发调用。当你在调用Sagemaker终端节点时,每个请求将被顺序处理,并且必须等待前一个请求完成才能处理下一个请求。
以下是一个使用Python的示例代码,演示如何按顺序发送多个请求到Sagemaker终端节点:
import boto3
# 创建Sagemaker客户端
client = boto3.client('sagemaker-runtime')
# 发送多个请求
def send_request(payloads):
for payload in payloads:
response = client.invoke_endpoint(
EndpointName='your-endpoint-name',
ContentType='application/json',
Body=payload
)
# 处理响应
# ...
# 定义要发送的请求负载
payloads = [
'{"input": "request 1"}',
'{"input": "request 2"}',
'{"input": "request 3"}'
]
# 发送请求
send_request(payloads)
在上面的代码中,send_request
函数按顺序发送每个请求负载。每个请求都将等待前一个请求完成后才会发送。你可以根据需要修改负载的格式和内容。
请注意,Sagemaker终端节点会根据其实例类型和配置的规模进行自动扩展,以处理更多的请求。因此,尽管不能并发发送请求,但Sagemaker终端节点可以处理大量的连续请求。