要解决AWS CloudWatch每次ECS扩展时显示的低CPU利用率问题，有几个步骤和代码示例可以尝试：

1. 确保正确配置ECS任务定义中的CPU限制。可以将cpu字段设置为所需的CPU单位（例如，1024表示1 vCPU）。

"cpu": 1024

2. 确保ECS服务的自动扩展策略根据实际负载进行扩展。可以使用aws-cli命令更新服务的自动扩展策略：

aws ecs update-service --cluster  --service  --desired-count 

3. 监控ECS服务的CPU利用率，并将其发送到CloudWatch。可以使用AWS SDK（例如，Python的boto3）编写一个脚本来监控CPU利用率并将其发送到CloudWatch。

import boto3
import psutil

def get_cpu_usage():
    return psutil.cpu_percent()

def send_metric_to_cloudwatch(metric_name, value, namespace):
    cloudwatch = boto3.client('cloudwatch')
    cloudwatch.put_metric_data(
        MetricData=[
            {
                'MetricName': metric_name,
                'Dimensions': [
                    {
                        'Name': 'Instance',
                        'Value': 'Instance1'
                    },
                ],
                'Unit': 'Percent',
                'Value': value
            },
        ],
        Namespace=namespace
    )

if __name__ == "__main__":
    cpu_usage = get_cpu_usage()
    send_metric_to_cloudwatch('CPUUtilization', cpu_usage, 'CustomNamespace')

4. 创建一个CloudWatch警报，以便在低CPU利用率时触发通知。

aws cloudwatch put-metric-alarm \
  --alarm-name LowCpuAlarm \
  --alarm-description "Low CPU utilization" \
  --namespace AWS/ECS \
  --metric-name CPUUtilization \
  --statistic Average \
  --period 60 \
  --threshold 10 \
  --comparison-operator LessThanThreshold \
  --dimensions "Name=ServiceName,Value=,Name=ClusterName,Value=" \
  --evaluation-periods 1 \
  --alarm-actions 

以上是一些解决AWS CloudWatch每次ECS扩展时显示低CPU利用率的方法和代码示例。根据具体情况，您可能需要根据实际需求进行调整和修改。