在AWS Elastic Beanstalk（EB）中，您可以使用环境变量来定义RDS主机名。如果RDS_HOSTNAME未定义或为空，您可以按照以下步骤解决该问题：

1. 在EB环境的控制台中，导航到您的应用程序的“配置”部分。
2. 在“软件配置”下的“环境变量”部分，确保具有一个名为RDS_HOSTNAME的环境变量，并且该变量具有正确的RDS主机名值。如果没有该环境变量，请单击“添加环境变量”按钮进行添加。

下面是一个示例代码，通过Python的boto3库在EB环境中定义RDS_HOSTNAME环境变量：

import boto3

eb_client = boto3.client('elasticbeanstalk')

response = eb_client.update_environment(
    ApplicationName='your-application-name',
    EnvironmentName='your-environment-name',
    OptionSettings=[
        {
            'Namespace': 'aws:elasticbeanstalk:application:environment',
            'OptionName': 'RDS_HOSTNAME',
            'Value': 'your-rds-hostname'
        }
    ]
)

print(response)

在上面的示例中，您需要将'your-application-name'替换为您的应用程序名称，'your-environment-name'替换为您的EB环境名称，并将'your-rds-hostname'替换为正确的RDS主机名。

通过执行上述代码，您可以使用boto3库向EB环境添加名为RDS_HOSTNAME的环境变量，并将其值设置为正确的RDS主机名。这将确保在EB环境中定义了RDS_HOSTNAME环境变量，从而解决了“AWS EB的RDS_HOSTNAME未定义，数据库主机数组为空”的问题。