在AWS p2.xlarge实例上，要确保GPU加速对TensorFlow起作用，需要正确安装和配置CUDA和cuDNN。

以下是一些可能的解决方法：

1. 确保已正确安装CUDA和cuDNN。在p2.xlarge实例上，可以选择使用Amazon提供的深度学习AMI，该AMI已经预先安装了必要的CUDA和cuDNN版本。

2. 确保TensorFlow正确安装。可以通过以下命令安装TensorFlow：

pip install tensorflow-gpu

确保安装的是支持GPU加速的tensorflow-gpu版本。

3. 在代码中添加以下代码，以确保TensorFlow使用GPU：

import tensorflow as tf

# 指定使用GPU设备
physical_devices = tf.config.list_physical_devices('GPU')
tf.config.experimental.set_memory_growth(physical_devices[0], True)

这段代码将使TensorFlow动态分配GPU内存，并避免内存分配错误。

4. 确保在代码中使用GPU加速的操作。对于TensorFlow，可以使用tf.device()将操作指定到GPU上：

import tensorflow as tf

with tf.device('/GPU:0'):
    # 在这里执行GPU加速的操作

确保将需要GPU加速的操作包装在tf.device()的上下文管理器中。

5. 确保输入数据适合GPU加速。如果数据过大无法放入GPU内存，可能会导致GPU加速无效。可以尝试调整批处理大小或对数据进行分批处理，以确保适合GPU内存。

通过上述步骤，您可以确保在AWS p2.xlarge实例上正确配置和使用GPU加速的TensorFlow。