要在AlertDialog中自定义RadioButton的样式，可以按照以下步骤进行操作：

1. 创建一个自定义的布局文件（例如custom_radio_button.xml），用于定义RadioButton的样式。在该文件中，可以根据需要自定义RadioButton的样式，例如修改背景、选中状态等。以下是一个示例的custom_radio_button.xml文件：

2. 在代码中创建一个AlertDialog，并将自定义的布局文件设置为其View。以下是一个示例的代码：

AlertDialog.Builder builder = new AlertDialog.Builder(this);

// 设置自定义布局文件
View customLayout = getLayoutInflater().inflate(R.layout.custom_radio_button, null);
builder.setView(customLayout);

// 设置PositiveButton和NegativeButton等其他设置

// 创建对话框并显示
AlertDialog dialog = builder.create();
dialog.show();

3. 在自定义布局文件中的RadioButton中，我们使用了一个custom_radio_button_selector作为drawableLeft属性的值。所以还需要创建一个custom_radio_button_selector.xml文件来定义RadioButton的选中状态样式。以下是一个示例的custom_radio_button_selector.xml文件：

这里，我们使用了两个不同的drawable资源作为选中和未选中状态的样式。可以根据需要自定义这两个资源文件（例如radio_button_checked.xml和radio_button_unchecked.xml），并在custom_radio_button_selector.xml中引用它们。

4. 最后，在custom_radio_button.xml中的RadioButton中，我们使用了android:button="@null"将原始的RadioButton样式取消，然后使用了android:drawableLeft="@drawable/custom_radio_button_selector"来设置自定义的RadioButton样式。

通过以上步骤，就可以在AlertDialog中实现自定义RadioButton的样式了。