要解决这个问题，你可以重写返回按钮的行为。你可以在Activity的onBackPressed()方法中添加逻辑来控制返回按钮的行为。

首先，在你的Activity中找到onBackPressed()方法，然后使用FragmentManager来获取当前显示的Fragment。然后，你可以检查当前Fragment是否是你不想返回到的Fragment，如果是的话，你可以执行其他操作，比如关闭Activity或者跳转到其他Fragment。

下面是一个示例代码：

@Override
public void onBackPressed() {
    FragmentManager fragmentManager = getSupportFragmentManager();
    Fragment currentFragment = fragmentManager.findFragmentById(R.id.fragment_container);

    // 如果当前Fragment是你不想返回到的Fragment
    if (currentFragment instanceof YourFragment) {
        // 执行其他操作，比如关闭Activity或者跳转到其他Fragment
        // ...
    } else {
        super.onBackPressed();
    }
}

在这个示例中，假设你的Fragment的id是R.id.fragment_container，你可以根据你的具体情况进行调整。

请注意，这个示例仅适用于使用FragmentManager管理Fragment的情况。如果你使用的是其他方式来管理Fragment，你需要根据你的具体情况来修改代码。