如果ASP.NET Core Identity 3.1的UserManager.RemoveFromRoleAsync方法总是返回UserNotInRole错误，可能是因为用户不在指定的角色中。以下是一种可能的解决方法：

1. 确保用户已经登录并且正确地加载到UserManager中。

var user = await _userManager.FindByNameAsync(username);
if (user == null)
{
    // 用户不存在
    // handle error
}

2. 确保角色存在且正确加载到RoleManager中。

var role = await _roleManager.FindByNameAsync(roleName);
if (role == null)
{
    // 角色不存在
    // handle error
}

3. 确保用户实际上在指定的角色中。

var isInRole = await _userManager.IsInRoleAsync(user, roleName);
if (!isInRole)
{
    // 用户不在角色中
    // handle error
}

4. 确保调用RemoveFromRoleAsync方法时传递了正确的用户和角色。

var result = await _userManager.RemoveFromRoleAsync(user, roleName);
if (!result.Succeeded)
{
    // 移除角色失败
    // handle error
}

通过以上步骤，您应该能够成功地从用户中移除指定的角色。