要创建一个带有Razor页面、API控制器和IdentityServer4的ASP.NET Core 3.1项目，可以按照以下步骤进行操作：

第1步：创建ASP.NET Core 3.1项目 使用Visual Studio或任何其他支持ASP.NET Core的IDE创建一个新的ASP.NET Core 3.1项目。

第2步：添加Razor页面 在项目中添加一个Razor页面。可以通过右键单击项目文件夹，选择"添加" > "新建文件" > "Razor Page"来添加Razor页面。在Razor页面中可以编写HTML和C#代码。

以下是一个简单的Razor页面示例，该页面显示一个简单的欢迎消息：

@page
@model IndexModel

Welcome to my website!

@Model.Message

@code {
    public class IndexModel : PageModel
    {
        public string Message { get; set; }

        public void OnGet()
        {
            Message = "Hello, World!";
        }
    }
}

第3步：添加API控制器 在项目中添加一个API控制器。可以通过右键单击项目文件夹，选择"添加" > "新建文件" > "API控制器类"来添加API控制器。在API控制器中可以编写处理API请求的逻辑。

以下是一个简单的API控制器示例，该控制器返回一个包含欢迎消息的JSON响应：

[Route("api/[controller]")]
[ApiController]
public class WelcomeController : ControllerBase
{
    [HttpGet]
    public IActionResult Get()
    {
        var message = "Welcome to my API!";
        return Ok(new { Message = message });
    }
}

第4步：添加IdentityServer4 要添加IdentityServer4，可以使用NuGet包管理器来安装IdentityServer4和IdentityServer4.AspNetIdentity包。

打开NuGet包管理器控制台，并运行以下命令来安装IdentityServer4相关的包：

Install-Package IdentityServer4
Install-Package IdentityServer4.AspNetIdentity

然后，需要配置IdentityServer4服务。在Startup.cs文件的ConfigureServices方法中添加以下代码：

services.AddIdentityServer()
    .AddInMemoryClients(new List())
    .AddInMemoryIdentityResources(new List())
    .AddInMemoryApiResources(new List())
    .AddInMemoryApiScopes(new List())
    .AddAspNetIdentity();

这样就完成了IdentityServer4的配置。你可以根据自己的需求添加客户端、身份资源、API资源和API范围。

以上是一个基本的解决方法，可以创建一个带有Razor页面、API控制器和IdentityServer4的ASP.NET Core 3.1项目。根据需要，你可以进一步扩展和定制代码。