要提供robots.txt文件，需要在ASP.NET Core应用程序中添加一个控制器来处理该请求。以下是一个示例代码：

首先，创建一个名为RobotsController的控制器类：

using Microsoft.AspNetCore.Mvc;

namespace YourNamespace.Controllers
{
    public class RobotsController : Controller
    {
        [HttpGet("/robots.txt")]
        [Produces("text/plain")]
        public IActionResult Robots()
        {
            return Content("User-agent: *\nDisallow: /");
        }
    }
}

在这个示例中，我们使用HttpGet属性将路由设置为/robots.txt，这意味着控制器将响应/robots.txt的GET请求。我们还使用Produces属性将返回的内容类型设置为text/plain。

在Robots方法中，我们返回了一个ContentResult对象，其中包含了我们想要提供的robots.txt文件的内容。在这个例子中，我们简单地返回了一个包含"User-agent: *\nDisallow: /"的字符串。

接下来，在Startup.cs文件中，将以下代码添加到Configure方法中：

app.UseMvc(routes =>
{
    routes.MapRoute(
        name: "robots",
        template: "robots.txt",
        defaults: new { controller = "Robots", action = "Robots" });
});

这将告诉应用程序将/robots.txt请求路由到RobotsController的Robots方法。

最后，在ConfigureServices方法中，确保添加以下代码：

services.AddMvc();

这将启用MVC功能，以便我们可以使用控制器和路由。

现在，当你访问/robots.txt时，应用程序将响应并提供该文件的内容。

请注意，这只是一个示例，你可以根据自己的需求修改Robots方法中的内容。