配置 Robots.txt

需要明确告诉搜索引擎：哪些页面可以抓取，哪些不应该被抓取, robots.txt 位于 /robots.txt。

Next.js 中的 robots.txt

在 App Router 中，可以通过 app/robots.ts 动态生成：

import type { MetadataRoute } from "next";

export default function robots(): MetadataRoute.Robots {
  return {
    rules: {
      userAgent: "*",
      allow: "/",
    },
    sitemap: "https://raytonx.com/sitemap.xml",
  };
}

生成后可访问：https://raytonx.com/robots.txt