2023-08-12 ChatGPT官方发布了他们的爬虫 https://platform.openai.com/docs/gptbot 如果不想自己的网站的原创内容变成AI的养料，就可以添加到robots.txt，防止内容被爬 User-agent: GPTBot Disallow: / User-agent: CCBot Disallow: /

ChatGPT官方发布了他们的爬虫 https://platform.openai.com/docs/gptbot 如果不想自己的网站的原创内容变成AI的养料，就可以添加到robots.txt，防止内容被爬 User-agent: GPTBot Disallow: / User-agent: CCBot Disallow: /