OpenAI GPTBot의 공식 User-Agent, IP 범위, robots.txt 설정 방법을 OpenAI 공식 문서 기반으로 설명합니다.
GPTBot은 OpenAI가 운영하는 공식 웹 크롤러입니다. ChatGPT에서 우리 업체가 노출되려면 GPTBot이 우리 사이트를 크롤링할 수 있어야 합니다. OpenAI는 GPTBot에 대한 공식 문서를 공개하고 있습니다.
OpenAI 공식 문서(platform.openai.com/docs/plugins/bot)에 따르면 GPTBot의 공식 정보는 다음과 같습니다.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
OpenAI는 GPTBot을 "OpenAI의 AI 모델을 개선하는 데 사용되는 자동화 웹 크롤러"로 정의합니다. GPTBot이 수집한 콘텐츠는 향후 AI 모델 개선에 활용될 수 있습니다.
User-agent: GPTBot
Allow: /
User-agent: GPTBot
Disallow: /private/
Disallow: /members-only/
User-agent: GPTBot
Disallow: /
robots.txt 파일은 웹사이트 루트 디렉토리에 위치해야 합니다. 예: https://우리도메인.com/robots.txt
OpenAI는 GPTBot 외에 ChatGPT-User라는 별도의 user-agent도 운영합니다. 두 크롤러의 차이를 이해하고 둘 다 적절히 설정해야 합니다.
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
출처: OpenAI 공식 문서
GPTBot 허용은 OpenAI의 AI 모델 학습 데이터에 반영되는 경로입니다. 크롤링 후 실제 ChatGPT 답변에 반영되기까지는 모델 학습 및 업데이트 주기에 따라 달라집니다. OpenAI는 구체적인 반영 기간을 공개하지 않습니다.
더 빠른 ChatGPT 노출을 원한다면 ChatGPT Search 기능을 통한 경로(Bing 인덱싱 최적화)를 함께 진행하는 것이 효과적입니다. ChatGPT Search는 실시간 Bing 검색 결과를 기반으로 하므로 Bing 인덱싱이 완료된 콘텐츠가 더 빠르게 ChatGPT에 노출될 수 있습니다.
우리 사이트의 robots.txt 파일(https://우리도메인.com/robots.txt)을 직접 확인합니다. "User-agent: *" 뒤에 "Disallow: /"가 있거나, "User-agent: GPTBot" 뒤에 "Disallow: /"가 있으면 차단 상태입니다. 온종일AI의 AI 최적화 진단기에서도 GPTBot 차단 여부를 자동으로 진단합니다.
OpenAI는 GPTBot이 사용하는 IP 범위를 공식 JSON 파일로 제공합니다. (openai.com/gptbot-ranges.txt) 이 파일에서 GPTBot의 접근 IP를 확인할 수 있습니다. IP 기반 접근 제어를 설정하는 경우 이 파일을 참조합니다.
WordPress의 경우 Yoast SEO, Rank Math 등 SEO 플러그인의 robots.txt 편집 기능을 사용하거나, WordPress 루트 디렉토리의 robots.txt 파일을 직접 수정합니다. Wix, Squarespace 등 빌더는 관리자 패널의 SEO 설정에서 robots.txt를 편집합니다. 네이버 모두(Modoo), 카카오 채널처럼 robots.txt 편집이 불가한 플랫폼은 AI 크롤링 허용이 불가하므로 독립 도메인 웹사이트가 필요합니다.