OpenAI GPTBot의 공식 User-Agent, IP 범위, robots.txt 설정 방법을 OpenAI 공식 문서 기반으로 설명합니다.
GPTBot은 OpenAI가 운영하는 공식 웹 크롤러입니다. ChatGPT에서 우리 업체가 노출되려면 GPTBot이 우리 사이트를 크롤링할 수 있어야 합니다. OpenAI는 GPTBot에 대한 공식 문서를 공개하고 있습니다.
OpenAI 공식 문서(platform.openai.com/docs/plugins/bot)에 따르면 GPTBot의 공식 정보는 다음과 같습니다.
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
OpenAI는 GPTBot을 "OpenAI의 AI 모델을 개선하는 데 사용되는 자동화 웹 크롤러"로 정의합니다. GPTBot이 수집한 콘텐츠는 향후 AI 모델 개선에 활용될 수 있습니다.
User-agent: GPTBot
Allow: /
User-agent: GPTBot
Disallow: /private/
Disallow: /members-only/
User-agent: GPTBot
Disallow: /
robots.txt 파일은 웹사이트 루트 디렉토리에 위치해야 합니다. 예: https://우리도메인.com/robots.txt
OpenAI는 GPTBot 외에 ChatGPT-User라는 별도의 user-agent도 운영합니다. 두 크롤러의 차이를 이해하고 둘 다 적절히 설정해야 합니다.
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
출처: OpenAI 공식 문서
GPTBot 허용과 ChatGPT '검색' 노출은 서로 다른 경로입니다. GPTBot은 OpenAI의 AI 모델 학습 데이터 수집용 크롤러로, 허용하더라도 실제 ChatGPT 답변에 반영되는 시점·여부는 모델 학습 주기에 달려 있고 OpenAI는 구체적 기간을 공개하지 않습니다.
반면 ChatGPT의 실시간 검색(ChatGPT Search) 노출은 별도 크롤러인 OAI-SearchBot(검색 인덱싱용)과 ChatGPT-User(사용자 요청 시 실시간 페치)가 담당합니다. 따라서 ChatGPT 검색에 인용되려면 robots.txt에서 GPTBot뿐 아니라 OAI-SearchBot·ChatGPT-User까지 허용하고, 콘텐츠가 크롤링 가능한 구조여야 합니다. (ChatGPT Search는 OpenAI 자체 인덱스와 Bing 등 검색 파트너 결과를 함께 활용합니다.)
참고: OpenAI Bots 공식 문서 (GPTBot·OAI-SearchBot·ChatGPT-User 구분)
우리 사이트의 robots.txt 파일(https://우리도메인.com/robots.txt)을 직접 확인합니다. "User-agent: *" 뒤에 "Disallow: /"가 있거나, "User-agent: GPTBot" 뒤에 "Disallow: /"가 있으면 차단 상태입니다. 온종일AI의 AI 최적화 진단기에서도 GPTBot 차단 여부를 자동으로 진단합니다.
OpenAI는 GPTBot이 사용하는 IP 범위를 공식 JSON 파일로 제공합니다. (openai.com/gptbot-ranges.txt) 이 파일에서 GPTBot의 접근 IP를 확인할 수 있습니다. IP 기반 접근 제어를 설정하는 경우 이 파일을 참조합니다.
WordPress의 경우 Yoast SEO, Rank Math 등 SEO 플러그인의 robots.txt 편집 기능을 사용하거나, WordPress 루트 디렉토리의 robots.txt 파일을 직접 수정합니다. Wix, Squarespace 등 빌더는 관리자 패널의 SEO 설정에서 robots.txt를 편집합니다. 네이버 모두(Modoo), 카카오 채널처럼 robots.txt 편집이 불가한 플랫폼은 AI 크롤링 허용이 불가하므로 독립 도메인 웹사이트가 필요합니다.