사이트가 아무리 잘 만들어져 있어도, AI가 접근 자체를 못 하면
추천은 절대 받을 수 없습니다.
ChatGPT·Perplexity·Gemini·Claude가 인터넷의 웹사이트를 읽고 학습하는 과정을 크롤링이라고 합니다. 각 AI 플랫폼은 자체 크롤러 봇을 보내 사이트 내용을 수집하고, 그 데이터를 기반으로 고객 질문에 답합니다. 내 사이트가 크롤링되지 않으면 AI는 내 업체를 아예 모르는 상태가 됩니다.
ChatGPT에 "강남 ○○ 추천해줘"라고 물어도 내 업체는 후보에조차 오르지 않습니다.
경쟁 업체는 AI 추천을 받는 동안, 내 업체는 AI 세계에서 존재하지 않는 상태로 남습니다.
아무리 좋은 콘텐츠, 좋은 후기, 좋은 서비스가 있어도 AI는 알 방법이 없습니다.
AI 봇 허용 설정은 웹사이트 서버에 존재하는 robots.txt라는 파일을 통해 이루어집니다. 문제는 이 파일이 단순해 보여도, 잘못 작성하면 AI 봇만 차단되는 게 아니라 구글 봇까지 차단되어 검색 노출이 전부 사라지는 사태가 발생할 수 있습니다.
GPTBot, PerplexityBot, ClaudeBot, Googlebot, Bingbot, Applebot 등 각 AI·검색 플랫폼마다 봇 이름이 다릅니다. 하나라도 빠지면 해당 플랫폼에는 크롤링이 안 됩니다.
robots.txt는 띄어쓰기, 대소문자 하나만 틀려도 의도와 다르게 동작합니다. 실제로 설정했지만 적용이 안 된 채로 수개월을 보내는 사례가 많습니다.
카페24, 아임웹, 워드프레스, 직접 서버 등 사용하는 호스팅에 따라 파일을 수정하는 방법이 전부 다릅니다. 잘못 건드리면 사이트 전체가 다운될 수도 있습니다.
온종일AI는 계약 후 초기 세팅 단계에서 6개 AI 봇 + 구글·네이버 봇 허용 설정을 정확하게 적용합니다. 적용 후 실제로 크롤링이 이루어지는지 진단기로 재검증하고, 통과 여부를 리포트로 전달합니다. 잘못 설정해 기존 SEO가 망가지는 일도 없습니다.