오픈AI, 구글, 마이크로소프트, 앤트로픽이 AI 학습용 수집을 한 번에 거부하는 공통 표준을 채택하겠다고 밝혔습니다. 웹사이트 운영자는 robots.txt 파일에 공통 신호 하나만 넣으면 네 회사의 AI 크롤러에 학습 거부 의사를 동시에 전달할 수 있게 됩니다. 지금까지는 AI 회사마다 따로 설정해야 했던 번거로움을 줄이는 변화입니다.
| 항목 | 내용 |
|---|---|
| 무엇 | robots.txt에 넣는 공통 ‘정책 토큰(policy token)’ 신호 |
| 참여 기업 | 오픈AI, 구글, 마이크로소프트, 앤트로픽 (4곳) |
| 제안 주체 | 앤트로픽 표준 기술 리드 케빈 켈리, 국제인터넷표준화기구(IETF)에서 제안 |
| 적용 시점 | 앤트로픽 적용 완료, 구글, 마이크로소프트 내년 지원 예정, 오픈AI 향후 몇 달 안 |
| 마이크로소프트 추가 옵션 | AI 학습과 AI 그라운딩을 따로 거부 가능, 빙 검색 노출은 설정과 무관하게 유지 |
무슨 일이 일어났나
오픈AI, 구글, 마이크로소프트, 앤트로픽 네 회사가 웹 퍼블리셔용 AI 수집 거부 표준을 도입하겠다고 밝혔습니다. 이 소식은 검색 업계 전문 매체 서치엔진라운드테이블이 먼저 보도했습니다. 핵심은 ‘정책 토큰’이라는 공통 신호로, 웹사이트가 이 토큰을 robots.txt에 넣어 두면 네 회사의 AI 크롤러가 해당 사이트 접근을 제한하는 방식입니다.
정책 토큰은 앤트로픽에서 표준 업무를 맡고 있는 기술 리드 케빈 켈리가 국제인터넷표준화기구(IETF)를 통해 제안한 것입니다. robots.txt는 검색 색인, 아카이빙, AI 학습 등 목적을 가리지 않고 어떤 크롤러가 사이트를 수집해도 되는지를 알려 온 오래된 파일입니다. 새 신호는 robots.txt라는 기존 틀 안에 자리 잡게 됩니다.
마이크로소프트는 정책 토큰보다 한 단계 더 세분화된 설정도 제공할 계획입니다. 퍼블리셔는 AI 학습과 AI 그라운딩을 각각 거부할 수 있습니다. 그라운딩은 AI 모델이 검증된 정보원을 참조하게 해 환각을 줄이는 과정을 말합니다. 마이크로소프트는 어떤 설정을 택하든 빙 검색 결과 노출에는 영향이 없다고 밝혔습니다.
왜 중요한가
지금까지 웹사이트 운영자가 AI 학습을 거부하려면 AI 회사마다 따로 의사를 표시해야 했습니다. 크롤러 이름을 하나하나 확인하고 robots.txt에 각각 적어 넣는 방식이었습니다. 정책 토큰이 도입되면 신호 하나로 네 회사에 동시에 같은 선호를 전달할 수 있습니다.
참여 기업의 무게도 눈여겨볼 대목입니다. 오픈AI, 구글, 마이크로소프트, 앤트로픽은 챗GPT, 제미나이, 코파일럿, 클로드 같은 주요 AI 서비스를 운영하는 회사입니다. 네 회사가 정책 토큰을 발견하면 자사 AI 크롤러의 접근을 제한하겠다고 밝힌 만큼, 퍼블리셔 입장에서는 하나의 설정이 주요 AI 회사 여러 곳에 동시에 적용되는 셈입니다.
배경과 맥락
정책 토큰 발표는 퍼블리셔들이 AI 크롤러의 수집 공세에 시달리는 상황에서 나왔습니다. AI 크롤러는 웹사이트 콘텐츠를 긁어 AI 모델에 공급해 왔고, 퍼블리셔 쪽에서는 이를 통제할 방법을 찾아 왔습니다.
무단 수집에 대응하려는 시도는 이전에도 있었습니다. RSL(Really Simple Licensing) 표준은 사이트를 방문하는 크롤러에 퍼블리셔가 요금을 부과할 수 있게 했습니다. 클라우드플레어는 AI 크롤러를 기본값으로 차단하는 방식을 택했습니다. 정책 토큰은 AI 회사들이 직접 지원을 약속했다는 점에서 RSL이나 클라우드플레어의 방식과 성격이 다릅니다.
앞으로의 전망
정책 토큰의 적용 시점은 회사마다 다릅니다. 앤트로픽은 이미 정책 토큰을 적용했고, 구글과 마이크로소프트는 내년에 지원할 계획입니다. 오픈AI는 ‘향후 몇 달 안’에 구현하겠다고 밝혔습니다. 따라서 당장 정책 토큰만으로 네 회사 모두에 학습 거부가 적용되는 것은 아니며, 회사별 지원이 완료되기 전까지는 기존 개별 설정도 함께 점검할 필요가 있습니다.
블로그나 웹사이트를 운영하는 독자라면 다음을 확인해 볼 만합니다.
- 자기 사이트 robots.txt에 현재 어떤 AI 크롤러 설정이 들어 있는지
- 구글, 마이크로소프트, 오픈AI가 정책 토큰 지원을 실제로 시작하는 시점
- 마이크로소프트가 제공할 AI 학습, AI 그라운딩 분리 설정의 구체적인 방식
정책 토큰은 IETF에서 제안된 단계인 만큼, 표준 문서가 어떤 형태로 정리되는지도 지켜볼 지점입니다. 네 회사가 밝힌 일정대로 지원이 이뤄지는지가 정책 토큰의 실효성을 가늠하는 기준이 될 것으로 보입니다.
