目前網站出版商若要防止內容遭爬取，必須針對各大網路爬蟲個別設定封鎖指令。新提出的解決方案將讓出版商僅需輸入單一標準化指令，凡是採用該協議的AI公司都將予以認可並遵守，以簡化管理流程。
不過這項機制全面生效仍需數月時間。ChatGPT開發商OpenAI表示將在未來幾個月內推出，Anthropic則稱已經開始推行；微軟（Microsoft）預計於2027年2月1日實施，Google也規劃在2027年落實。微軟在官方部落格指出，新設定僅適用於未來的模型訓練，且預設仍允許爬取，出版商必須主動更改設定。
近年來許多出版商面臨大量爬蟲抓取文章訓練AI的困境，例如紐約時報（The New York Times）便在2023年12月對OpenAI和微軟提告，指控其未經授權使用數百萬篇文章，兩家科技業者則主張符合著作權法的合理使用原則。微軟與Google也提醒，選擇退出AI訓練可能降低內容在AI應用與服務中曝光的機會；Meta發言人Andy Stone則在社群平台X上發文對推動業界標準表示支持。
