Cloudflare 將預設封鎖混合用途爬蟲，保護出版商內容免遭 AI 訓練

Cloudflare 今日宣布，即將針對廣告支撐的客戶網站，預設封鎖混合用途爬蟲（mixed-use crawlers），以保護出版商內容不被未經授權的 AI 訓練使用。這項政策預計從 2026 年 9 月 15 日起適用於新客戶與新網站。

政策重點

• 混合用途爬蟲：指同時用於搜尋索引與 AI 訓練的爬蟲，如 Googlebot、Applebot、Bingbot 等。
• 預設行為：含有廣告的網頁將阻擋這些爬蟲，除非網站擁有者明確調整設定。
• 目的：確保「產生收入的內容」不會在未經許可的情況下被爬取用於 AI 訓練。

Cloudflare 執行長 Matthew Prince 表示：「現在網路上大部分流量都是非人類，我們必須更快採取行動，才能建立可持續的生態系統。」

對主要爬蟲的影響

• Googlebot：同時負責搜尋索引與 AI 訓練，網站若封鎖可能影響 Google 搜尋排名。
• Applebot：同樣兼具索引與 AI 訓練功能。
• Bingbot：Microsoft 的爬蟲亦受影響。

Cloudflare 表示，Google、Apple、Microsoft 均提供 AI 訓練的 opt-out 機制，但許多爬蟲仍忽略 robots.txt 規則，因此 Cloudflare 提供更強的宣告式內容控管工具。

其他配套措施

• Pay Per Use：原「Pay Per Crawl」收費機制更名，與 Ceramic.ai、You.com 等合作，讓出版商在內容被搜尋或 AI Agent 使用時獲得報酬。
• Business Insights Dashboard：新增儀表板，讓出版商更清楚了解爬蟲流量與 AI 模型使用情況。