Vercel 近期發布的深度研究報告指出，AI 爬蟲正以驚人的速度重塑網路流量生態。數據顯示，AI 爬蟲的網站訪問量已攀升至 Googlebot 月訪問量的 28%，展現出 AI 技術在網路內容索引領域的強大潛力。
Vercel 近期發布的深度研究報告指出，AI 爬蟲正以驚人的速度重塑網路流量生態。數據顯示，AI 爬蟲的網站訪問量已攀升至 Googlebot 月訪問量的 28%，展現出 AI 技術在網路內容索引領域的強大潛力。
流量分析與市場佔比
在 Vercel 的網絡平台上，AI 爬蟲每月產生近 10 億次的請求訪問，其中：
- OpenAI 的 GPTBot 以 569 百萬次位居首位
- Anthropic 的 Claude 緊追在後，達 370 百萬次
- AppleBot 貢獻 314 百萬次
- PerplexityBot 創造 244 萬次
相較之下，搜尋引擎巨擘 Google 的 Googlebot 月請求量維持在 45 億次，顯示 AI 爬蟲已然成為不容忽視的新興力量。
AI 爬蟲的行為特徵
研究深入剖析了 AI 爬蟲的運作模式，發現幾個關鍵特點：
1. JavaScript 處理機制：
- 不執行 JavaScript 渲染
- 會主動收集 JavaScript 檔案進行分析
- 與傳統搜尋引擎爬蟲的完整渲染處理方式有所區別
2. 內容偏好傾向：
- ChatGPT 偏重 HTML 內容，佔其總請求的 57.70%
- Claude 特別注重圖片資源，佔比達 35.17%
- 各家爬蟲展現出明顯的內容類型偏好差異
3. 效能表現：
- ChatGPT 和 Claude 的 404 頁面訪問率偏高，約佔總請求的 34%
- 顯示出目前 AI 爬蟲在網頁導航效率上仍有改善空間
地理分布特點
AI 爬蟲的運作據點高度集中在美國特定區域：
- ChatGPT：愛荷華州迪斯摩因和亞利桑那州鳳凰城
- Claude：俄亥俄州哥倫布
這種集中化的地理分布與全球分散式的傳統搜尋引擎爬蟲形成鮮明對比。
網站優化策略建議
因應 AI 爬蟲的特性，網站經營者需要採取全方位的優化措施：
1. 技術架構優化：
- 採用伺服器端渲染（SSR）技術
- 確保核心內容、元資料和導航結構存在於初始 HTML
- 實施清晰的 URL 結構設計
2. 內容結構調整：
- 優化 HTML 內容的語意結構
- 強化圖片傳輸效能
- 完善元資料設定
- 為圖片添加詳細的替代文字
3. 錯誤處理機制：
- 定期更新網站地圖
- 建立有效的重導向連結系統
- 維護一致的 URL 結構
- 建立 404 錯誤監控機制
未來發展趨勢
隨著 AI 技術持續演進，網站優化策略正面臨重大轉型：
- AI 爬蟲將在網路內容索引中扮演更關鍵角色
- 網站需要同時兼顧傳統搜尋引擎和 AI 爬蟲的優化需求
- 伺服器端渲染、URL 架構和網站地圖的重要性將進一步提升
結論
AI 爬蟲的崛起不僅反映了網路技術的革新，更預示著網站優化策略必須與時俱進。網站管理者需要持續關注這一領域的發展，適時調整優化策略，以確保在 AI 驅動的新網路時代中保持競爭力。這份研究報告不僅為當前網路生態提供了重要觀察，更為未來的發展方向提供了參考指標。
