網頁爬蟲

2026年7月20日，北加州聯邦地區法院做了一個對整個開放網路都意義重大的裁決——全面駁回 Google 對爬蟲公司 SerpApi 的 DMCA 訴訟。這是近年來平臺嘗試用版權法打壓網頁爬蟲的最大敗仗之一。 簡單說：Google 開發了一套反爬蟲系統 SearchGuard，然後告訴法院「別人繞過它去抓搜尋結果，就是侵犯 DMCA 版權」。法官聽完笑了——SearchGuard 防的是爬蟲，不是版權；而且你抓到的東西根本不受版權保護。 這個案子不只是 SerpApi 的勝利，更是對「公開網路重新圈地」趨勢的一次重要攔截。 - 廣告 - Google 為什麼選擇 DMCA？ 要理解這場戰爭，得先搞清楚平臺在訴訟策略上的困境演變。 2022年第九巡迴上訴法院在 hiQ v. LinkedIn 案中確立了一個對爬蟲友善的先例：爬取公開網頁不違反 CFAA（電腦詐欺與濫用法）。這讓 Google 的訴訟工具箱少了一把利器。版權侵權？搜尋結果主要是事實性內容，通常屬於第三方。違約之訴？州法契約爭議，執行力弱、補償有限。 DMCA §1201 成了最佳選擇。它是聯邦法，有法定損害賠償，而且不需要證明特定作品的侵權——只要證明別人「繞過技術保護措施」就行。 Google 的戰略很明確：把反爬蟲系統重新定義為 DMCA 意義下的「版權存取控制措施」。若成功，任何網站的反爬蟲機制都能成為聯邦版權法下的鎖，爬蟲等於破鎖。這將徹底改變網路的開放性。 SearchGuard 到底是什麼？ 事情從 2025年1月說起。Google 在那時開發並部署了 SearchGuard——一套基於 JavaScript Challenge 的反爬蟲系統。它的運作方式不複雜：當瀏覽器或爬蟲存取 Google 搜尋結果時，SearchGuard 會要求執行一段 JS 程式碼來驗證「你是真人」。沒透過的請求會被擋下。 ...