互联网档案馆:Wayback Machine 遭大规模自动抓取
網際網路檔案館:Wayback Machine 遭大規模自動抓取
事件事實
Wayback Machine 是 Internet Archive 運營的網頁存檔服務,長期免費向公眾提供歷史網頁快照,被工程師、記者和研究者廣泛使用。Internet Archive 是一家非營利機構,其基礎設施長期面臨資金與運營壓力。近期該服務遭遇多波高流量自動化抓取,官方為此部署了訪問保護措施,部分站點也開始選擇退出存檔。
背景與判斷
對依賴 Wayback Machine 進行歷史網頁研究、連結修復或內容存檔的使用者和機構而言,新的訪問保護措施可能帶來更頻繁的限流或訪問失敗,社群評論中已出現工作網路下持續收到 429 錯誤的報告。由於部分網站已選擇退出存檔,加之抓取流量持續,該服務的開放訪問與長期可持續性面臨壓力。
這條訊息的關鍵,不只是單一產品或專案的更新,而是它把技術能力、工程約束和實際使用場景放在了同一個判斷框架裡。公開資料能夠確認的內容以來源連結為準;尚未公佈的效能、時間表或商業結果,不應被解讀為已經兌現的承諾。
可能影響與適用場景
評論普遍對網際網路檔案館表示支援,有人稱讚其在多方壓力下仍維持匿名開放訪問(例如可透過 Tor 訪問,無需經過 Cloudflare 等中心化閘道器)。同時也有使用者反映實際體驗問題:BeetleB 稱在工作電腦上每次都遇到 429 錯誤,而手機訪問正常,一度誤以為是公司網路封鎖。petterroea 提議以每月 5 美元捐款換取更寬鬆的速率限制,另有評論者表達了對重建一個更開放網際網路的感慨。
對開發者和企業而言,較穩妥的做法是先把它當作評估物件:核對相容性、成本、資料許可權和可維護性,再決定是否納入生產流程。若後續出現公開基準、正式版本或更多獨立測試,結論還應隨證據更新。
來源
- https://blog.archive.org/2026/09/15/an-update-on-wayback-machine-access/
- https://www.pcmag.com/news/why-is-the-internet-archive-blocking-users-blame-the-bots
- https://blog.archive.org/