Cloudflare 使用這面由 100 個熔岩燈組成的牆來生成整個互聯網 20% 的機器人阻擋加密 蠟的混亂運動產生隨機像素數據,這些數據在他們的全球網絡中播種加密密鑰。他們稱之為「熵牆」。 諷刺的是:這家公司建立了互聯網上最強的反機器人牆,現在卻在出售機器人即服務 每月 5 美元,這是 /crawl 取代的內容: - Python 腳本 - Playwright - 代理輪換 - 速率限制器 - 重試邏輯 - 週末除錯會議 它在 Cloudflare 的邊緣啟動無頭 Chrome,從網站地圖和鏈接中發現頁面,渲染 JavaScript,並返回乾淨的內容。 好消息是:他們的機器人不會繞過他們自己的反機器人保護。但如果你想爬取受 Cloudflare 保護的網站,無論如何你都要付費給 Cloudflare。