GitHub 上免費 proxy list(像 proxifly)幾千星,真的能拿來跑爬蟲嗎?跟 Apify residential proxy 差在哪
一句話: proxifly/free-proxy-list 這類 GitHub 免費 proxy list 星數好看、更新頻率也高,但它是公開清單——同類專案的實測驗證率常常不到 1%,而且反爬系統的 IP 信譽資料庫本來就把這批 IP 列管;拿來練手可以,拿來撐一條要天天跑的排程爬蟲,通常撐不住。
免費 proxy list 為什麼看起來很誘人
在 Threads 上有人分享 proxifly/free-proxy-list 這個專案,只問了一句:「有用還是多餘?」這個問題背後的邏輯很直覺——爬蟲要換 IP 才不容易被封,付費 proxy 一動輒每 GB 好幾美元,GitHub 上一堆免費清單看起來就是現成的替代方案。
proxifly/free-proxy-list 這個 repo 本身確實做得不差:GitHub 上有 6.7k star、782 個 fork,README 寫「每 5 分鐘重新抓取並驗證一次」,涵蓋 HTTP、HTTPS、SOCKS4、SOCKS5,來源橫跨 100 多個國家。乍看是一份維護良好的免費資源。
問題不在這個專案做得好不好,而在免費公開 proxy list 這個類別本身的兩個結構性限制:IP 存活率,跟被反爬系統標記的速度。
結構性限制一:這些 IP 能用多久,沒人保證
免費 proxy list 的 IP 大多是掃描來的公開代理,不是廠商租給你的專屬資源。同類型專案 dinoz0rg/proxy-list 把這個落差寫得很白:撰稿當下(2026年9月10日)它總共掃到 370,333 筆候選代理,但驗證通過、確定能用的只有 2,974 筆——能用比例約 0.8%。這個 repo 的 README 自己也承認:「公開代理來源天生就很雜訊,有些條目無效、過期、重複,或在來源端就被限流。」
proxifly 標榜每 5 分鐘重新驗證,撰稿當下的快照顯示 109 個國家、2,483 個「目前可用」的代理——驗證頻率確實比較高,減緩了失效問題,但沒有解決它:這仍然是一份公開清單,任何人都能同時抓去用。你這次跑爬蟲抓到的「可用」IP,可能在你發出下一個請求之前,就已經被另外幾百個人同時打爆。
結構性限制二:這些 IP 早就在反爬系統的黑名單資料庫裡
比存活率更根本的問題是:免費清單的 IP 是公開的,反爬系統當然也看得到。 IP 信譽資料庫廠商本來就把「已知公開代理」當成核心資料來源之一——IPQualityScore 的代理偵測資料庫頁面自己宣稱涵蓋「所有代理類型,包括匿名代理伺服器、網頁代理、Tor 出口節點、住宅代理、VPN 匿名工具、資料中心、主機供應商」,並且聲稱「每秒新增超過一萬筆代理列入黑名單」(這是廠商自己的行銷數字,用來說明這個賽局的更新速度多快,不是獨立驗證過的統計)。
換句話說,一份在 GitHub 上有幾千星、被幾千人同時看到並使用的清單,對反爬系統來說幾乎是活靶——這批 IP 越紅、被越多人用,越快進反爬廠商的資料庫。這也是為什麼免費 proxy 在對付有像樣反爬機制的目標站時,成功率通常掉得比想像中快。
先看總表:免費清單 vs. Apify 兩種內建 proxy
| 方法一:免費 GitHub proxy list(如 proxifly) | 方法二:Apify Datacenter Proxy | 方法三:Apify Residential Proxy | |
|---|---|---|---|
| 費用 | $0(開源下載) | 方案內附固定 IP 數,超過依 IP 計費:Starter 每個追加 $1、Scale $0.8、Business $0.6(官方定價) | 依流量計費:Free~Starter $8/GB、Scale $7.5/GB、Business $7/GB(官方定價) |
| IP 存活率 | 不穩定——同類專案 dinoz0rg/proxy-list 撰稿當下驗證通過率約 0.8% | Apify 平台維護,穩定性由平台保證 | 來自真實家用/企業網路,Apify 官方稱「與真實使用者流量無法區分」 |
| 被反爬系統標記的速度 | 快——公開清單,IP 信譽資料庫廠商本來就在列管(IPQualityScore) | 中——跟平台上其他用戶共用出口 IP,目標站流量大時可能被一起限流 | 慢——每個 session 是獨立家用 IP,不是已知的公開代理範圍 |
| 工程準備 | 自己寫驗活、重試、輪替邏輯 | actor 內建 proxyConfiguration,預設開啟,免設定 | 在 proxyConfiguration 加 apifyProxyGroups: ["RESIDENTIAL"](官方文件),其餘沿用同一套 SDK |
| 適合場景 | 練手、單次測試、對目標站毫無所謂的場合 | 大多數論壇/電商站的例行排程 | 目標站反爬強、或 datacenter IP 已經被封 |
實例:LIHKG-scraper 的預設 proxy 為什麼還是會被限流
用連登爬蟲 LIHKG-scraper 舉例最直接。它的輸入欄位裡,proxyConfiguration 預設就開 Apify datacenter proxy,官方說明寫得很白:「不用 proxy 時會跟平台上其他 run 共用出口 IP,LIHKG 會因為別人的流量對你限流(429、回覆缺頁)。」
這句話其實點出了三種方案的落差在哪:
- 免費公開清單:出口 IP 跟全世界所有下載這份清單的人共用,不只是 Apify 平台內的其他用戶。
- Apify datacenter proxy:出口 IP 只跟 Apify 平台上的其他用戶共用,範圍小很多,但仍然是共用池。
- Apify residential proxy:每個 session 是獨立家用 IP,不跟其他用戶共用同一個出口位址。
馬來西亞論壇爬蟲 lowyat-scraper 的 proxyConfiguration 也是同一套邏輯、同一個預設。兩隻 actor 的 JSON 回應都不大(論壇貼文的文字內容而已),所以就算開 residential proxy,流量費通常也不是主要成本——真正決定你該不該花這筆錢的,是目標站的反爬強度跟你排程要跑多穩,而不是省下的那幾塊錢。
挑一條開始
從最省事到最自由
FAQ
proxifly 這類免費 GitHub proxy list 可靠嗎? 不太可靠。同類專案 dinoz0rg/proxy-list 撰稿當下(2026年9月10日)爬到約37萬筆候選代理,驗證通過能用的只有2,974筆,比例約0.8%;proxifly 標榜每5分鐘重新驗證一次,但因為是公開清單,任何人都能同時用同一批IP,能撐多久沒有保證。
為什麼免費 proxy list 容易被反爬系統秒封? 因為它們是公開清單,任何人都查得到同一批IP位址。IP信譽資料庫廠商像IPQualityScore就把這類代理列入資料庫,官方頁面宣稱每秒新增超過一萬筆代理黑名單;換句話說,公開清單裡的IP幾乎是已知目標,越多人用、越快被標記。
Apify residential proxy 多少錢? 依流量計費:Free到Starter方案每GB 8美元,Scale方案7.5美元,Business方案7美元;datacenter proxy則是每方案內附一定數量的IP,超過再依IP計費(Starter每個追加1美元、Scale 0.8美元、Business 0.6美元)。實際費用取決於抓的資料量,可在Apify Console的proxy用量儀表板查(官方定價)。
LIHKG-scraper、lowyat-scraper 要另外設定 residential proxy 嗎? 不一定。兩隻actor預設都開Apify datacenter proxy,對多數排程已經夠用;但如果在同一時段大量跑、跟平台上其他人共用出口IP被目標站限流,可以把輸入的proxyConfiguration加上apifyProxyGroups設為RESIDENTIAL(官方文件),切換成residential proxy。
什麼情況免費 proxy list 就夠用,不用花錢上 residential? 對目標站沒有殺傷力的場合,例如自己練習寫爬蟲、抓一次性資料且失敗了大不了重跑、目標站本身沒有強反爬。但只要是要穩定排程跑、或對付有反爬機制的目標站,免費清單的存活率與被封速度都撐不住,這時候datacenter或residential proxy的流量費用,通常比工程師花時間除錯免費IP划算。
延伸閱讀
- 用關鍵字抓 Threads 貼文的 3 種方法:如果你還在糾結該用官方 API、自己寫爬蟲,還是現成 actor,那篇把抓取方法本身攤開比;這篇是抓取方法之後,proxy 該怎麼選。
- 自己用 Apify 建社群聆聽,一個月多少錢:免費 proxy 省下的錢,很可能只是把成本從「買 IP」搬到「工程師除錯時間」——那篇把 DIY 輿情監控的完整成本算給你看。
- 用 LIHKG-scraper 排程追蹤聲量時間軸:同樣用這隻 actor 做排程監測,那篇教你怎麼判讀話題退燒,前提是 proxy 要先夠穩定,資料不斷線。
作者 Chad 實際經營 40+ 隻上架 Apify actor,本文用到的 LIHKG-scraper、lowyat-scraper 都是其中之二;免費 proxy list 的存活率與反爬黑名單機制,每一個數字都附了原始 repo 或官方文件連結,查不到來源的東西這篇一律不寫。