亞洲論壇可爬性 × 成本對照表
13 個亞洲主要論壇，實際跑過之後的結果：資料長什麼樣、需要哪種出口 IP、每筆抓取成本多少。 不是猜的——9 個站的欄位直接來自每天在跑的 actor，其餘來自探測紀錄。
快照日期 2026-09-04 · 9 綠燈 / 3 黃燈 / 1 紅燈 · 台港星泰馬五個市場
- 綠燈 — 直連或 datacenter proxy 就抓得到
- 黃燈 — 抓得到，但要 residential IP 或特定 UA，成本／脆弱度上升
- 紅燈 — 只剩瀏覽器一條路，現行定價下毛利為負，我們不做
| 狀態 | 站 | 資料形式 | 需要什麼才抓得到 | 每筆成本 | Actor |
|---|---|---|---|---|---|
| 綠燈 | PTT TW · ptt.cc | HTML（BBS 網頁版） | 直連，不用 proxy；帶 over18 cookie | $0.0003 | ptt-scraper |
| 全表最便宜的一條：連 proxy 都不需要，年齡牆只是一個 cookie。 | |||||
| 綠燈 | Mobile01 TW · mobile01.com | HTML | 直連，不用 proxy | $0.0003 | mobile01-scraper |
| 台灣 3C／車／房的長文重鎮，前端沒有反爬層。 | |||||
| 綠燈 | 巴哈姆特 TW · forum.gamer.com.tw | HTML + 內嵌 JSON | Datacenter proxy | $0.0003 | bahamut-scraper |
| 台灣最大遊戲／ACG 社群，樓中樓與 GP／BP 都在 HTML 裡。 | |||||
| 黃燈 | Dcard TW · dcard.tw | JSON API + __NEXT_DATA__（兩條都有） | Residential IP — datacenter 直接 403 | $0.0012 | 已探測 |
| 資料形式其實最乾淨，卡的是 Cloudflare WAF：JSON API 與 HTML 兩條路都回 403，沒有 JS challenge、也沒有等待頁，就是硬擋。 | |||||
| 紅燈 | BabyHome TW · forum.babyhome.com.tw | 取不到（擋在內容之前） | 只剩瀏覽器 — residential-TW 仍是 CF managed challenge | $0.0060 | 已探測 |
| 全表唯一的紅燈，而且不是技術上做不到——是 $0.006／筆的瀏覽器成本，在 $0.002／筆的定價下毛利是負的。 | |||||
| 綠燈 | LIHKG 連登 HK · lihkg.com | JSON API（/api_v2） | Datacenter proxy — 直連共用 egress IP 會 429 | $0.0003 | LIHKG-scraper |
| 官方 App 用的同一支 JSON API，欄位齊、不用解 HTML。實測教訓：不掛 proxy 就跟平台上所有 run 共用出口 IP，很快被限流。 | |||||
| 綠燈 | 高登 HKGolden HK · forum.hkgolden.com | JSON API（api.hkgolden.com/v1） | Datacenter proxy | $0.0003 | hkgolden-scraper |
| 連登之前的香港論壇本體，一樣有公開的 v1 JSON 端點。 | |||||
| 綠燈 | 親子王國 Baby-Kingdom HK · baby-kingdom.com | HTML（Discuz） | Datacenter proxy | $0.0003 | hk-forums-scraper |
| 香港母嬰／家庭消費最大的討論區，經典 Discuz 版面，解析穩定。 | |||||
| 黃燈 | Uwants HK · uwants.com | /archiver/ 純文字版 | Residential-HK — datacenter 被 Cloudflare 擋 403 | $0.0012 | 已探測 |
| 一個少見的解法：archiver 純文字版繞過內容頁的 reCAPTCHA，頁面又極輕，residential 的每筆成本因此遠低於一般 HTML 站。 | |||||
| 綠燈 | HardwareZone SG · forums.hardwarezone.com.sg | HTML（XenForo） | Datacenter proxy | $0.0003 | hardwarezone-scraper |
| 新加坡的「連登」——EDMW 版是當地輿情的第一現場，而且完全沒有反爬層。 | |||||
| 黃燈 | KiasuParents SG · kiasuparents.com | JSON API（NodeBB /api/recent） | Datacenter + Googlebot UA — 一般 UA 回 403 | $0.0003 | 已探測 |
| 成本跟綠燈一樣低，但站方是用 nginx UA 白名單擋人；只要哪天加上 rDNS 驗證就會斷，所以算不上穩定綠燈。 | |||||
| 綠燈 | Pantip TH · pantip.com | HTML + 內嵌 JSON | Datacenter proxy | $0.0003 | pantip-scraper |
| 泰國最大的討論區。泰文站沒有中文讀者，listing 我們就用泰文寫。 | |||||
| 綠燈 | Lowyat MY · forum.lowyat.net | HTML（IPB） | Datacenter proxy | $0.0003 | lowyat-scraper |
| 馬來西亞的 3C／消費討論主場，老派 IPB 版面反而好解。 | |||||
抓得到之後的下一個問題是「拿得到哪幾欄」——站台涵蓋表 列出每隻已上架 actor 的模式與實際輸出欄位。
從這張表看出來的四件事
1. 13 個站，沒有一個需要瀏覽器
已上架的 9 隻論壇 actor 全部跑 CheerioCrawler——純 HTTP、零瀏覽器、零 Playwright。
整張表唯一「非瀏覽器不可」的是 BabyHome，而它正因為這樣被判定不做。
「論壇一定要用無頭瀏覽器」在亞洲論壇上基本不成立，而這個預設會讓你的每筆成本無謂地貴 20 倍。
2. 擋你的是 CDN，不是網站
非綠燈的 4 個站裡有 3 個（Dcard、Uwants、BabyHome）擋點在 Cloudflare，不在站方自己的程式； 第 4 個（KiasuParents）是 nginx 的 UA 白名單。 實務上的意義是：你的爬蟲比較不會死於「版面改了」，比較會死於「某天前面多掛了一層 CDN」。
3. residential 解得了 403，解不了 JS challenge——這條線決定成本差 5 倍
Dcard 和 Uwants 是 Cloudflare 直接回 403（沒有等待頁、沒有 JS challenge），換成 residential IP 就 200，每筆 $0.0012。 BabyHome 是 managed challenge（那個「Just a moment…」頁面），residential-TW 一樣過不了，只剩瀏覽器，每筆 $0.006。 所以探測時看到 403 其實是好消息；看到「Just a moment」才是壞消息。
4. 有 JSON API 的站比想像中多
LIHKG（/api_v2）、高登（api.hkgolden.com/v1）、KiasuParents（NodeBB /api/recent）都有公開的 JSON 端點，
Dcard 也有——只是被擋在前面。JSON 端點的價值不只是好解析：它不會因為前端改版就整批失效。
成本怎麼算，以及 50% 毛利線
用最常見的列表定價 $0.002／筆 來對照，三種燈號的毛利長這樣：
| 燈號 | 每筆成本 | $0.002 定價下的毛利 | 過 50% 門檻？ |
|---|---|---|---|
| 綠燈 | $0.0003 | 85% | 過 |
| 黃燈 | $0.0012 | 40% | 不過 |
| 紅燈 | $0.0060 | −200% | 差很遠 |
所以黃燈站不是「能不能做」的問題，是「定價要不要拉到 $0.003 以上」的問題。 有一個例外值得知道：residential 是按流量計費，每筆成本跟頁面大小成正比。 Uwants 的 archiver 是純文字頁，探測時估的是每筆 ~$0.0001——比一般 HTML 站低一個數量級。 表上的 $0.0012 是重 HTML 頁的上限值，不是每個黃燈站都這麼貴。
另外，平台會對每一次 run 額外收一次 $0.005 的 apify-actor-start，表上沒有含。
抓 1,000 筆時它被攤平到看不見，抓 10 筆時它就是你最大的一筆成本。
要換自己的數字，用 Apify 成本計算機。
這張表怎麼來的
- 已上架的 9 個站：資料形式、proxy 需求、端點型態全部取自各 actor 自己的原始碼（crawler 類別、input schema 的 proxy 預設值、實際打的網址），而且它們每天在跑、有 canary 監控。
- 未上架的 4 個站（Dcard、Uwants、KiasuParents、BabyHome）：來自探測紀錄，各自跑過 datacenter 與 residential 兩種出口 IP，記下實際的 HTTP 狀態碼與擋法。
- 成本是估計值：Apify compute + proxy 流量，跟站的頁面大小有關，不是保證值。標成估計就是估計。
- 這是 2026-09-04 的快照。反爬是會變的：今天綠燈的站，明天可能掛上 Cloudflare。引用這張表的時候，日期比結論重要。
三條路，挑一條開始
從最省事到最自由
FAQ
「可爬性」是怎麼判定的？ 實跑，不是看網站猜的。已上架的 9 個站是每天在跑的 actor，表上的資料形式、proxy 需求、端點型態全部直接取自它們的原始碼；未上架的 4 個站來自探測紀錄，各自試過 datacenter 與 residential 兩種出口 IP。
為什麼沒有 Dcard 的 actor？ Dcard 的 JSON API 和 HTML 兩條路都被 Cloudflare WAF 回 403，要 residential IP 才過得去。技術上做得到，但每筆成本從 $0.0003 跳到 $0.0012，在 $0.002 的列表定價下毛利只剩 40%，沒過我們的 50% 毛利門檻。
綠燈的站會不會突然變紅？ 會，所以這張表標了日期。最常見的變化不是站方改版，而是前面新掛一層 CDN。我們對每一隻上架的 actor 跑每日 canary，壞掉會第一時間知道。
residential proxy 為什麼比較貴？ 它是按流量計費，不是按請求數，所以每筆成本跟頁面大小成正比。重 HTML 頁接近表上的 $0.0012；純文字端點（像 Uwants 的 archiver）可以再低一個數量級。
這些數字包含 Apify 的啟動費嗎？ 不包含。表上是每筆的資料成本；平台另外對每一次 run 收一次 $0.005 的 apify-actor-start。抓 1,000 筆時它幾乎被攤平，抓 10 筆時就很有感。
這樣抓合法嗎？ 我們只抓公開內容、不抓需登入的資料，並遵守各站的服務條款與當地法規。表上被判定不做的站，理由是成本，不是規避封鎖。
作者 Chad 實際經營 40+ 隻上架 Apify actor，其中 9 隻就是這張表上的論壇爬蟲。 每一個燈號都對應一次真的跑過的請求；查不到、跑不出來的東西，這張表一律不寫。