輿情分析 AI 準不準？連登 150 則貼文實測：情緒、相關性、意圖與成本
一句話： 我們拿 150 則沒參與調整門檻的連登貼文實測：Claude Haiku 5.5 的情緒準確度 82.7%、相關性 95.3%、意圖 90.0%；Jev 是 78.0%、92.0%、85.3%。AI 輿情分析已經可以拿來做初篩，但標準答案是 AI 寫的、母語者只抽查 20 則，而且只測了一個論壇，所以請把它當「省人工的初篩」，不是「比人準」。先決定定義，比選哪個模型更影響分數。
用 AI 做連登輿情分析，真正的難處在哪？
如果你是公關、行銷或品牌監測分析師，在搜尋「輿情分析 ai」「情緒分析 ai」「連登 輿情」，通常想知道的是：把幾千則連登貼文丟給 AI，結果能信嗎？這篇用我們自己抓的連登資料回答，並把能做、不能做的地方分開講。
粵語論壇的標註比一般英文社群難，原因在於這幾種情況：
| 難點 | 真實例子（來自我們的測試資料） | 為什麼難 |
|---|---|---|
| 反諷與話中有話 | 「食唔盡ai 俾人笑到最後就有份」 | 字面像正面，實際是負面。只看這句，第一版題目判成正面；附上討論串開頭貼文當上下文後才判對 |
| 字面像抱怨、其實是稱讚 | 「加價900不跌反升」 | 稱讚 iPhone 17 保值，卻像在抱怨漲價，兩個模型都容易讀錯 |
| 品牌只是事件的場景 | Tesla 出車禍、港鐵站內發生罪案、滙豐分行詐騙 | 貼文不在評論品牌，算不算「相關」要你先決定 |
| 負面新聞算不算負面 | 吃麥當勞漢堡後死亡的標題 | 寫法很中立，但事件是壞事。要不要算負面，是定義問題，不是語氣問題 |
| 批評的對象不是品牌 | 批評政府官員或政治人物的貼文 | Jev 照字面把它標成「抱怨」，直到定義明講「批評個人、政治人物或政府屬於 other」 |
| 回覆太短 | 一句話回覆別人的引用 | 缺上下文就讀不懂 |
這些都不是「模型夠不夠大」就能解決，多數是你有沒有把標準講清楚。
實測怎麼做的？
| 項目 | 內容 |
|---|---|
| 資料 | 連登（Cantonese），關鍵字港鐵、麥當勞、Tesla、滙豐；每個關鍵字 50 個搜尋結果標題加 25 則回覆，共 300 則（200 標題、100 回覆） |
| 評分資料 | 只用其中奇數列的 150 則，調整門檻時完全沒看過 |
| 模型 | claude-haiku-5-5（每次 15 則批次）與 jev-1.13.0（TypeSafe 決策模型，只回傳選項與機率） |
| 三項標註 | 相關性（是不是在講這個品牌）、情緒（負面／中立／正面）、意圖（抱怨／讚美／提問／其他） |
| 標準答案 | 由 AI 標註者（Claude）在任何模型被呼叫前寫好；母語者抽查 20 則，含 10 則兩個模型都和答案不同的，全部同意 |
模型細節、題目原文與其他語言的試跑結果，請看 Jev 是什麼？粵語實測；想自己照做，請看 Jev 教學。這裡只放對輿情分析最有用的部分。
兩個 AI 模型的準確度是多少？
連登 150 則留出資料，最終定義：
| 標註 | Claude Haiku 5.5 | Jev | Haiku 領先 |
|---|---|---|---|
| 情緒（負面／中立／正面） | 82.7% | 78.0% | 4.7 個百分點（推算） |
| 相關性 | 95.3% | 92.0% | 3.3 個百分點（推算） |
| 意圖（四類） | 90.0% | 85.3% | 4.7 個百分點（推算） |
標題和回覆，哪個比較難？
| 貼文類型 | Haiku 情緒 | Jev 情緒 | Haiku 相關性 | Jev 相關性 | Haiku 意圖 | Jev 意圖 |
|---|---|---|---|---|---|---|
| 標題（100 則） | 85% | 77% | 99% | 98% | 94% | 91% |
| 回覆（50 則） | 78% | 80% | 88% | 80% | 82% | 74% |
回覆比標題難，因為又短又口語、常常要靠上下文。只有 50 則回覆，不要過度解讀；但有一個實務結論：如果你的資料大半是回覆（不是標題），預期準確度會比標題的數字低。
這些數字能不能信？
- 150 則資料的雜訊約正負 6 個百分點，所以 Haiku 領先的 3 到 5 個百分點，每一項單獨看都不算定論，只能說方向一致。
- 標準答案是 AI 寫的，可能偏袒同家族的 Claude 模型。母語者抽查 20 則全部同意，降低風險但沒有消除。
- 只有連登一個論壇。高登、Facebook、Threads 的表現不能從這裡推斷。
- 版本是 2026-10-12 的
claude-haiku-5-5與jev-1.13.0，新版本可能不同。
為什麼說「定義比模型更影響分數」？
我們實測過同樣兩個模型，只改定義，排名就翻轉：
| 定義 | 相關性結果 |
|---|---|
| 較早的嚴格定義（品牌只是現場，不算相關） | Jev 88.0%，Haiku 80.7%，Jev 領先 |
| 最終定義（品牌是事件現場也算相關） | Haiku 領先（95.3% 對 92.0%） |
另一個例子是意圖：Jev 原本把批評政府官員的貼文標成「抱怨」，在定義補上「批評個人、政治人物或政府屬於 other」之後，意圖準確度從 82.7% 升到 85.3%。
所以在比較任何輿情 AI 之前，請先回答這三個問題，並寫進你的標註說明：
- 品牌只是事件現場（車禍、罪案、詐騙），算不算相關？
- 中立口吻的壞消息，算不算負面？
- 批評政府或個人，算不算「對品牌的抱怨」？
這三題沒有標準答案，要看你是做品牌監測、危機偵測還是市場研究。重點是兩個模型、也是你團隊的人工標註員，都要拿同一份定義。
信心分數怎麼用？只接有把握的，其餘人工看
Jev 每個答案附有機率或信心分數，我們用連登全部 300 則看它校準得好不好：
| 標註 | 信心條件 | 涵蓋比例 | 準確度 |
|---|---|---|---|
| 相關性 | 「是」機率 ≤ 0.2 或 ≥ 0.8 | 82% | 96.7% |
| 情緒 | 信心 ≥ 0.7 | 60% | 92.2% |
| 情緒 | 信心 ≥ 0.5 | 82% | 86.1% |
這代表一個實用的分流流程：
| 步驟 | 做法 |
|---|---|
| 1 | AI 先全部標一遍，附信心分數 |
| 2 | 信心高的自動接受（例如情緒信心 ≥ 0.7，涵蓋 60%、準確度 92.2%） |
| 3 | 信心低的送人工看，或交給第二個模型 |
| 4 | 定期抽查自動接受的部分，確認沒有偏移 |
我們也試過混合做法（Jev 有把握時用 Jev，否則交給 Haiku）：意圖準確度到 91.3%（Jev 處理 77%），情緒和相關性則與 Haiku 單獨使用相同（82.7%、95.3%）。也就是說，混合的好處主要在成本，不是準確度。
AI 標註跟人工標註，成本差多少？
我們只能給 AI 這一側的數字（2026-10-12 牌價推算）：
| 規模 | Jev | Claude Haiku 5.5 |
|---|---|---|
| 每則 | 約 0.000045 美元 | 約 0.000106 美元 |
| 每十萬則 | 約 4.50 美元 | 約 10.60 美元 |
| 每月 100 萬則 | 約 44.60 美元 | 約 106 美元 |
人工標註的單價依團隊、薪資與品質要求差很多，我們不替你猜。請自己代入：
- 人工標一則需要 X 秒，標 10 萬則需要 10 萬乘以 X 秒，除以 3,600 就是工時。例如 X = 10 秒（只是示範用的假設值），約 278 小時（推算）。
- 如果 AI 先自動接受 60% 有把握的（情緒信心 ≥ 0.7），人工只需要看剩下的 40%，並抽查自動接受的部分。
價格與申請方式的細節，請看 Jev 價格與申請。
AI 做不到什麼？
- 反諷與話中有話： 即使附了上下文，兩個模型仍會誤判一部分。這類貼文通常信心也偏低，應交給人工。
- 超出你定義的判斷： 定義沒寫的情況，模型會自己猜，Jev 尤其傾向照字面讀。
- 跨平台推論： 我們只測了連登。
- 產生文字： Jev 只回傳選項與機率，不寫摘要；要寫報告得搭配生成式模型。
- 取代決策： 標註是初篩，什麼事件要升級處理，仍需要人。
自己做，還是用我們的 LIHKG actor？
| 自己呼叫模型 API | 我們的 LIHKG actor + AI 輿情標籤 | |
|---|---|---|
| 費用 | 最低，Jev 每則約 0.000045 美元 | 每筆 0.002 美元；免費方案每次 run 前 20 筆免費；2026-10-27 起生效 |
| 需要什麼 | 自己的程式、API key、題目與門檻調整 | 設定輸入、選用「AI 輿情標籤」開關 |
| 資料來源 | 你自己抓或另購 | 同一個 actor 抓連登並標註 |
| 適合 | 有開發資源、要客製定義 | 沒有開發資源、想快速看結果 |
用 actor 的好處是不用寫程式、不用另開模型帳號。標註引擎是 Jev，相關性、情緒、意圖三項一起標；我們選它是因為成本、速度、校準過的信心，以及不用多開一個廠商帳號，準確度差距在這個任務上算小。
如果你還在評估要自建還是買工具，可以先看 DIY 輿情 vs OpView／KEYPO；連登資料怎麼抓與用在監測，可延伸閱讀 連登危機時間軸監測、連登早期預警關鍵字掃描，以及香港論壇專題。
本站與 TypeSafe、Anthropic 沒有合作或背書關係，文中兩者都只是客觀比較。
從最省事到最自由
這個實測的限制
- 標準答案由 AI 寫成，母語者只抽查 20 則（全部同意）。
- 評分樣本只有 150 則，雜訊約正負 6 個百分點。
- 只測了連登一個論壇。
- 版本與牌價以 2026-10-12 為準，請以各廠商官網為主。
- 成本是牌價推算，不包含開發、重試與人工複核。
FAQ
輿情分析 AI 準確嗎？ 在我們的連登 150 則留出資料上，Claude Haiku 5.5 的情緒準確度是 82.7%、相關性 95.3%、意圖 90.0%；Jev 分別是 78.0%、92.0%、85.3%。但標準答案由 AI 寫、母語者只抽查 20 則，樣本小、只有一個論壇，不能說 AI 已經比人準。
AI 情緒分析能看懂粵語和反諷嗎？ 粵語整體可用，但反諷與字面和實際相反的句子仍會誤判。例如「加價900不跌反升」其實是稱讚 iPhone 17 保值，兩個模型都容易讀成抱怨。附上討論串開頭貼文當上下文，有助於修正一些反諷回覆。
連登輿情要怎麼用 AI 標註？ 先寫清楚三件事：什麼算相關、壞消息算不算負面、什麼算抱怨。再分別標相關性、情緒、意圖，並用信心分數分流：有把握的自動接受，其餘人工看。
AI 輿情標註一則多少錢？ 依牌價推算，我們的實測裡 Jev 每則約 0.000045 美元、每十萬則約 4.50 美元；Claude Haiku 5.5 每則約 0.000106 美元、每十萬則約 10.60 美元。人工標註的成本請用你自己每則所需秒數推算。
標準答案是誰寫的，可信嗎？ 標準答案由 AI 標註者在任何模型被呼叫之前寫好，本站站長（母語者）抽查 20 則，全部同意。AI 寫的答案可能偏袒同家族的模型，抽查降低但沒有消除這個風險。
用 AI 標註連登，要自己做還是用你們的 LIHKG actor？ 有 Python 流程又會寫題目，直接呼叫模型 API 最便宜。想要連登資料加標註一次到位，可用我們 LIHKG actor 的選用「AI 輿情標籤」：每筆 0.002 美元，免費方案每次 run 前 20 筆免費，自 2026-10-27 起生效。
作者 Chad 實際經營 30 多隻上架 Apify actor（含本文用到的 LIHKG-scraper）。本文所有實測數字來自 2026-10-12，原始貼文因論壇條款不公開；推算處已標明。