Jev 是什麼？TypeSafe 決策模型的粵語實測：405 則論壇貼文，對比 Claude Haiku
一句話： Jev 是 TypeSafe 做的「System One」決策模型，不產生文字，只針對你問的問題回傳選項加上機率；題型有 Choice（單選）、Score（分級打分）、Noul（是／否機率）三種，輸入 token 每百萬 0.042 美元、輸出免費。我們拿它跟 Claude Haiku 5.5 在 405 則真實論壇貼文（粵語、泰文、新加坡英語）上比過：粵語情緒標註 Jev 達 78.0%，比 Haiku 低約 5 個百分點，但便宜一半以上、快很多，而且信心分數可以拿來分流。
更新（2026-10-12）： 我們也用同一批貼文、同一套定義測了 OpenAI 新推出的 Decisions API（
gpt-6-luna）。粵語情緒準確度跟 Jev 打平（都是 78.0%），相關性低於 Jev（88.7% 對 92.0%），每則成本約是 Jev 的 2.25 倍。三方完整結果見英文版 Jev vs OpenAI Decisions API。
Jev 是什麼？jev 模型一次看懂
如果你在 Google 搜尋「jev 是什麼」「jev ai」「jev 模型使用」，會發現中文資料幾乎都是介紹性的長文，沒有人拿它在中文或粵語上實際測過。這篇補上這一塊。
| 項目 | 內容 |
|---|---|
| 開發者 | TypeSafe |
| 類型 | System One 決策模型（不是對話或生成模型） |
| 輸出 | 你定義的選項、分數或是／否機率，附信心分數；不產生任何文字 |
| 三種題型 | Choice（單選）、Score（分級打分）、Noul（是／否機率） |
| 價格 | 輸入 token 每百萬 0.042 美元，輸出 token 免費 |
| 流量上限 | 每個帳號每秒 80 個請求、10 萬 token |
| 語言 | 英文是主要訓練語言；官方文件說中日韓文字「可處理但表現不均」 |
| 本文測試版本 | jev-1.13.0（固定版本，非 jev-latest） |
簡單說，Jev 像是一個「會看懂自然語言的分類器」：你給它一份結構化資料和幾個問題，它回答「A、B、C 哪個，各有多大把握」。官方資料可參考 TypeSafe 文件。想直接上手，請看姊妹篇 Jev 教學：用 Jev 做情緒分析。
Jev 跟 Claude 這類生成式 LLM 差在哪？
| Jev | Claude Haiku 這類生成式模型 | |
|---|---|---|
| 輸出 | 選項加機率（結構固定） | 文字，需要再解析（或用結構化 JSON 輸出） |
| 信心 | 每題內建信心分數／機率 | 通常沒有校準過的機率 |
| 一次問幾題 | 同一份資料可平行問多題，輸出免費 | 靠提示詞，輸出 token 要付費 |
| 擅長 | 路由、排序、分類、驗證這類有限答案 | 摘要、改寫、複雜推理、開放式問答 |
| 本次測試的單則成本 | 約 0.000045 美元 | 約 0.000106 美元 |
重點是：它們不是同一種工具。Jev 做不到的事（寫摘要、解釋原因）本來就不該找它；問題在於「兩邊都做得到的分類工作」，該選哪一個。這正是我們測的。
我們怎麼測的？研究方法
資料： 全部是用我們自己的 Apify actor 抓的真實公開貼文，共 405 則、3 種語言、3 個論壇。原始貼文不公開（論壇條款），文中只引用短句當例子。
| 回合 | 內容 | 筆數 |
|---|---|---|
| Round A，多語試跑 | 連登（粵語）iPhone 17 討論串回覆 40 則、Pantip（泰文）iPhone 17 三個主題 25 則、HardwareZone EDMW（新加坡英語）TCL 電視討論串 40 則 | 105 |
| Round B，主要測試 | 連登，關鍵字港鐵、麥當勞、Tesla、滙豐；每個關鍵字 50 個搜尋結果標題加 25 則回覆 | 300（200 標題、100 回覆） |
| 合計 | 405 |
三個標註任務（社群聆聽最常用）：
- 相關性：這則貼文是不是在講被追蹤的品牌或關鍵字。Jev 用 Noul，Haiku 回傳布林值。
- 情緒：負面到正面共五級（−2 到 +2）。Jev 用 5 級 Score，換算後以門檻分成負面／中立／正面；Haiku 直接回傳 −2 到 +2 的整數。
- 意圖：抱怨／讚美／提問／其他。
兩個模型拿到完全相同的標籤定義。Haiku 用 claude-haiku-5-5，每次請求 15 則貼文，使用結構化 JSON 輸出。
標準答案怎麼來的？
- 標準答案由 AI 標註者（Claude）在任何模型被呼叫之前寫好，所以不會被模型輸出牽著走。
- 母語者（本站站長）抽查 20 則 Round B 標籤，包含兩個模型都和標準答案不同的 10 則，20 則全部同意。
- 站長替最後一輪訂了兩個定義：
- 品牌只是事件「現場」（例如 Tesla 出車禍、港鐵站內發生罪案、滙豐分行詐騙）仍算相關。
- 報導壞事就算負面、好消息算正面，就算寫法中立也一樣。例如「吃麥當勞漢堡後死亡」的標題算負面。
- 限制： 標準答案是 AI 寫的，可能偏袒同一家族的模型（Haiku 也是 Claude）。20/20 的抽查降低但沒有消除這個風險。
門檻怎麼公平地調？
Round B 的門檻只用偶數列調整，準確度只報告奇數列的 150 則，也就是調門檻時完全沒看過的資料。
Jev 的中文／粵語準確度如何？Round B 主表
連登 150 則留出資料，最終定義與題目（v3，題目原文見教學篇）：
| 標註任務 | Jev | Claude Haiku 5.5 | 混合（Jev 有把握時用 Jev，否則交給 Haiku） |
|---|---|---|---|
| 情緒（負面／中立／正面） | 78.0% | 82.7% | 82.7%（Jev 處理 51%） |
| 相關性 | 92.0% | 95.3% | 95.3%（Jev 處理 83%） |
| 意圖（四類） | 85.3% | 90.0% | 91.3%（Jev 處理 77%） |
只看標註者認為沒有歧義的列：
| 標註任務 | Jev | Haiku | 筆數 |
|---|---|---|---|
| 情緒 | 80.3% | 83.5% | 127 |
| 相關性 | 93.6% | 95.5% | 110 |
| 意圖 | 90.7% | 95.3% | 129 |
標題和回覆，哪個比較難？
| 貼文類型 | Jev 情緒 | Haiku 情緒 | Jev 相關性 | Haiku 相關性 | Jev 意圖 | Haiku 意圖 |
|---|---|---|---|---|---|---|
| 標題（100 則） | 77% | 85% | 98% | 99% | 91% | 94% |
| 回覆（50 則） | 80% | 78% | 80% | 88% | 74% | 82% |
回覆比標題難：短、口語、常常依賴上下文。有趣的是回覆的情緒標註，Jev（80%）反而略高於 Haiku（78%），但只有 50 則，不宜解讀過頭。
怎麼解讀： Haiku 在三項標註都領先 3 到 5 個百分點。150 則資料的雜訊大約是正負 6 個百分點，所以沒有任何單一差距算得上定論，只能說方向一致。
Jev 的信心分數可信嗎？
這是 Jev 最實用的地方。以下用 Round B 全部 300 則、最終題目：
| 標註 | 信心條件 | 涵蓋比例 | 準確度 |
|---|---|---|---|
| 相關性 | 「是」機率 ≤ 0.2 或 ≥ 0.8 | 82% | 96.7% |
| 情緒 | 信心 ≥ 0.7 | 60% | 92.2% |
| 情緒 | 信心 ≥ 0.5 | 82% | 86.1% |
意思是：Jev 說「我很確定」的那部分，準確度明顯高於整體。早期版本題目（v2）的相同 300 則裡，相關性「有把握」的答案涵蓋 62%、準確度 93.5%，其餘沒把握的幾乎是丟銅板（54%）。校準得好，才有上面表格的混合做法：有把握的交給 Jev，其他送去給 Haiku 或人工複核。
Jev 支援粵語嗎？多語試跑結果
先講清楚：Round A 用的是較早的題目與定義，樣本也小（105 則），只能當方向參考，不是正式的各語言排名。「嚴格」指「略為負面」算負面；「寬鬆」指遇到「略為」的答案時，中立或該極性都算對。
| 語言（論壇） | Jev 情緒 嚴格／寬鬆 | Haiku 情緒 嚴格／寬鬆 | Jev 相關性 | Haiku 相關性 |
|---|---|---|---|---|
| 粵語（連登，40 則） | 77.5% / 92.5% | 70.0% / 82.5% | 72.5% | 62.5% |
| 泰文（Pantip，25 則） | 68.0% / 96.0% | 88.0% / 100% | 96.0% | 100% |
| 新加坡英語（HardwareZone，40 則） | 70.0% / 92.5% | 82.5% / 92.5% | 87.5% | 82.5% |
| 全部 105 則 | 72.4% / 93.3% | 79.0% / 90.5% | 83.8% | 79.0% |
這輪裡，粵語是 Jev 比 Haiku 好、泰文是 Haiku 比 Jev 好。到了 Round B 換成最終定義後，連登上 Haiku 反而全面領先，原因之一是定義改變（見下方「定義比模型更影響分數」）。所以不要把「Jev 粵語比較強」當結論，這個結果只說明 Jev 在粵語上並不吃虧。
反諷、字面解讀：兩個模型都會踩的坑
- 「加價900不跌反升」其實是稱讚 iPhone 17 保值，但字面看起來像抱怨漲價，兩個模型都容易讀錯。
- 新加坡英語回覆裡叫人哼某首中國歌曲的「起来起来」是嘲諷，兩個模型都判成正面。
- 加入討論串開頭貼文當上下文後，一則反諷的粵語回覆（「食唔盡ai 俾人笑到最後就有份」）從 v1 的誤判正面，在 v2 變成正確的負面。
Jev 另一個特性是照字面讀定義。早期的意圖定義下，Jev 把批評政府官員的貼文標成「抱怨」（當成產品抱怨）。我們在定義裡補一句「批評個人、政治人物或政府屬於 other」，意圖準確度就從 82.7% 升到 85.3%（標題從 87% 到 91%）。
定義比模型更影響分數
在較早的嚴格相關性定義下（品牌只是現場就不算相關），Jev 的相關性是 88.0%，贏過 Haiku 的 80.7%；改成最終的「現場也算」後，變成 Haiku 領先。同樣兩個模型，換個定義排名就翻轉，所以先決定定義，再比模型。
Jev 要花多少錢、跑多快？
Jev（jev-1.13.0） | Claude Haiku 5.5 | |
|---|---|---|
| 每則 token | 1,063 輸入（三個題目，輸出免費） | 307 輸入加 151 輸出（15 則一批） |
| 每則成本 | 0.000045 美元 | 0.000106 美元 |
| 每十萬則成本 | 約 4.50 美元 | 約 10.60 美元 |
| 速度 | 每則中位數 0.36 秒（一則一個請求，可平行；p90 為 0.41 秒） | 每批 15 則中位數約 15 秒 |
以上是依官方牌價計算的實測。兩者的成本，跟這些標籤的價值比都很小；速度對即時代理人才重要，批次爬取很少成為瓶頸。註：廠商自己的基準測試（例如宣稱快上百倍）是 TypeSafe 的數字，我們的是獨立、針對這項任務的測量。
什麼情況選 Jev，什麼情況選 Claude？
| 你的情況 | 建議 |
|---|---|
| 量很大、單則價值低（例如每天幾萬則貼文做初篩） | Jev：成本約為 Haiku 的不到一半 |
| 需要即時回應（代理人、路由） | Jev：約 0.36 秒一則 |
| 想自己決定「多有把握才自動接受」 | Jev：有校準過的信心分數 |
| 反諷多、定義複雜、要盡量逼近最高準確度 | Claude Haiku：在我們的測試裡領先 3 到 5 個百分點 |
| 想兼顧成本與準確度 | 混合：Jev 有把握的先收，其餘交給 Haiku。意圖可到 91.3%，Jev 處理 77% |
| 需要產生文字（摘要、原因說明） | Claude（Jev 不生成文字） |
我們自己做 LIHKG 的 AI 輿情標籤選了 Jev，理由是成本、速度、校準過的信心，以及不用多開一個廠商帳號；準確度差距在這個任務上算小。你的任務不同，結論可能不同，建議拿自己的標註樣本比一次。
這個實測的限制
- 標準答案是 AI 寫的，雖然母語者抽查 20 則全數同意，仍可能偏袒 Claude 家族。
- 樣本小：主要測試 150 則留出資料，多語試跑 105 則。
- 主要測試只有一個論壇（連登）；多語結果是用較早定義的試跑。
- 版本為
jev-1.13.0與claude-haiku-5-5（2026-10-12 測試），新版本可能不同。 - 官方說英文是 Jev 的主要語言，所以英文論壇的表現不應從本文推斷，請自行驗證。
想自己用 Jev，或直接標連登資料？
- 完整做法：Jev 教學：用 Jev 做情緒分析，含可複製的請求範例、題目原文與逐步調整的實測證據。
- 資料來源：香港論壇專題整理了連登與高登的抓取方式。
- 想讓 AI 代理人直接問資料：巴哈姆特 × Claude Code × Apify：用 MCP 打造「問就答」的輿情 agent。
- 自己做或買工具的成本比較：DIY 輿情 vs OpView／KEYPO。
這些標籤現在可以選用方式加在我們的 LIHKG actor 上：新增「AI 輿情標籤」開關，引擎是 Jev，相關性、情緒、意圖三項一起標，每標一筆 0.002 美元；免費方案每次 run 前 20 筆免費，定價自 2026-10-27 起生效。本站與 TypeSafe、Anthropic 沒有合作或背書關係，文中兩者都只是客觀比較。
從最省事到最自由
FAQ
Jev 是什麼？ Jev 是 TypeSafe 的 System One 決策模型。它不產生文字，你給它一份結構化資料與幾個題目，它回傳每個題目的選項與機率。題型有 Choice、Score、Noul 三種。
Jev 比 Claude 準嗎？ 在我們的測試裡沒有。連登 150 則留出資料上，Claude Haiku 5.5 在情緒、相關性、意圖三項都領先 3 到 5 個百分點（82.7% 對 78.0%、95.3% 對 92.0%、90.0% 對 85.3%）。但樣本只有 150 則，誤差約正負 6 個百分點，單一差距不能下定論。
Jev 支援中文或粵語嗎？ 官方文件寫英文是主要訓練語言，中日韓文字「可處理但表現不均」。我們實測連登粵語貼文：情緒 78.0%、相關性 92.0%、意圖 85.3%，可用，但整體仍略低於 Haiku。
Jev 怎麼收費？ 依 TypeSafe 文件，輸入 token 每百萬 0.042 美元，輸出 token 免費。我們三個題目一起問，平均每則約 1,063 個輸入 token，約 0.000045 美元，十萬則約 4.50 美元。
Jev 可以生成文字嗎？ 不行。Jev 只回傳你定義的選項、分數或是／否機率，不寫文章也不做摘要。需要生成文字時要搭配一般的生成式模型。
什麼時候該選 Jev，什麼時候選 Claude？ 大量、需要低成本與快速回應、且想用信心分數分流時選 Jev；遇到需要最高準確度、反諷多或定義複雜的內容，選 Claude Haiku，或用 Jev 先處理有把握的部分、其餘交給 Haiku。
作者 Chad 實際經營 30 多隻上架 Apify actor（含本文用到的 LIHKG-scraper）。本文所有數字都來自 2026-10-12 的實測，原始貼文因論壇條款不公開；Jev 與 Claude 的價格以各廠商公告為準。