評估企業 RAG 的表現要看三大核心指標：Faithfulness（回答是否忠於檢索內容，目標大於 90%）、Answer Relevance（是否真的回答問題，目標大於 85%）、Context Relevance 或 Retrieval Recall（檢索內容是否相關，Top-3 目標大於 85%），作者建議用開源框架 Ragas 搭配 30 到 100 組有標準答案的測試集，每月跑一次評估並針對最差的問題類型優化。
發布 2026-06-03 · 最後更新 2026-09-27 · 作者 賴家榮 Andy Lai
「我們的 RAG 表現好嗎？」這個問題沒測過不知道答案。三大指標 + 工具，幫您把 RAG 從「感覺有用」變成「可量化、可改善」。
三大核心指標
1. Faithfulness（忠實度）
定義：AI 的回答是否忠於 retrieved context？有沒有編造？
計算：把回答拆成多個 claims，每個 claim 檢查是否能從 context 推出。
目標值：> 90%
2. Answer Relevance（答案相關度）
定義：AI 的回答是否真的回答了用戶的問題？
計算：用 LLM 反推「如果這是答案，原本的問題應該是什麼」，與真實問題比較相似度。
目標值：> 85%
3. Context Relevance / Retrieval Recall（檢索召回）
定義：retrieved 的 context 中，有多少是真正相關的？
計算：人工標註 ground truth + 比對 retrieved 是否包含。
目標值：Top-3 > 85%
進階指標
- Latency：從問題到回答的時間（目標 < 3 秒）
- Cost per query：每次查詢的 API + 向量庫成本
- Citation accuracy：引用的來源是否正確
- Refusal rate：AI 主動拒答「不知道」的比例
工具：Ragas
開源評估框架，最常用：
from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy, context_recall
dataset = {
'question': [...],
'answer': [...], # AI 的回答
'contexts': [...], # retrieved 切片
'ground_truths': [...] # 標準答案
}
result = evaluate(
dataset,
metrics=[faithfulness, answer_relevancy, context_recall]
)
print(result)
建立 Test Set
需要 30–100 個有標準答案的「問題-答案」配對。建立方式：
- 從用戶實際問題挑（最真實）
- 業務專家寫（最準確）
- 用 LLM 從文件生成問題（最快）
監控與迭代流程
- 每月跑一次評估
- 找出表現最差的問題類型
- 針對性優化（chunking / embedding / prompt）
- 再跑一次，看分數有沒有提升
- 分數穩定後上線
常見問題類型
| 低分原因 | 改善方法 |
|---|---|
| Faithfulness 低 | 強化 Prompt「只能依 context 回答」 |
| Relevance 低 | 檢查切片是否相關、加 Reranker |
| Recall 低 | 檢查 chunking、Hybrid Search |
| Latency 高 | 降 Top-K、用 Flash 模型 |
| Cost 高 | Context Caching、用更小的模型 |
A/B 測試
上線後，定期 A/B 測試不同配置：
- 不同 chunk_size（300 vs 500 vs 800）
- 不同 Embedding 模型
- 不同 Top-K（5 vs 10 vs 20）
- 是否加 Reranker
用戶反饋整合
讓用戶在每個回答下方點「👍 / 👎」，收集真實數據。這比實驗室的評估更貼近實際表現。
常見問題
RAG 評估的三大核心指標是什麼？
Faithfulness（忠實度）看 AI 回答是否忠於 retrieved context、有沒有編造，目標大於 90%；Answer Relevance（答案相關度）看回答是否真的回答了用戶問題，目標大於 85%；Context Relevance 或 Retrieval Recall（檢索召回）看檢索到的 context 有多少真正相關，目標 Top-3 大於 85%。
RAG 的 Faithfulness 和 Answer Relevance 怎麼計算？
Faithfulness 是把回答拆成多個 claims，逐一檢查能否從 context 推出。Answer Relevance 是用 LLM 反推「如果這是答案，原本的問題應該是什麼」，再與真實問題比較相似度。Retrieval Recall 則需人工標註 ground truth，比對檢索結果是否包含。這些都可用開源框架 Ragas 自動計算。
評估 RAG 需要準備多少測試資料？
需要 30 到 100 組有標準答案的「問題與答案」配對。建立方式有三種：從用戶實際問題挑選最真實、由業務專家撰寫最準確、用 LLM 從文件生成問題最快。Ragas 的資料集格式包含 question、answer、contexts 與 ground_truths 四個欄位。
RAG 評估分數低的時候該怎麼改善？
依指標對症下藥：Faithfulness 低就強化 Prompt 要求「只能依 context 回答」；Relevance 低要檢查切片是否相關並加 Reranker；Recall 低要檢查 chunking 並導入 Hybrid Search；Latency 高（目標低於 3 秒）可降 Top-K 或改用 Flash 模型；Cost 高可用 Context Caching 或更小的模型。
RAG 上線後要怎麼持續監控與迭代？
作者建議每月跑一次評估，找出表現最差的問題類型，針對性優化 chunking、embedding 或 prompt，再跑一次確認分數提升，穩定後才上線。上線後可 A/B 測試不同 chunk_size（300、500、800）、Embedding 模型、Top-K（5、10、20）與是否加 Reranker，並讓用戶在回答下方點讚或倒讚，收集比實驗室評估更貼近實際的數據。