要讓 AI 認識公司專屬資訊，RAG、微調、Long Context 三條路線中作者建議 90% 的情況選 RAG：以 5MB 知識庫、每天 1,000 次問答估算，RAG 月成本約 NT$4K，微調每次重訓要 NT$50K，Long Context 月成本高達約 NT$1.4M；微調只在需要特定風格或術語時採用，Long Context 適合一次性分析，2026 年最佳實踐則是 RAG 加輕量微調。
發布 2026-05-28 · 最後更新 2026-09-27 · 作者 賴家榮 Andy Lai
想讓 AI 知道你公司的事，有三條技術路線：RAG、微調、Long Context。每條的成本、效果、適用場景不同。這篇用決策樹幫您選對。
三條路線的核心差別
| 技術 | 原理 | 更新成本 | 準確度 |
|---|---|---|---|
| RAG | 把文件存向量庫，問題來時即時翻書 | 低（直接改文件） | 高（有引用） |
| 微調 | 用您資料再訓練模型一次 | 高（重新訓練） | 中（會幻覺） |
| Long Context | 把所有文件塞進 prompt | 無（即時） | 高但貴 |
成本對比（實際數字）
假設：5MB 公司知識庫、每天 1,000 次問答
RAG（推薦）
建置：NT$100K（自架）/ 400K（委外）
月成本：API NT$3K + 向量庫 NT$1K = NT$4K
微調
建置：NT$200K（資料整理 + 訓練）
月成本：API NT$5K（用微調後的模型）
資料更新：每次重訓 NT$50K
Long Context（每次塞 5MB）
建置：NT$0
月成本：每次塞 5MB ≈ 1.25M tokens × $1.25 / M × 1,000 次 × 30 = NT$1.4M/月
顯然 RAG 完勝。
何時用 RAG（90% 的情況）
- 文件量 50+ 份
- 文件會更新（每月、每季）
- 需要引用來源（合規、可驗證）
- 有重複問答場景
何時用微調
- 需要特定的「風格」或「口吻」（例：模仿某律師的法律意見書文風）
- 需要學會公司特有的「術語」或「縮寫」
- 需要極低延遲（微調模型不必查資料庫）
- 有大量結構化的訓練資料（> 1,000 筆問答對）
何時用 Long Context
- 一次性分析（不會重複問同一份文件）
- 文件 < 200K tokens
- 需要全文跨段落推理（RAG 切片後可能丟失語境）
- 不在乎成本
混合方案：RAG + 微調
2026 年的最佳實踐其實是「RAG + 輕量微調」：
- RAG 負責提供「事實」
- 微調負責教 AI「公司風格」（怎麼說、怎麼寫）
- 兩者結合，準確度與一致性都有
決策樹
- 有需要 AI 知道的公司專屬資訊？沒有 → 用通用 LLM 就好
- 資訊量 < 50 份？是 → 用 Long Context
- 資訊會更新嗎？會 → 用 RAG（微調更新成本太高）
- 需要特殊風格 / 術語？是 → 混合 RAG + 微調
- 其他情況 → RAG
三個企業案例
- 食品代工：選 RAG（法規常更新、文件 240 份） → 案例 →
- 律師事務所：RAG + 微調（需要法律文書風格）
- 研究機構：Long Context（每份論文只分析一次）
常見問題
RAG、微調、Long Context 三者的核心差別是什麼？
RAG 是把文件存進向量庫，問題來時即時檢索並引用，更新成本低、準確度高；微調是用公司資料再訓練模型一次，更新要重新訓練、成本高，而且仍會幻覺；Long Context 是把所有文件直接塞進 prompt，不需建置但每次呼叫都很貴。
RAG、微調、Long Context 的建置與月成本差多少？
文章以 5MB 知識庫、每天 1,000 次問答估算：RAG 建置約 NT$100K（自架）或 400K（委外），月成本 API 3K 加向量庫 1K 約 NT$4K；微調建置約 NT$200K、月 API 約 5K，且每次資料更新重訓要 NT$50K；Long Context 建置 0 元，但月成本約 NT$1.4M。
什麼情況下該選微調而不是 RAG？
作者列出四種：需要特定風格或口吻（例如模仿某律師的法律意見書文風）、需要學會公司特有術語或縮寫、需要極低延遲（微調模型不必查資料庫），以及擁有超過 1,000 筆結構化問答對的訓練資料。若資料會經常更新，微調的重訓成本太高，仍應選 RAG。
什麼時候適合用 Long Context 而不建 RAG？
適合一次性分析、不會重複詢問同一份文件的場景，文件總量小於 200K tokens、需要全文跨段落推理（RAG 切片後可能丟失語境），而且不在乎成本。文章的決策樹中，資訊量少於 50 份時也建議直接用 Long Context 而非建 RAG。
RAG 和微調可以一起用嗎？
可以，文章指出 2026 年的最佳實踐是「RAG 加輕量微調」：RAG 負責提供事實與引用來源，微調負責教 AI 公司的風格與說法，兩者結合可同時兼顧準確度與一致性。案例中的律師事務所因需要法律文書風格，就採用 RAG 加微調的混合方案。