RAGの精度評価とは？効果測定の指標とRAGASの使い方【2026】

社内向けのRAGチャットボットを公開した直後は「よく答えてくれる」と評判がよかったのに、運用して数ヶ月（おおむね2〜3ヶ月）たつと「欲しい文書が出てこない」「回答がずれている」という声が増えてきた——。こうした劣化は、精度を体感だけで見ているチームほど気づくのが遅れる。RAGの精度評価とは、検索と生成の質を評価指標で定量化し、劣化を早期に検知して改善につなげる営みのことだ。

本記事は、RAGの精度評価で押さえるべき評価指標（faithfulness・context precision・context recall・response relevancy）の意味と、それらをオープンソースで自動算出する Ragas（RAGAS）の使い方、そして体感頼みを脱して改善ループを回す手順を、2026年6月30日時点の公式情報と当社の運用知見にもとづいて中立に整理する。RAGの仕組みそのもの（検索拡張生成の基礎）はRAGとは何かに譲り、本記事は「作った後にどう測り、どう直すか」に絞る。

RAGの精度は 検索 （必要な文書を正しく上位に取れたか）と 生成 （取れた文書に忠実で質問に合った回答ができたか）の二層に分けて測るのが基本だ。検索側は context precision・context recall、生成側は faithfulness・response relevancy といった指標で定量化する（出典: Ragas 評価指標一覧・2026-06-30参照）。これらを Ragas のようなオープンソースの評価フレームワークで定期的に算出し、スコアの低下した層から原因を切り分けて直す。体感だけの運用では劣化に気づけず、改善が空回りする。評価ループを最初から運用に組み込むことが、育つRAGと陳腐化するRAGの分かれ目になる。

なお当社（YDAIコンサルティング AI編集部）は、16以上の事業で社内ナレッジ検索・RAGチャットボットを構築・運用してきた立場にある。そのうえで本記事は特定の評価ツール・製品を勝たせず中立に整理し、特定ツールや当社サービスへの送客は一切しない。Ragas も実在する代表的なオープンソースの一例として扱い、唯一の正解として推奨するものではない。

結論：RAGの精度評価とは何か・なぜ評価ループが要るか

RAGの精度評価とは、検索拡張生成（RAG）が返す回答の質を、主観的な「良し悪し」ではなく評価指標で定量化し、継続的に改善するための仕組みだ。評価の対象は大きく二層に分かれる。ユーザーの質問に対して必要な社内文書を正しく引けたかという 検索（リトリーバル）の質 と、引いた文書にもとづいて忠実かつ的確な回答を作れたかという 生成（ジェネレーション）の質 である。

この二層を分けて測ることが重要なのは、精度が落ちたときの原因が層によって異なるからだ。検索が外していれば、どれだけ優秀なモデルでも正しい回答は作れない。逆に検索は当たっているのに回答がずれているなら、原因は生成側にある。下表のように層と代表指標を対応づけておくと、スコアを見ただけで「どこを直すべきか」の当たりがつく。

評価する層	何を見るか	代表的な指標
検索（リトリーバル）	必要な文書を、正しく上位に取れたか	context precision・context recall
生成（ジェネレーション）	取れた文書に忠実で、質問意図に合った回答か	faithfulness・response relevancy

評価ループが要る理由は、RAGの精度が静的ではないからだ。社内文書は日々追加・改訂され、利用者の質問も変わる。公開時点で良くても、文書が増えれば検索ノイズが増え、旧版が混ざれば誤った断片を引く。定量指標で定点観測していないと、この緩やかな劣化に気づけない。社内AI導入でつまずく典型は社内AI導入でよくある失敗パターンにも整理したが、評価ループの欠落はその中でも見えにくい落とし穴だ。

評価指標の早見表｜検索と生成を分けて測る

RAGの精度評価で使われる指標は、評価フレームワーク Ragas の定義が事実上の共通言語になっている。ここでは検索側と生成側の代表指標を、何を測るのかとスコアの向きで整理する。いずれもスコアは0〜1の範囲で、高いほど良いとされる（出典: Ragas 評価指標一覧・2026-06-30参照）。

指標	層	測る対象	スコアが低いと
context precision	検索	関連文書を上位に並べられたか	無関係な文書が上位に混じる
context recall	検索	必要な文書を取りこぼさず取れたか	必要な情報が検索から漏れる
faithfulness	生成	回答が文脈に忠実か（ハルシネーション）	文脈にない主張が混じる
response relevancy	生成	回答が質問意図に合っているか	的外れ・冗長・説明不足になる

検索の質を測る指標

context precision は、検索が関連する文書を無関係な文書より上位に並べられたかを評価する指標で、関連チャンクが上位に置かれているほど高くなる（出典: Ragas Context Precision・2026-06-30参照）。context recall は、回答に必要な情報のうちどれだけを検索で拾えたかを見る。precision が「上位の純度」、recall が「取りこぼしの少なさ」と覚えると整理しやすい。検索側が崩れていると、後段の生成をどれだけ磨いても回答は改善しない。

生成の質を測る指標

faithfulness は、生成した回答が検索文脈にどれだけ忠実かを測る。回答に含まれる主張のうち検索文脈で裏付けられる主張の割合として算出され、文脈にない主張（ハルシネーション）が混じるほど下がる（出典: Ragas Faithfulness・2026-06-30参照）。response relevancy（旧 answer relevancy）は、回答が質問の意図にどれだけ合っているかを見る指標で、説明不足の回答も冗長で余計な情報を含む回答もスコアを下げる（出典: Ragas Response Relevancy・2026-06-30参照）。

RAGASの使い方｜オープンソースで主要指標を自動算出する

Ragas（RAGAS）は、LLM・RAGアプリの評価に特化したオープンソースのフレームワークだ。ライセンスは Apache-2.0 で、前章の faithfulness・context precision・context recall・response relevancy などの指標を自動で算出できる（出典: Ragas GitHub・2026-06-30参照）。主観評価から測定可能なデータドリブンの評価へ移すことを狙った道具立てで、評価用のテストデータ生成や、運用データを使った継続的な評価にも対応する。

使い方の流れはシンプルだ。まず評価用のデータセット（想定質問と、その質問で本来引くべき文脈や期待回答の組）を用意する。次に測りたい指標を選び、RAGに質問を流して得た検索文脈と生成回答を Ragas に渡してスコアを算出する。これを定期的に回し、スコアの推移を時系列で記録していく。

注意点もある。faithfulness や response relevancy のような LLMを使って採点する指標 は、採点のたびに別のLLMを呼ぶためコストがかかり、スコアにも多少のぶれが出る。評価用LLMにも社内文書を渡す場合は、入力データの学習利用や情報漏洩への配慮が要る（この観点は生成AIのセキュリティリスクと社内対策で扱う）。なお評価フレームワークは Ragas だけではなく、ほかにもオープンソース・商用のツールが複数あるため、自社の言語・スタックに合うものを選べばよい。本記事は特定ツールを推奨せず、評価という営みの考え方に焦点を当てる。

体感だけの運用が空回りする理由｜評価ループ未実施の落とし穴

当社が16以上の事業で社内RAGを運用してきた立場から見ても、最も多い失敗は 精度を体感だけで判断していること だ。公開直後は質問も限られ文書も新しいため満足度が高いが、運用して数ヶ月たつと「欲しい文書が出てこない」という苦情が増えやすい。定量的な評価ループを回していないと、緩やかな劣化を数字で捉えられず、気づいたときには利用者の信頼を失っているからだ（当社AI編集部の運用知見・定性）。

体感運用が空回りするのは、改善の打ち手が当てずっぽうになるからでもある。「回答がいまいち」という曖昧な感想からは、検索が悪いのか生成が悪いのかが分からない。原因の層を特定しないままモデルを変えたりプロンプトをいじったりしても、検索側が原因なら効果は出ない。複数業種の実務担当者へのヒアリングでも、評価指標を導入する前は「直した気になって同じ苦情が再発する」状態に陥りがちだという声が共通していた（当社AI編集部の運用知見・定性）。

落とし穴を避ける要点は、公開前に最小限の評価データセットを用意し、公開後も同じ指標で定点観測する仕組みを最初から組み込んでおくことだ。評価は後付けでも始められるが、苦情が出てから慌てて作るより、運用初日から数字を持っている方が立て直しが圧倒的に早い。

精度改善ループの回し方｜検索と生成のどちらが原因かを切り分ける

改善ループの肝は、スコアが落ちた層を特定してから打ち手を選ぶことだ。指標を二層に分けて測っておくと、原因の切り分けが機械的にできる。faithfulness が低ければ生成側、context precision や context recall が低ければ検索側、と当たりをつけ、該当する層だけに手を入れて再評価する。これを定期的に回すのが精度改善ループだ。

検索側のスコアが低いとき

context precision・context recall が低いなら、原因は検索にある。打ち手はモデル変更ではなく、文書の前処理と検索設定の見直しだ。チャンク分割の粒度を文書構造に合わせる、見出しを付けて検索の境界を整える、旧版や重複を除いてノイズを減らす、必要なら再ランク（リランキング）を入れる、といった順で効く。検索が拾えていない以上、生成側をいくら磨いても回答は良くならない。

生成側のスコアが低いとき

検索は当たっているのに faithfulness が低い（文脈にない主張が混じる）なら、生成のグラウンディングが弱い。「与えられた文脈のみで回答する」「根拠がなければ分からないと答える」とプロンプトで明示し、出典を併記させる。response relevancy が低い場合は、回答が冗長・説明不足になっていないかを点検する。生成側の調整は効果が見えやすい一方、検索側の問題を覆い隠すことはできない点に注意したい。

切り分けの精度を上げるには、苦情が出た質問を「文書が無い」「文書はあるが検索で引けない」「引けたが回答がずれる」の三つに分類すると、そのまま打ち手に対応する。評価指標はこの分類を主観でなく数字で支える土台になる。

まとめ

RAGの精度評価とは、検索と生成の質を評価指標で定量化し、劣化を早期に検知して改善する営みだ。検索側は context precision・context recall、生成側は faithfulness・response relevancy で測り、Ragas のようなオープンソースのフレームワークで自動算出して定点観測する。体感だけの運用は緩やかな劣化を見逃し、改善が当てずっぽうになりやすい。評価ループを運用初日から組み込み、スコアが落ちた層を切り分けて直す——この基本を外さないことが、育つRAGと陳腐化するRAGの分かれ目になる（本記事は2026年6月30日時点の公式情報にもとづく）。

---

RAGの基礎から押さえたい方はRAGとは何か、社内AI導入でつまずきやすい点は社内AI導入でよくある失敗パターン、評価とあわせて固めたい安全面は生成AIのセキュリティリスクと社内対策もあわせてどうぞ。