AIエージェント評価ツール比較2026｜LangSmith・Braintrust・Langfuseの違いと選び方

AIエージェントの評価ツールは、2026年時点で用途に応じて主要な選択肢が分かれる。LangChain純正で導入が速い LangSmith 、評価(eval)を軸にスコア単位で課金する Braintrust 、MITライセンスで自社ホストも無料の Langfuse 、エージェント障害の検知・修復に振った Latitude 、OpenTelemetry準拠で自前運用に強い Arize Phoenix が代表格だ。

優劣は一律に決まらない。(1)既存スタックがLangChain中心か、(2)機密データを自社内に置く必要があるか、(3)料金がトレース・スコア・シートのどれで膨らむか——この3点で最適解が変わる。本記事は各社公式の料金・機能を2026年7月18日時点で横断集計し、強みと制約を同じ粒度で並べる。扱うのは評価・オブザーバビリティ基盤の「選定」で、指標設計や品質ゲート運用は関連記事に譲る。

本記事は中立を最優先する。特定ツールを勝たせず、各社の強みと制約(料金の落とし穴・ベンダーロック・運用負荷)を同一粒度で示し、優劣断定ではなく「目的別の適合」で結論する。当社(YDAIコンサルティング AI編集部)は複数事業で社内AI・エージェントを運用してきた立場だが、特定ツールや自社サービスへの送客はしない。

AIエージェントの評価ツールは「開発段階のオフライン評価」「本番のオンライン評価」「トレーシングによるオブザーバビリティ」の3層を支える基盤だ。主要な選択肢はLangSmith・Braintrust・Langfuse・Latitude・Arize Phoenixで、課金軸が席・スコア・ユニット・OSS自己ホストと各社で異なり、同じ利用量でも月額は数倍変わり得る(出典: 各社公式・参照2026-07-18)。唯一の正解はなく、既存スタック・機密データ要件・課金軸の3点で最適解が変わる。

AIエージェント評価ツールとは？評価の3層と主要ツール早見表

AIエージェント評価ツールとは、LLMやエージェントの出力品質を開発から本番まで一貫して定量化・可視化する基盤だ。まず評価が担う3層を押さえると、各社の違いが読み解きやすい。

AIエージェント評価ツールの定義：オフライン評価・オンライン評価・オブザーバビリティの3層

AIエージェント評価ツールは3層で品質を支える。「オフライン評価」は開発段階でデータセットとスコアラー(採点器)を使いリリース前に正しさを測る層、「オンライン評価・モニタリング」は本番トラフィックのスコアや異常を継続監視する層、「オブザーバビリティ」はトレーシングで各ステップ(ツール呼び出し・検索・生成)を可視化し失敗箇所を追う層だ。この3層をどこまで1ツールで賄うかが、後述の料金・セルフホスト・LLM-as-a-judgeの比較軸を左右する。

主要6プラットフォーム早見表（2026-07-18時点）

代表的な6プラットフォームを同粒度で並べたのが下表だ。各社公式の料金・ドキュメント・資金調達発表を2026年7月18日時点で横断集計した独自比較で、数値は変動が速いため導入前に一次情報で最新を確認してほしい。

ツール	ライセンス	料金・無料枠	セルフホスト	LLM-as-a-judge	オフライン評価	立ち位置・2026年の資本イベント
LangSmith	プロプライエタリ	席＋トレース課金／Developer無料(月5kトレース・1席・14日保持)	Enterpriseのみ	あり	あり	LangChain純正・トレース一体型
Braintrust	プロプライエタリ	スコア課金／Starter無料(月10kスコア・ユーザー無制限)	Enterpriseのみ	あり	あり(eval中核)	2026-02 $80M Series B(ICONIQ主導)
Langfuse	MIT(OSS)	ユニット課金／Hobby $0・自己ホスト無料	可(無料)	あり	あり	2026-01 ClickHouse傘下(MIT継続)
Latitude	MIT(OSS)	クラウド無料枠＋自己ホスト無料	可(無料)	あり	発展途上	エージェント障害の検知・修復に特化
Arize Phoenix	OSS	自己ホスト無料(大規模はArize AX)	可(無料)	あり	あり	OpenTelemetry準拠・ベンダー中立
Helicone	OSS	プロキシ／オブザーバビリティ寄り	可	あり	限定的	2026-03 Mintlify買収でメンテナンスモード

読み方は単純で、機密データを自社に置きたいなら「セルフホスト=可(無料)」の3社、LangChain中心なら純正LangSmith、と自社の制約から絞る。Heliconeのように買収で新機能開発が止まった選択肢もあり、資本イベント列は判断に効く(出典: 各社公式・参照2026-07-18)。

評価ツールと汎用ログ監視・APMの違い

評価ツールはAPM・汎用ログ監視と測る対象が異なる。APMはレイテンシ・エラー率・スループットを中心に見るが、評価ツールは出力の「正しさ・幻覚(hallucination)・関連性・指示追従」をLLM-as-a-judgeやルールベースのスコアラーで採点する。両者は排他でなく併用が一般的で、本記事は後者の評価・オブザーバビリティ基盤に絞る。

主要5プラットフォームの特徴・強み・制約

ここからは主要5プラットフォームを1社ずつ、強みと制約を同粒度で整理する。いずれも無料枠があるため、自社の実データで試してから判断するのが安全だ。

LangSmith：LangChain純正・トレース一体型

LangSmithはLangChain/LangGraph純正で計装(instrumentation)が最速だ。料金はDeveloper無料(1席・月5kトレース・14日保持)、Plus $39/席(月10kトレース含む)、超過は $2.50/1k(14日)〜 $5.00/1k(400日拡張)、Enterpriseはカスタムでセルフホスト対応(出典: LangChain公式・参照2026-07-18)。強みはエコシステム統合とトレース・評価の一体運用。制約はプロプライエタリで、非LangChainスタックだと魅力が下がり、席数×トレース量で課金が積み上がりやすい点だ。

Braintrust：eval-first設計・スコア課金

Braintrustは評価(eval)を中核に据え、実験・データセット・スコアラーの作り込みに強い。2026年2月17日に $80M(約800M評価額)のSeries BをICONIQ主導で調達し、a16zやGreylockも参加、Notion・Replit・Cloudflareなどが採用する(出典: Braintrust公式ブログ・参照2026-07-18)。料金はStarter無料(月10kスコア・ユーザー無制限)、Pro $249/月、Enterpriseはカスタム。要注意は課金単位が「スコア」で、スコアラーを増やすほど消費が速い点。強みはeval運用の完成度、制約はスコア課金の読みにくさとロックインだ。

Langfuse：MITライセンスOSS・ClickHouse傘下

LangfuseはMITライセンスのOSSで、トレーシング・データセット・LLM-as-a-judge・アノテーションを自己ホストすれば無料で使える。2026年1月16日にClickHouseが買収し($400M Series Dも同時発表)、MITライセンスとセルフホスト方針の継続が明言された(出典: ClickHouse公式・参照2026-07-18)。クラウドはHobby $0/Core $29/Pro $199/Enterprise $2,499で全有料プランがユーザー無制限、超過は $8/100kユニットからの従量(出典: Langfuse公式・参照2026-07-18)。強みはロック回避とコスト透明性、制約は自己ホストがPostgreSQL/ClickHouse/Redis/S3互換前提で運用負荷を伴う点だ。

Latitude：エージェント障害の検知・修復に特化（MIT OSS）

LatitudeはMITライセンスのOSS(latitude-dev/latitude-llm)で、エージェント障害の観測・修復に軸足を置く。回帰(regression)データセット・モニター・セマンティック検索・アノテーションで、本番で崩れたエージェントを直す工程に強い。クラウド無料枠に加え、Docker ComposeやKubernetes Helmでの自己ホストにも対応する(出典: Latitude GitHub・参照2026-07-18)。強みはエージェント運用・障害対応の設計思想とMITの自由度、制約はオフライン評価UIが発展途上でコミュニティ規模が先行大手より小さい点だ。

Arize Phoenix：OpenTelemetry準拠OSS・自己ホスト評価

Arize PhoenixはOSS(arize-ai/phoenix)で、OpenTelemetry/OpenInference準拠のベンダー中立な計装が特徴だ。phoenix.evalsでLLM-as-a-judgeを実行でき、RAG指標(faithfulness・関連性・幻覚検知)や埋め込み分析も備える。自己ホストは無料でサブスク不要だが、大規模運用や高度な管理は商用のArize AX側が担う(出典: Arize公式・参照2026-07-18)。強みはOTel準拠で計装がロックインしにくい点と自己ホスト評価の強さ、制約はUIが開発者寄りな点だ。

比較軸で選ぶ：料金モデル・セルフホスト・評価機能

ツール名より比較軸で絞ると迷いにくい。月額を左右する料金モデル、機密データを扱えるかのセルフホスト、評価機能の3軸を順に見る。

料金モデルの違い：トレース課金 vs スコア課金 vs シート課金 vs OSS無料

最も見落とされがちなのが課金軸の違いで、同じ利用量でもどの単位で課金されるかで請求は数倍変わる。

ツール	課金軸	コストが膨らむ要因
LangSmith	席数＋トレース数	人数増・トレース超過・長期保持
Braintrust	スコア数(スコアラー数に比例)	評価器を増やすほど加速
Langfuse	ユニット課金／自己ホストは無料	クラウドは処理ユニット量
Latitude・Arize Phoenix	OSS自己ホストなら無料	運用・可用性が実質原価

たとえばBraintrustは1トレースに5本のスコアラーを流すと消費が5倍速く、無料枠の到達も早い。OSS自己ホストは月額ゼロでも可用性やバックアップの責任が自社に移る。結局は無料枠で自社の実トレース量・スコア量を流して試算するのが最も外さない(出典: 各社公式・参照2026-07-18)。

セルフホストとデータレジデンシー：機密データを自社内に置けるか

完全な自己ホストを無料で実現できるのはLangfuse(MIT)・Latitude(MIT)・Arize Phoenix(OSS)の3つで、LangSmithとBraintrustの自己ホストはEnterprise限定だ。トレースにはプロンプトや回答=顧客情報・社内文書が含まれ得るため、医療・金融・行政などデータレジデンシー要件が厳しい領域ではOSS自己ホストが有力になる。ただし自己ホストはClickHouseやRedisなどの運用・可用性責任を自社が負うトレードオフを伴う。機密性の要求水準と運用体力の両方を見て選び分けるのが現実的だ。

LLM-as-a-judge・データセット・CI/CD品質ゲート

LLM-as-a-judgeは、LLMに別のLLMやエージェントの出力を採点させる自動評価手法だ。今回の5社はいずれも搭載するが、差が出るのは組込みスコアラーの数・カスタム評価器・回帰データセット・CI/CD品質ゲート(スコアが閾値を割ったらデプロイをブロックする仕組み)への対応度である。何をどんな指標で測るかはRAGの精度評価と指標が、評価を本番リリースの合否に組み込む品質ゲート運用はAIエージェントのPoCから本番化が詳しい。この「何を測るか」を先に決めると評価器の設計がぶれない。

ユースケース別の選び方と導入前の注意点

最後に、勝者を断定せず「適合条件」で選び方を示す。どれも無料枠で試せるので、下表を出発点に自社の制約と突き合わせてほしい。

ユースケース別のおすすめ（4パターン）

状況・重視点	適合しやすい選択肢	理由
LangChain/LangGraph中心	LangSmith	純正で計装が最速
eval運用を作り込みたい	Braintrust	eval-first設計(ただしスコア課金の試算必須)
機密データを自社内・コスト透明重視	Langfuse／Arize Phoenix	OSS自己ホストで無料・移行余地大
エージェント障害の検知・修復重視	Latitude	回帰データセット・モニターが軸

まずは無料枠で自社の実データを流して月額を試算し、そのうえで本採用を判断したい。繰り返すが、本記事は特定ツールを勝たせず、送客も行わない。

導入前の注意点：課金の落とし穴・ベンダーロック・買収/終息リスク

導入前の注意点は3つ。第1は課金単位の読み違いで、スコア・トレース・席のどれで積み上がるかを取り違えると月額が数倍ぶれる。第2はベンダーロックで、OpenTelemetry準拠のArize PhoenixやMITのLangfuse・Latitudeは移行余地が大きい。第3は買収・終息リスクだ。実例として、Heliconeは2026年3月にMintlifyに買収され、セキュリティ修正とバグ対応のみのメンテナンスモードに移行し新機能開発が止まった(出典: Mintlify公式・参照2026-07-18)。ゲートウェイ用途の代替はLLMゲートウェイの比較も参照したい。一方でLangfuseはClickHouse傘下でもMIT方針を継続しており、同じ買収でも影響は一様でない。料金・提供状況は動きが速いので、必ず一次情報で最新を確認してから決めたい。

まとめ

AIエージェントの評価ツールは、オフライン評価・オンライン評価・オブザーバビリティの3層を支える基盤で、LangSmith・Braintrust・Langfuse・Latitude・Arize Phoenixが主要な選択肢だ。優劣は一律に決まらず、(1)既存スタックがLangChain中心か、(2)機密データを自社内に置くか、(3)課金がトレース・スコア・シートのどれで膨らむか、の3点で最適解が変わる。MIT/OSSの3社は自己ホスト無料で移行余地が大きく、SaaSの2社は導入・運用が速い。無料枠で自社データを試算し、一次情報で最新を確認したうえで目的に合うものを選びたい(本記事は2026年7月18日時点の各社公式情報にもとづく)。

---

評価の中身、すなわち何をどんな指標で測るかはRAGの精度評価と指標、評価を本番リリースの合否に組み込む運用はAIエージェントのPoCから本番化が詳しい。ツール選定の視点はAIツールの比較・レビューの視点、複数エージェント構成の設計はマルチエージェントの設計パターンもあわせてどうぞ。