Observability — Langfuse や自作ロガーで監視する

学習のねらい

AI エージェントを本番運用する上で、エージェントが意図通りに動作しているか、パフォーマンスはどうか、コストは適切かなどを継続的に監視し、問題が発生した際に素早く特定・解決できる仕組みが不可欠です。このレッスンでは、そのための Observability (可観測性) の概念と、それを実現するツールとして Langfuse や自作ロガーの活用方法について学びます。

Observability (可観測性) とは

Observability とは、システムが外部に出す情報 (ログ、メトリクス、トレース) を分析することで、システムの内部状態を推測し、何が起こっているかを理解する能力のことです。特に AI エージェントにおいては、LLM の呼び出しがブラックボックスになりがちなので、この能力が非常に重要になります。

Observability を高めることで、以下の疑問に答えられるようになります。

• 「なぜこのユーザーには、期待と異なる回答が返されたのか？」
• 「最近、LLM のコストが急増しているのはなぜか？」
• 「エージェントの処理速度が遅くなっている原因はどこにあるのか？」

Trace (トレース) と Span (スパン) の概念

Observability の中でも、AI エージェントの複雑な処理を追跡するのに役立つのが Trace (トレース) と Span (スパン) の概念です。

• Trace (トレース): ユーザーからの1つのリクエストから、最終的な結果が返されるまでの一連の処理全体を表します。例えば、「ユーザーが質問 → エージェントが検索 → LLM に問い合わせ → 回答生成」という一連の流れが1つのトレースになります。
• Span (スパン): トレースを構成する個々の操作や処理の単位です。例えば、「検索ツールの呼び出し」「LLM へのプロンプト送信」「データベースからの情報取得」などがそれぞれ1つのスパンになります。各スパンには、開始時刻、終了時刻、実行時間、関連するメタデータ (プロンプト、モデル名、応答など) が含まれます。

これらのトレースとスパンを可視化することで、エージェントのどの部分で時間がかかっているか、どの LLM 呼び出しで問題が発生したかなどを詳細に分析できます。

Langfuse — LLM アプリケーションに特化した Observability ツール

Langfuse は、LLM アプリケーションに特化したオープンソースの Observability プラットフォームです。LLM の呼び出し、プロンプト、応答、コスト、レイテンシなどを自動的に収集し、ダッシュボードで可視化してくれます。

Langfuse の主な機能:

• トレースの可視化: ユーザーリクエストごとの LLM 呼び出しチェーンをツリー形式で表示し、各スパンの詳細を確認できます。
• コスト・レイテンシの監視: LLM の利用コストや処理時間の推移をダッシュボードで一元的に監視できます。
• プロンプトの比較: 異なるプロンプトやモデルのパフォーマンスを比較し、改善の効果を測定できます。
• 品質評価: 人間による評価 (Human-in-the-Loop) を統合し、エージェントの出力品質を継続的に改善するためのフィードバックループを構築できます。

Langfuse のようなマネージドサービスを利用することで、Observability 環境の構築・運用にかかる手間を大幅に削減できます。

自作ロガーによる Observability

小規模なプロジェクトや、特定の情報のみを追跡したい場合は、自作のロガー (Logger) を使うことも可能です。Python の logging モジュールなどを利用して、LLM の呼び出し前後のプロンプト、応答、処理時間、エラー情報などをファイルやデータベースに記録します。

自作ロガーのメリット:

• 柔軟性: 必要な情報だけを、必要な形式で記録できます。
• コスト: 外部サービスに依存しないため、利用料がかかりません。

自作ロガーのデメリット:

• 可視化の手間: 収集したログを分析・可視化するためのツール (例: Kibana, Grafana) を別途構築・運用する必要があります。
• 管理の複雑さ: トレースやスパンといった構造化された情報を扱うには、設計と実装に手間がかかります。

まとめ

AI エージェントの本番運用において、Observability はシステムの健全性を保ち、継続的に改善していく上で不可欠です。Langfuse のような専用ツールを活用するか、自作ロガーで必要な情報を収集し、エージェントの内部挙動を「見える化」する習慣を身につけましょう。