2024/12/02

Know Your RAG: Dataset Taxonomy and Generation Strategies for Evaluating RAG Systems

• RAGシステムの評価のための質問-コンテキストペアの新しいタクソノミーと多様なデータセット生成戦略を提案する研究
• 特徴
  • ラベルタクソノミーの特徴
    • (コンテキスト, クエリ)ペアに基づくラベル付け
    • エンタープライズシステムの特定ドメインに適応
    • 検索性能の詳細な評価を可能にする
  • データセット生成戦略
    • マルチステップLLMクエリ
    • 小規模LLMのファインチューニング
    • 大規模LLMへの依存を削減
• 手法
  1. 質問-コンテキストペアの新しいタクソノミー
     • エンタープライズRAGシステムの特定のクエリタイプを分類
     • システムの狭い適用範囲に基づいたラベル付け手法
  2. 多様なQ&Aデータセット生成戦略
     • プロンプトエンジニアリングと複数ステップのLLMクエリ
     • 小規模LLMのファインチューニング
     • 大規模LLMへの高コストなクエリを回避する手法