LLMと社内データを連携するRAGの仕組みと精度向上チューニングの実践ガイド

社内のマニュアルや過去案件をChatGPTに読ませて質問できたら——そのニーズ自体は正しいです。ただし、ChatGPTのAPI（外部サービスを呼び出す仕組み）を使うだけのシステムでは実現できません。自社データに根ざした回答を返させるには「RAG（Retrieval-Augmented Generation）」という仕組みが必要で、それなりの設計が求められます。

RAGとは何か——LLMに「記憶」を与える技術

RAGはユーザーの質問に対してまず社内ドキュメントのデータベースから関連する文章を検索（Retrieval）し、その文章をLLMに渡して回答を生成（Generation）させる仕組みです。LLMは「渡された文章の範囲内で答える」ため、ハルシネーション（AIが事実と異なる内容を作り出すこと）が大幅に減り、参照元の文書を回答に紐付けることができます。

RAGシステムの構成要素

① ドキュメントの取り込みとチャンキング

PDF・Word・Notionページ・社内WikiなどのドキュメントをテキストとしてRAGシステムに取り込みます。長い文書を「チャンク（意味のある断片）」に分割する処理が重要で、通常200〜800トークン（おおよそ数百文字分）程度が目安です。

② ベクトル埋め込みとベクトルDB

分割したチャンクを「埋め込みモデル」（文章の意味を数値の並びに変換するAI）でベクトル（意味を表す数値）に変換し、専用のデータベース（ベクトルDB。Pinecone・Weaviate・pgvector等）に保存します。ユーザーの質問もベクトル化され、意味的に近いチャンクを高速検索します。

③ LLMによる回答生成とプロンプト設計

検索で得られた上位チャンクとユーザーの質問をまとめてLLMに渡し、回答を生成させます。「以下の文書のみを根拠に回答してください」という制約プロンプトがハルシネーション抑制の鍵です。

RAGの精度が出ないときの原因切り分け

「RAGの精度が出ない」と一言でまとめてしまうと、対策が的外れになりがちです。原因は複数の層に分かれており、どこに問題があるかを切り分けてから手を打つ必要があります。

① データ品質の問題か

取り込んだ文書そのものが古い・重複している・表記がバラバラ、といった状態だと、検索やモデルをどれだけ工夫しても正しい回答にはたどり着けません。「文書を全部読ませれば賢くなる」という期待が外れる典型パターンで、まずソースデータの棚卸しが最初の切り分けポイントです。

② チャンク設計の問題か

文書の分割サイズや区切り方が実際の質問の粒度と合っていないと、関連情報が別々のチャンクに分断されて検索にヒットしにくくなります。次章の「チャンキング戦略の最適化」がこの層への対処です。

③ 検索（Retrieval）の問題か

文書もチャンクも適切なのに、検索で関連性の低いチャンクばかり拾ってしまうケースです。埋め込みモデルが日本語ドキュメントに合っていない、上位候補を絞り込む再ランキングが入っていない、といった要因が多く、これも次章で扱います。

④ 評価の仕組みがそもそもない

「なんとなく精度が悪い気がする」という感覚だけで改善を進めると、どの施策が効いたのか分からず堂々巡りになります。テスト用のQ&Aペアでスコアを定点観測する評価の仕組みがあるかどうかも、原因切り分けの重要な観点です（評価方法はFAQで後述します）。

この4つの層を切り分けずにモデルだけを最新のものに入れ替えても、期待した改善は起きにくいのが実情です。以下では②③への具体的なチューニング手法を見ていきます。

RAG精度向上のチューニング手法

チャンキング戦略の最適化

見出し・段落・センテンスの境界を考慮した「意味的チャンキング」に変更するだけで、検索ヒット率が大きく改善するケースがあります。前後のチャンクを少しオーバーラップさせる「スライディングウィンドウ」手法も文脈の途切れを防ぐ有効な手段です。

埋め込みモデルの選定

日本語ドキュメントを扱う場合は、日本語を含む多言語に対応した埋め込みモデル（multilingual-e5-large等）の選定が精度を左右します。英語特化モデルで日本語を処理すると、検索精度が著しく低下します。モデルの選定はAIモデル共有サイト「Hugging Face」の日本語性能ランキング（JMTEB等）が参考になります。スコアと自社ドキュメントの特性を照らし合わせて選定することをお勧めします。

再ランキング（Re-ranking）の導入

ベクトル検索で取得した上位数十件を、より精度の高い「再ランカー」（検索結果を関連度順に並べ直すAI）で並び替えてからLLMに渡す手法が効果的です。Cross-Encoderモデル（質問と文章の関連度を精密に測り直すAI。Cohere Rerank・BGE-Reranker等）を使うことで精度向上率20〜40%に達するケースもあります。

ローカルLLM導入のメリットとデメリット

• メリット：機密データが社外に出ない・API従量課金なし・カスタマイズ性が高い・応答が速い（低レイテンシ）
• デメリット：AI計算用の専用機材（GPUサーバー）の調達費用が高額（数百万〜数千万円）・最先端の大規模AI（フロンティアモデル）より複雑なタスクで精度が劣る・運用負荷が高い

まずクラウドLLM（OpenAI・Claude等）でPoC（概念実証＝小さく試して効果を確かめる工程）を始め、本番移行時にローカルLLMへ切り替えるハイブリッド戦略が費用対効果の高いアプローチです。なお、クラウドLLM・ローカルLLMいずれを選ぶ場合も、生成AI活用にあたっては情報漏えいや権限管理などのセキュリティ論点を事前に整理しておく必要があります。詳しくは生成AIのセキュリティ対策とは｜企業が導入前に整理すべき論点で解説しています。

企業でRAGを導入する際の費用感

• 初期のPoC（特定ドキュメント1カテゴリ・クラウドLLM）：2〜4週間で効果を検証
• 本番RAGシステム構築（全社マニュアル・クラウドLLM）：1〜2ヶ月
• ローカルLLM環境構築込み（GPUサーバー調達含む）：3〜6ヶ月。機密要件が高い場合の選択肢
• 保守・モデルアップデート対応：継続運用として別途

スコープによって進め方は変わります。たとえば従業員80名規模の製造業がRAGを導入する場合を想定してみます。社内に設計マニュアル・クレーム対応記録・仕入れ先の仕様書が約1,200ファイルあり、担当者が必要な情報を探すのに平均30〜40分かかっているとします。PoC（設計マニュアルのみ・3週間）で検索時間を平均5分以下に短縮できれば、その数字を根拠に全社展開の稟議が通りやすくなります。「まずPoCで社内を説得できる数字を出す」という進め方が、RAGのような新技術の導入では特に有効です。具体的な費用は対象範囲・データ量・ローカル/クラウドの別で変わるため、範囲を整理したうえで個別にお見積りします。

ベンダーが言わない、RAGの3つの本音

RAG構築を請けたい会社はあまり口にしませんが、発注前に知っておくべきことです。

• 「社内文書を全部読ませれば賢くなる」は誤り。散らかった文書をそのまま入れても検索がヒットせず精度は出ない。効果の大半はチャンキングと元データの整備で決まり、最新モデルを使うかどうかはその次。データが汚いままのRAGは「使えない」で終わる
• PoCの成功と本番の成功は別物。特定1カテゴリで精度が出ても、対象を全社文書に広げると質問の幅が跳ね上がり精度が落ちる。だからまず特定1カテゴリの小さなPoCで必ず自社データで検証し、本番のスコープは段階的に広げる
• 作って終わりにすると数ヶ月で陳腐化する。文書は日々更新される。更新を検知してインデックスを貼り直すパイプラインを最初の設計に含めないと、古い回答を返し続けて誰も使わなくなる

他社構築・自社構築RAGのセカンドオピニオン

ここまでの原因切り分けは、これから構築する場合だけでなく、「すでに外部ベンダーに構築してもらったが精度が伸び悩んでいる」「社内で内製したが思ったように使われていない」というケースにもそのまま当てはまります。

awaiでは、新規構築の際の現状把握（構造設計・ROI試算を含む）と同じ枠組みを、既存RAGの棚卸しにも使っています。ドキュメントの状態・チャンク設計・検索と再ランキングの構成・評価の有無を一通り確認したうえで、どこから手を入れるべきかをレポートにまとめる形です。作り直しありきではなく、活かせる部分は活かしたうえでの改善提案が基本です。

発注担当者・経営者向けまとめ：RAG導入で何が変わるか

技術的な詳細はエンジニアに任せるとして、意思決定者が押さえるべき点は3つです。①まず特定1カテゴリの小さなPoCから始める（2〜4週間で効果を検証できる）、②全社一斉導入ではなく「最も時間がかかっている検索業務」から1つ絞って着手する、③クラウドLLMかローカルLLMかは機密データの扱い方で決まる。この3点を押さえれば、ROIの見えない大規模投資を避けながらAI活用を前進させられます。

ここまで読んで「自社だけで進めるのは難しそう」と感じたなら、その感覚は正確です。RAGは作って終わりではなく、チャンキング・埋め込みモデルの選定・再ランキング・更新パイプラインの設計、そして導入後のチューニングで精度が決まります。awaiは、小さなPoCの設計から本番構築・運用改善までを一気通貫で支援します。外注する場合の費用相場や依頼前の確認ポイントはRAG構築を外注する費用相場と、依頼前に確認すべき3つのことでも詳しく解説しています。