使われない RAG にしない ── 定着の設計

この連載では技術的な話を扱ってきましたが、区切りとして定着の話をします。技術の問題ではないので、これまでとは違う観点になります。

理由は、精度以外にあることがほとんどです。

1行目が最も多く、最も対処が簡単です。作ったことを知らせる、使い方を示す。それだけで利用が立ち上がることがあります。技術的な改善に時間をかける前に、まず周知が足りているかを確認してください。

最下行が最も深刻です。解決すべき課題が無かったなら、精度をいくら上げても使われません。技術の問題ではなく、対象の選定の問題です。

全社に一斉に出さないでください。対象を絞ります。

1. 1今の方法で明確に困っている業務を探す — 課題があるところから
2. 2答えが文書に書かれている領域を選ぶ — 検索で答えられる範囲
3. 3質問の型が限られている領域を選ぶ — 精度を出しやすい
4. 4少人数で始める — 反応を見て直せる
5. 5うまくいったら、その人たちに広めてもらう — 実感が伴う

2番目が重要です。答えが文書に書かれていない質問には、RAG は答えられません。「規程はどうなっているか」は答えられますが、「この案件はどう進めるべきか」は答えられません。対象の選定を誤ると、精度以前に成立しません。

5番目が広げ方として最も有効です。実際に助かった人が話すほうが、作った側が説明するより伝わります。

定着するかは、既存のやり方と比べてどうかで決まります。ここを見誤ると、「良いものを作ったのに使われない」という状況になります。

1行目が現実です。詳しい人に聞けば30秒なら、RAG を開く理由がありません。ただしその人が不在のとき、深夜のとき、聞きにくいときには価値があります。

「聞きにくい」は軽視できない要因です。新しく入った人、他部門の人、何度も同じことを聞くのが気まずい人。人に聞かなくて済むというのは、それ自体が価値になります。

別のページを開く必要があるというだけで、利用は大きく落ちます。すでに使っている場所に置くのが原則です。

最下行が理想です。「これまでの検索窓が賢くなった」という形なら、新しい習慣を作らずに済みます。家庭の運用設計 EP.06 で扱った「すでに使っているものを優先する」と同じ発想です。

定着しているかは、回数だけでは分かりません。

3行目が最も示唆に富みます。一度試して離れた人が多いなら、初回の体験が悪いということです。精度なのか、速度なのか、期待とのずれなのか。離れた人に聞くのが最も確実です。

5行目も有用です。答えられなかった質問を集めると、利用者が本当に知りたいことが見えます。それが対象範囲の外なら、範囲を広げるか、期待を調整するという判断になります。この記録は LLM時代のテスト戦略 EP.08 で扱った評価セットの材料としても、そのまま使えます。

ここまで16回、RAG の実装と運用を扱ってきました。区切りとして、通底していたものを整理します。

最下行が、この連載の締めとして言いたいことです。精度を上げる技術は、この数年で大きく進みました。しかし使われる仕組みになるかは、別の問題として残っています。

そして EP.06 で扱ったとおり、RAG が最適解とは限りません。全文検索で足りるかもしれないし、詳しい人に聞くほうが速いかもしれない。技術を使うことが目的にならないよう、対象の選定から考えてください。

精度が出ているのに使われない仕組みは、精度が出ていない仕組みと、実務上は同じ価値しかない。