の取り組みで最も難しいのが、効果をどう測るかです。 には順位という分かりやすい指標がありましたが、ここにはありません。
この回は、何をもって成果とするかの定義から扱います。既存の指標をそのまま使うと、判断を誤ります。
1. 訪問数だけを見ると判断を誤る
生成AIの回答では、利用者が画面上で答えを得て、サイトを訪問しないことが標準になります。これを といいます。
| 起きていること | 訪問数 | 実際の成果 |
|---|---|---|
| 引用され、訪問もされた | 増える | 明確に成果 |
| 引用されたが、訪問はされない | 変わらない | 認知は得ている |
| 引用されず、検索経由も減った | 減る | 成果が出ていない |
| 引用され、検索訪問が減った | 減る | 判断が難しい |
問題は4行目です。訪問数は減っているのに、認知としては広がっている。従来の指標だけを見ていると「施策は失敗」と判断してしまいますが、実態は違うかもしれません。
この誤判断は実害を生みます。うまくいっている施策を止めてしまうためです。訪問数が減ったら、引用されているかどうかを確認してから判断してください。
2. 何を測るか
測る対象を、直接的なものから間接的なものまで並べます。1つでは判断できないので、組み合わせて見ます。
| 指標 | 測りやすさ | 何が分かるか |
|---|---|---|
| AI経由の訪問数 | 中 | 参照元から判別できる場合がある |
| されるか | 手間がかかる | 最も直接的。実際に試すしかない |
| 指名検索の推移 | 測りやすい | 認知が広がったかの間接指標 |
| 問い合わせの内容 | 測りやすい | 「AIで見た」という言及が入る |
| の訪問 | 測りやすい | 参照の対象になっているか |
| 従来の検索からの訪問 | 測りやすい | 比較の基準として |
3行目の指名検索が、実務では有効な間接指標です。AIの回答で社名を知った人が、後から社名で検索するという動きが起きます。訪問数が減っても指名検索が増えているなら、認知は広がっていると解釈できます。
4行目も見落とさないでください。問い合わせのときに「AIに聞いたら出てきた」と言われることが増えているなら、それは直接的な証拠です。定性的な情報も記録しておく価値があります。数値化できないからと捨ててしまうと、最も確度の高い情報を失うことになります。件数が少なくても、記録として残しておいてください。
3. 引用されるかを実際に試す
最も直接的なのは、実際に質問してみることです。自動での完全な計測は困難なので、定期的に試して記録するという運用になります。
- 1想定される質問を20〜30件用意する — 利用者が実際に聞きそうな形で
- 2複数のサービスで試す — 事業者によって結果が違う
- 3自社が引用されたかを記録する — された / されない / 競合が出た
- 4定期的に繰り返す — 月1回など、間隔を決めて
- 5変化を追う — 施策の前後で比較する
import csvfrom collections import defaultdict
# 手作業で試した結果を、この形で記録していく# date, service, question, cited (self/competitor/none)ROWS = "llmo_check.csv"
def summarize(path=ROWS): by_month = defaultdict(lambda: {"self": 0, "competitor": 0, "none": 0}) with open(path, encoding="utf-8") as f: for row in csv.DictReader(f): month = row["date"][:7] by_month[month][row["cited"]] += 1
print(f"{'月':<9}{'自社':>6}{'競合':>6}{'なし':>6}{'自社率':>9}") for month in sorted(by_month): c = by_month[month] total = sum(c.values()) rate = c["self"] / total if total else 0 print(f"{month:<9}{c['self']:>6}{c['competitor']:>6}" f"{c['none']:>6}{rate:>8.0%}")
if __name__ == "__main__": summarize()競合が引用されたかも記録するのが要点です。「自社が出ない」だけでは、そのテーマ自体が引用されにくいのか、競合に負けているのかが分かりません。競合が出ているなら、勝てる余地があるということです。
同じ質問でも毎回同じ回答になるとは限りません。1回の結果で判断せず、複数回・複数サービスで試して割合で見てください。これは 統計入門 EP.07 で扱った「少ない件数は揺れる」という話と同じです。
4. 期間を約束しない
「何か月で効果が出るか」という問いには、根拠を持って答えられません。参照のされ方は事業者ごとに違い、しかも仕様が頻繁に変わるためです。
期間を約束する主張は疑ってください。この分野は歴史が浅く、公開されている一次情報も限られています。断定的な数字を出せる状況にありません。
現実的なのは、測り始めて、変化を追うことです。基準となる数字を先に取り、施策の前後で比較する。絶対的な目標値ではなく、変化の方向で判断します。「引用率を何%にする」という目標は、そもそも達成可能な水準が分からないため設定できません。前月比で見るほうが実態に合います。
5. 測定の設計
測る仕組みを作るときの順序です。先に基準を取っておかないと、後から比較できません。
- 1施策の前に基準を取る — これを飛ばすと比較対象がない
- 2複数の指標を並べる — 訪問数だけにしない
- 3定性情報も記録する — 問い合わせでの言及など
- 4間隔を決めて繰り返す — 気づいたときだけでは推移が見えない
- 5外部要因を記録する — 仕様変更、季節性、他の施策
5番目が重要です。変化があったとき、それが自社の施策によるものとは限りません。事業者側の仕様変更で、全サイトの参照のされ方が変わることがあります。何があったかを記録しておくと、後から解釈できます。
これは 統計入門 EP.06 で扱った因果の話です。施策の後に数字が変わったからといって、施策が原因とは限りません。共通の原因（仕様変更）があるかもしれない。
6. 何を報告するか
最後に、社内への報告の仕方です。訪問数という分かりやすい指標が使えないぶん、説明の設計が要ります。
| 報告すること | 書き方の例 |
|---|---|
| 引用の状況 | 「30問中12問で自社が引用（前月8問）」 |
| 競合との比較 | 「競合Aは15問。差は縮まっている」 |
| 間接指標の推移 | 「指名検索が前月比で増加」 |
| 定性的な証拠 | 「問い合わせ3件で『AIで見た』と言及」 |
| 分からないこと | 「訪問数への影響は切り分けできていない」 |
最下行を必ず入れてください。分からないことを分からないと書く。この分野は不確実性が高く、確実に見える報告のほうがむしろ疑わしい。誠実に不確実性を示すほうが、長期的には信頼されます。加えて、後から前提が崩れたときに立場を失いません。断定した数字が外れると、次の報告の信頼まで下がります。
訪問数の減少を単独で失敗と判断しない（ゼロクリック が標準になる）。測るのは引用の有無・指名検索・問い合わせでの言及を組み合わせて。引用は実際に質問して記録するしかなく、競合が出たかも記録する。期間は約束できない（根拠がない）。施策の前に基準を取る。そして報告には分からないことも書いてください。
この記事の感想を教えてください
あなたの 1 クリックで、本当にこの記事は更新されます。「もっと詳しく」「続編希望」が一定数集まった記事は、 ふくふくが 実際に内容を拡充したり続編記事を公開 します。 送信したリアクションはお使いのブラウザに記録され、再カウントされません。