比較条件を固定する

LLMO施策の効果を判断するには、施策前後で測定条件を一致させます。

質問やAI面が変わった状態で数値を比較すると、施策ではなく測定条件の差を評価することになります。

observedデータだけを使う

開発用のSyntheticデータは、画面確認には使えても成果の証明には使えません。実際に取得したobserved回答だけを対象にし、Provider、Task ID、モデル、地域、言語、取得日時、費用をEvidenceとして残します。

データ取得が失敗した日をゼロとして扱うのではなく、欠測として区別します。サンプル不足の場合は、無理に結果を確定しません。

施策前後の期間を分ける

全期間の累積値では、施策の影響を切り分けられません。たとえば施策前7日と施策後7日のように、重ならない期間を使います。施策実施中の期間は必要に応じて除外します。

Baselineには、次を保存します。

Omloの方法論では、Outcomeでも同じCohortだけを使うことを前提にしています。

同じCohortを比較する

Baselineで対象にしたPrompt×Engineを保存し、Outcomeでも同じ組み合わせだけを評価します。新しいPromptを追加した場合は、既存ProjectのOutcomeへ混ぜず、別の測定単位として扱います。

比較可能なCohortが揃っている割合も確認します。BaselineにはあるがOutcomeにないPrompt×Engineが多い場合、結果を確定せず観測を継続します。

成果指標を分ける

一つの総合スコアだけでは、何が改善したか説明できません。

AI回答の変化とWeb流入・商談成果を同一の因果関係として断定しないことも重要です。関連性は示せても、外部要因を除いた因果証明には追加の設計が必要です。

経営報告では条件も示す

「言及率が20%上がった」だけでなく、対象Prompt、AI面、期間、サンプル数、欠測、取得方法を併記します。DataForSEOの検索需要を使う場合は、AIプロンプト実数ではなく需要代理値であることを明示します。

効果測定の製品ページでは、施策とOutcomeを一つのProjectへ関連付ける考え方を紹介しています。

まとめ

LLMO施策の効果測定では、スコアの見栄えより比較可能性を優先します。同じPrompt×Engine、独立した施策前後期間、observedデータ、最低サンプル数を守り、条件不足なら結論を保留してください。