評価の自動化：LLMを評価者に使う罠

あなたは厳格な評価者です。質問と回答を以下の 4 軸で 1〜5 点で評価してください。
【評価軸】- 正確性: 回答の事実が文脈と矛盾しないか（最重要）- 完全性: 質問のすべての要素に答えているか- 簡潔性: 過不足なく、冗長でないか（同じ情報量なら短い方が高得点）- 引用: 根拠となる文書が示されているか
【評価のルール】- 順番に bias されないこと（A と B のどちらが先でも公平に）- 長さで判断しないこと（短くても情報が揃っていれば満点）- 自分が書いた回答かどうかは関係ない（公平に評価）
【出力フォーマット】（JSON）{  "accuracy": <1-5>,  "completeness": <1-5>,  "conciseness": <1-5>,  "citation": <1-5>,  "overall": <1-5>,  "reasoning": "<200字以内で評価理由>"}

import jsonimport randomfrom anthropic import Anthropic
client = Anthropic()
JUDGE_PROMPT = """あなたは厳格な評価者です。質問と回答を以下の 4 軸で 1〜5 点で評価してください。
【評価軸】- 正確性: 回答の事実が文脈と矛盾しないか- 完全性: 質問のすべての要素に答えているか- 簡潔性: 過不足なく、冗長でないか- 引用: 根拠となる文書が示されているか
【評価のルール】- 順番に bias されないこと- 長さで判断しないこと（短くても情報が揃っていれば満点）
【出力フォーマット】（JSON）{"accuracy": int, "completeness": int, "conciseness": int, "citation": int, "overall": int, "reasoning": "<200字以内>"}"""
def judge(question: str, answer: str, model: str = "claude-sonnet-4-6") -> dict:    response = client.messages.create(        model=model,        max_tokens=500,        system=JUDGE_PROMPT,        messages=[{"role": "user", "content": f"質問: {question}\n\n回答: {answer}"}],    )    return json.loads(response.content[0].text)
# 使用例score = judge("有給は何日まで？", "規程で年間20日が上限です（[doc-hr-009]）")print(score)# → {"accuracy": 5, "completeness": 4, "conciseness": 5, "citation": 5, "overall": 5, ...}

import randomfrom typing import Tuple
def judge_pairwise(question: str, answer_a: str, answer_b: str, n_trials: int = 2) -> Tuple[str, float]:    """A/B を順序ランダム化して 2 回評価、勝率を返す"""    wins_a = 0    for _ in range(n_trials):        # 順序をランダム化        if random.random() < 0.5:            first, second = ("A", answer_a), ("B", answer_b)        else:            first, second = ("B", answer_b), ("A", answer_a)
        prompt = f"質問: {question}\n\n回答 1: {first[1]}\n\n回答 2: {second[1]}\n\nどちらが優れているか、'1' or '2' のみで答えてください。"        result = client.messages.create(            model="claude-sonnet-4-6",            max_tokens=10,            messages=[{"role": "user", "content": prompt}],        )        winner_idx = result.content[0].text.strip()        # ランダム化を解除        if winner_idx == "1":            actual_winner = first[0]        else:            actual_winner = second[0]        if actual_winner == "A":            wins_a += 1
    win_rate_a = wins_a / n_trials    return ("A" if win_rate_a > 0.5 else "B"), win_rate_a

import pandas as pdfrom scipy.stats import pearsonr
# 人間評価済みのゴールデンセットgolden = pd.read_csv("eval/golden_human_rated.csv")  # query, answer, human_score
# Judge で再評価golden["judge_score"] = golden.apply(    lambda row: judge(row["query"], row["answer"])["overall"],    axis=1)
# 相関を確認corr, p = pearsonr(golden["human_score"], golden["judge_score"])print(f"Pearson 相関: {corr:.3f} (p={p:.4f})")# 0.7〜0.85 が実用的、0.6 未満なら Judge プロンプトを見直す