自然言語処理：感情分析を作る

# Colab の新しいノートブックで実行reviews = [    ("この映画は最高だった、また観たい", 1),    ("感動して涙が止まらなかった", 1),    ("演技も脚本も素晴らしい", 1),    ("子供と一緒に楽しめる作品", 1),    ("テンポ良くて飽きない", 1),    ("音楽も良くて心に残る", 1),    ("退屈でつまらなかった", 0),    ("お金返して欲しいレベル", 0),    ("ストーリーが意味不明", 0),    ("最後まで見るのが辛かった", 0),    ("二度と見たくない", 0),    ("時間の無駄だった", 0),]texts = [r[0] for r in reviews]labels = [r[1] for r in reviews]  # 1 = ポジ, 0 = ネガ

!pip install -q janome scikit-learn
from janome.tokenizer import Tokenizerfrom sklearn.feature_extraction.text import CountVectorizer
# 日本語を単語に分けるtokenizer = Tokenizer()def tokenize(text):    return [t.surface for t in tokenizer.tokenize(text)]
# Bag-of-Words 変換vectorizer = CountVectorizer(tokenizer=tokenize, token_pattern=None)X = vectorizer.fit_transform(texts)
print("登場する単語:", vectorizer.get_feature_names_out()[:20])print(f"行列の形状: {X.shape}")  # (12レビュー, 単語数)

from sklearn.linear_model import LogisticRegression
model = LogisticRegression()model.fit(X, labels)
# モデルが「ポジ寄りに重要視している単語」TOP5import numpy as npwords = vectorizer.get_feature_names_out()weights = model.coef_[0]top_pos = np.argsort(weights)[-5:][::-1]top_neg = np.argsort(weights)[:5]print("ポジ判定への寄与 TOP5:", [words[i] for i in top_pos])print("ネガ判定への寄与 TOP5:", [words[i] for i in top_neg])

tests = [    "とても感動した素晴らしい映画",    "つまらなくて途中で寝た",    "音楽は良かったけど話は退屈",    "もう一度見たい最高の体験",]
X_test = vectorizer.transform(tests)preds = model.predict(X_test)probs = model.predict_proba(X_test)[:, 1]
for text, pred, prob in zip(tests, preds, probs):    label = "ポジ ✨" if pred == 1 else "ネガ 💧"    print(f"{label} (確信度 {prob:.0%}): {text}")

import matplotlib.pyplot as plt!pip install -q japanize-matplotlibimport japanize_matplotlib  # noqa
fig, ax = plt.subplots(figsize=(8, 4))colors = ["#eb5d32" if p > 0.5 else "#5d8aa8" for p in probs]ax.barh(tests, probs, color=colors)ax.axvline(0.5, color="gray", linestyle="--", alpha=0.5)ax.set_xlim(0, 1)ax.set_xlabel("ポジティブ確信度")ax.set_title("レビュー感情分析の結果")plt.tight_layout()plt.show()