テキスト前処理：トークナイズ・正規化・ストップワード

# !pip install mecab-python3 unidic-liteimport MeCab
tagger = MeCab.Tagger("-Owakati")  # 分かち書きtext = "今日は良い天気ですね。データエンジニアリングが楽しい。"print(tagger.parse(text).strip())# → 今日 は 良い 天気 です ね 。 データ エンジニアリング が 楽しい 。
# 詳細解析（品詞付き）tagger = MeCab.Tagger()node = tagger.parseToNode(text)while node:    if node.surface:        features = node.feature.split(",")        print(f"{node.surface:15s} {features[0]:10s} {features[6] if len(features)>6 else '*'}")    node = node.next

# !pip install sudachipy sudachidict_corefrom sudachipy import dictionary, tokenizer
tokenizer_obj = dictionary.Dictionary().create()mode = tokenizer.Tokenizer.SplitMode.C  # A=最小, B=中, C=最大
text = "デジタルトランスフォーメーションを推進する"tokens = tokenizer_obj.tokenize(text, mode)for t in tokens:    print(f"{t.surface():20s} 品詞:{t.part_of_speech()[0]:10s} 正規:{t.normalized_form()}")

import re
# slothlib 互換のストップワードリストSTOPWORDS = {    "の", "に", "は", "を", "た", "が", "で", "て", "と", "し", "れ", "さ",    "ある", "いる", "も", "する", "から", "な", "こと", "として", "い", "や",    "れる", "など", "なっ", "ない", "この", "ため", "その", "あっ", "よう",    "また", "もの", "という", "あり", "まで",}
def filter_tokens(tokens: list, stopwords=STOPWORDS) -> list:    return [t for t in tokens if t not in stopwords and len(t) > 1]
def extract_ngrams(tokens: list, n: int = 2) -> list:    return [" ".join(tokens[i:i+n]) for i in range(len(tokens) - n + 1)]
text = "今日は良い天気ですね。データエンジニアリングが楽しい。"tokens = tagger.parse(text).strip().split()filtered = filter_tokens(tokens)bigrams = extract_ngrams(filtered, 2)print("単語:", filtered)print("Bigram:", bigrams)

from sklearn.feature_extraction.text import TfidfVectorizer
corpus = [    "データエンジニアリングが楽しい",    "データ基盤を構築する",    "AIを業務に活用する",]
# 単純な空白区切りで投入（事前に分かち書き済み）def tokenize_jp(text):    return tagger.parse(text).strip().split()
vec = TfidfVectorizer(tokenizer=tokenize_jp, token_pattern=None, min_df=1)matrix = vec.fit_transform(corpus)print(vec.get_feature_names_out())print(matrix.toarray())