前処理パイプラインの再現性：dbt / sklearn Pipeline / Polars LazyFrame

「ノートブックで動いてるけど本番に持ち上げられない」は前処理あるある。再現性のあるパイプラインとして整える方法を、ツール別に整理します。

ツール別の前処理パイプライン

再現性の 3 要件

1. 1コード化：ノートブックで完結させない、`.py` / `.sql` に
2. 2バージョン管理：Git で履歴管理、データ契約（Data Contract）で上流変更を検知
3. 3テスト：行数・スキーマ・分布の前後比較、CI（Continuous Integration） で自動化

sklearn Pipeline + ColumnTransformer

from sklearn.pipeline import Pipelinefrom sklearn.compose import ColumnTransformerfrom sklearn.preprocessing import StandardScaler, OneHotEncoderfrom sklearn.impute import SimpleImputer
preprocessor = ColumnTransformer([    ("num", Pipeline([        ("impute", SimpleImputer(strategy="median")),        ("scale", StandardScaler())    ]), ["age", "income"]),    ("cat", Pipeline([        ("impute", SimpleImputer(strategy="most_frequent")),        ("ohe", OneHotEncoder(handle_unknown="ignore"))    ]), ["country", "category"]),])
pipeline = Pipeline([    ("preprocess", preprocessor),    ("model", LogisticRegression())])
pipeline.fit(X_train, y_train)# Train で学習した補完値・スケーラーが Predict でも自動適用される

Data Contract

上流データのスキーマ変更を検知する仕組み。dbt source freshness + 行数 / 型のテストで「気付かないうちに前処理が壊れた」を防ぐ。KPI（Key Performance Indicator） EP.10 のログ設計とも繋がる。

ふくふくの進め方

「ノートブックを本番に乗せたい」のご相談には、再現性チェック → パイプライン化 → CI/CD 構築を 1 ヶ月で。シリーズ通読で身につく前処理スキルを、お客様のプロジェクトに移植します。

ここまでのまとめ

EP.01〜15 で前処理の主要工程を一巡しました。「分析の 8 割は前処理」のスキルセットが、皆さんの分析品質を底上げします。

次の話

EP.16 では『時系列の周期性を見つける』。経営層も気づいていない「うちの売上、実は波があるよね」をデータから炙り出し、仕入計画・人員配置・キャンペーン投入時期に直結させる手法を扱います。続編は読者リアクションに応じて随時追加していきます。