異常検知の基本:3σ・四分位法と「正常」の定義
「outlier」は数学では「正常から外れた値」だが、ビジネスでは「対処すべき値」に変換しないと意味がない。本シリーズの開幕として、異常検知の3つの問い ── 何を異常とみなすか・どう検出するか・誰が対処するか ── を整理する。
Z-score の改良版:robust Z と業務文脈での閾値設計
「3.5 以上を異常」は経験則。業界・データ特性に応じた閾値の決め方と、A/B テストでの検証。
Isolation Forest と LOF:教師なしML の二大手法
ラベルなしで「普段と違う点」を見つける機械学習の定番。Isolation Forest(孤立してる点ほど浅く隔離される)と LOF(局所密度比)。
時系列の異常検知:STL分解と Prophet
「金曜は普段からアクセスが多い」「12 月は売上が伸びる」── 季節性を考慮した異常検知。STL 分解で trend/seasonal/residual に分解し、residual で異常を見つける。
多変量異常検知:PCA と Mahalanobis 距離
「CPU 使用率は普通、メモリも普通、ディスク IO も普通、でも組み合わせが異常」── 1 次元では見えない異常を見つける。
オートエンコーダによる異常検知:再構成誤差で異常を見抜く
深層学習で「正常データを圧縮 → 復元」を学習。異常データは復元できず、誤差が大きくなる。画像・時系列・ログ全般に応用可。
ストリーミング異常検知:リアルタイムで異常を捉える
バッチ集計後に「昨日の異常」を発見しても遅い。Kafka/Kinesis 上でリアルタイム検知するアーキテクチャ。
異常検知の評価指標:ラベルなしのケースも含めて
ラベルが揃った教師あり評価(Precision/Recall/F1)と、ラベルがない教師なし評価(クラスタの分離度・Silhouette)。両方の使い分け。
ビジネス活用:不正検知・故障予測・sre 障害検知
クレジットカード不正利用、機械の故障予測、SRE のインシデント検知 ── 異常検知の典型的な活用事例。それぞれの精度要求と運用設計。
異常検知パイプラインの構築・運用:ml と組み合わせる
「精度が出るモデル」より「運用できるパイプライン」。データドリフト・モデル劣化・Feedback Loop の設計まで。
まずは、現状を聞かせてください。
要件が固まっていなくて大丈夫です。現状診断と方針提案までを無料でお手伝いします。