この連載では、これまで個別の統計を扱ってきました。この回は横断的な話として、どう探し、どう選び、何につまずくかを整理します。 の中でも、政府統計は最も体系が整っている領域ですが、体系が大きいぶん、目的のものを見つけるのが難しいという性質があります。
統計そのものは充実しています。問題は、目的のものにたどり着けるかです。
1. 探し方の順序
「◯◯の統計」という名前で探しても見つからないことがあります。統計は調査の単位で作られているためです。
- 1どの調査で扱われそうかを考える — 統計名ではなく調査名
- 2その調査の概要を読む — 何を、どの粒度で、いつ調べているか
- 3公表されている表の一覧を見る — 目的に近いものを探す
- 4同じ内容が別の調査にもないか確認 — 粒度や頻度が違う場合がある
- 5定義を確認する — 用語の意味が想定と違うことがある
5番目を飛ばさないでください。同じ言葉でも、統計上の定義が日常の意味と違うことがあります。「世帯」「事業所」「従業者」といった基本的な用語ほど、厳密な定義があります。
1つの統計だけを見ている間は問題になりません。別の統計と比べたとき、あるいは自社のデータと突き合わせたときに、数字が合わずに発覚します。先に定義を確認しておけば、その調査自体を避けられます。
2. 粒度の選び方
同じ内容でも、公表されている粒度が調査によって違います。細かいほど良いとは限りません。
| 粒度 | 利点 | 注意点 |
|---|---|---|
| 全国 | 確実に存在する | 地域差が見えない |
| 都道府県 | 多くの調査で公表 | 県内の差が見えない |
| 市区町村 | 実務で使いやすい | 公表されない調査もある |
| 町丁目・メッシュ | 詳細な分析ができる | 秘匿で欠測が増える |
最下行の秘匿が実務でつまずく箇所です。件数が少ない区分は、個人や事業所が特定されうるため公表されません。細かい粒度を選ぶほど、欠測が増えます。
そして、秘匿された値を0として扱ってはいけません。「公表されていない」と「0である」はまったく違います。EP.40 で扱った「無い＝存在しないではない」と同じ構造で、この連載を通じて何度も出てくる論点です。 を確認する習慣が、ここでも効きます。
import numpy as npimport pandas as pd
# 統計データによくある記号# "-" : 該当なし（実質0）# "X" : 秘匿（値は存在するが公表されない）# "...": 調査していないSPECIAL = { "-": 0.0, # 該当なしは0として扱ってよい "X": np.nan, # 秘匿は不明。0にしてはいけない "...": np.nan, # 未調査も不明 "": np.nan,}
def parse_stat_value(v): """統計の値を数値にする。記号は意味を区別して扱う。""" s = str(v).strip() if s in SPECIAL: return SPECIAL[s] try: return float(s.replace(",", "")) except ValueError: return np.nan
def summarize_missing(series: pd.Series) -> None: """欠測の内訳を出す。0との区別を明示する。""" raw = series.astype(str).str.strip() print(f" 全体 : {len(raw):,} 件") print(f" 該当なし(-) : {(raw == '-').sum():,} 件 → 0 として扱う") print(f" 秘匿(X) : {(raw == 'X').sum():,} 件 → **不明**（0ではない）") print(f" 未調査(...) : {(raw == '...').sum():,} 件 → 不明")
# 秘匿が多い場合、その粒度での集計は信頼できない記号の意味を区別するのが要点です。まとめて0にすると、秘匿された分だけ実態より小さい合計になります。しかも、秘匿は件数の少ない区分に集中するため、偏った過小評価になります。
3. 時系列で比べるとき
年度をまたいで比べるときが、最もつまずきやすい。数字が繋がらない理由は、実態の変化とは限りません。
| 繋がらない理由 | 確認方法 |
|---|---|
| 調査方法が変わった | 調査の概要で改定の履歴を確認 |
| 区分の定義が変わった | 分類の改定時期を確認 |
| 市区町村が合併した | 境界の変更履歴を確認 |
| 調査の対象範囲が変わった | 対象の定義を比較 |
| 公表値が改定された | 確報・改定値の有無を確認 |
3行目は地域別の分析で必ず問題になります。合併で市区町村が変わると、同じ名前でも範囲が違います。10年前と今を比べるなら、境界の変更を考慮した対応表が必要です。
産業分類や職業分類は、定期的に改定されます。改定の前後で、同じ区分名が違う範囲を指すことがあります。「この業種が急増した」という発見が、実は分類が変わっただけということが起こります。
4. 自社のデータと突き合わせる
実務では、統計を自社のデータと組み合わせる場面が多い。ここでも定義の差が効いてきます。
- 期間の定義 — 年度か暦年か。締め日はいつか
- 対象の定義 — 「事業所」と「拠点」は同じか
- 集計の単位 — 「世帯」と「顧客」は対応するか
- 地域の割り当て — 住所の表記、境界の扱い（EP.41）
- 時点 — 統計の基準日と、自社データの時点
1番目は単純ですが見落とされます。統計が年度（4月〜3月）で、自社が暦年なら、そのまま比べられません。3か月ずれた比較になります。しかも数字としては両方とも正しいので、突き合わせても誤りに気づきにくい。
5番目も重要です。統計には基準日があり、その時点の状態を表しています。公表は数か月〜1年後になることが多い。「最新の統計」が1年前の状態ということは珍しくありません。
5. 使う前のチェック
統計を使う前に確認する項目を、まとめます。これを習慣にすると、後戻りが減ります。
| 確認項目 | なぜ必要か |
|---|---|
| 基準日と公表日 | いつ時点の状態か |
| 調査の対象範囲 | 何が含まれ、何が除かれるか |
| 用語の定義 | 日常の意味と違うことがある |
| 粒度と秘匿の有無 | 使いたい細かさで得られるか |
| 改定の履歴 | 時系列で比較できるか |
| 利用条件 | 出典表示の要件など |
最下行も忘れないでください。公的統計の多くは自由に利用できますが、出典の表示が求められることが一般的です。加工した場合は、加工したことも明示するよう定められていることがあります。
6. 記録に残す
最後に、使った統計を記録に残す話です。数か月後に「この数字はどこから？」と問われて答えられるように。
- 1調査名と表番号 — 統計名だけでは特定できない
- 2基準日 — いつ時点のデータか
- 3取得日 — 改定されている可能性があるため
- 4粒度と対象範囲 — どこまでを含むか
- 5加工の内容 — 集計、按分、補完をしたか
3番目が意外に重要です。統計は改定されることがあります。同じ表でも、取得した時期によって値が違うことがある。取得日を残しておけば、後から差が出たときに原因を特定できます。
この記録は、レガシー再生の現場 EP.06 や 前処理の現場 EP.21 で扱った「変換したことを記録に残す」と同じ考え方です。元に戻れる状態を保つということです。
探すときは統計名ではなく調査名から。用語の定義は日常の意味と違うことがあり、比較で顕在化する。細かい粒度ほど秘匿による欠測が増え、秘匿を0として扱ってはいけない。時系列で繋がらないのは、調査方法・分類・境界の変更が原因のことが多い。そして調査名・表番号・基準日・取得日を記録に残してください。
この記事の感想を教えてください
あなたの 1 クリックで、本当にこの記事は更新されます。「もっと詳しく」「続編希望」が一定数集まった記事は、 ふくふくが 実際に内容を拡充したり続編記事を公開 します。 送信したリアクションはお使いのブラウザに記録され、再カウントされません。