型変換：日付・数値・カテゴリの落とし穴

import pandas as pdfrom datetime import datetimeimport re
def parse_jp_date(s: str) -> pd.Timestamp | None:    """日本語データに頻出する日付フォーマットを吸収"""    if pd.isna(s) or s == "":        return pd.NaT
    # 和暦の正規化（令和 → 西暦）    if "令和" in s:        m = re.search(r"令和(\d+)年", s)        if m:            year = 2018 + int(m.group(1))            s = re.sub(r"令和\d+年", f"{year}年", s)    if "平成" in s:        m = re.search(r"平成(\d+)年", s)        if m:            year = 1988 + int(m.group(1))            s = re.sub(r"平成\d+年", f"{year}年", s)
    # 全角数字 → 半角    s = s.translate(str.maketrans("０１２３４５６７８９", "0123456789"))
    # pandas の柔軟パーサーに委ねる    try:        return pd.to_datetime(s, errors="coerce")    except Exception:        return pd.NaT
# テストtest_cases = [    "2025/01/01",    "2025-1-1",    "Jan 1, 2025",    "令和7年元日",  # → 2025-01-01    "令和7年1月1日",    "2025年1月1日",    "2025０１/０1",  # 全角数字]for s in test_cases:    print(f"{s!s:25} → {parse_jp_date(s)}")

import pandas as pd
# ナイーブ datetime（タイムゾーン不在）は禁忌naive = pd.Timestamp("2026-01-01 09:00:00")print(naive.tz)  # → None（不安）
# 必ず明示的にjst = pd.Timestamp("2026-01-01 09:00:00", tz="Asia/Tokyo")utc = jst.tz_convert("UTC")print(jst, "==", utc)  # 2026-01-01 09:00 JST == 2026-01-01 00:00 UTC
# DataFrame 全体にdf["created_at"] = pd.to_datetime(df["created_at"], utc=True)  # 全列 UTC に統一df["created_at_jst"] = df["created_at"].dt.tz_convert("Asia/Tokyo")

from decimal import Decimal
# float の精度問題print(0.1 + 0.2 == 0.3)        # False !!!print(0.1 + 0.2)                # 0.30000000000000004
# 金額は Decimal か整数（円単位）でamount = Decimal("1234.56")total = amount * 3print(total)  # 3703.68（誤差なし）
# pandas で金額列を扱うときdf["amount"] = df["amount"].astype("string").map(Decimal)

import pandas as pd
# 数百万行の文字列列をカテゴリ型にdf["status"] = df["status"].astype("category")print(df.memory_usage(deep=True))# 文字列列が 80 MB → カテゴリ化で 8 MB（10 倍削減）
# 順序付きdf["size"] = pd.Categorical(    df["size"],    categories=["S", "M", "L", "XL"],    ordered=True,)df["size"] > "M"  # → ブール列で「L 以上」が取れる