人が読む表を、機械が読める形に直す ── セル結合と多段の見出し

import pandas as pd

def fill_merged(df: pd.DataFrame, cols: list[str]) -> pd.DataFrame:    """結合セル由来の空欄を上から埋める。対象列は必ず明示する。
    全列に対して ffill すると、本来欠損であるべき値まで埋まる。    """    missing = set(cols) - set(df.columns)    if missing:        raise KeyError(f"指定された列が無い: {missing}")
    out = df.copy()    out[cols] = out[cols].ffill()    return out

import pandas as pd

def flatten_header(df: pd.DataFrame, sep: str = "_") -> pd.DataFrame:    """複数段の見出しを連結して1段にする。    空の段は飛ばすので、片方しか無い列も自然な名前になる。"""    if not isinstance(df.columns, pd.MultiIndex):        return df
    cols = []    for tup in df.columns:        parts = [str(x).strip() for x in tup if str(x).strip() and not str(x).startswith("Unnamed")]        cols.append(sep.join(parts) if parts else "unnamed")
    out = df.copy()    out.columns = cols    return out

import pandas as pd

def to_long(df: pd.DataFrame, id_cols: list[str], var_name: str = "year") -> pd.DataFrame:    """id_cols 以外の列を、すべて縦に倒す。
    列が「2020」「2021」…と並んでいる表を、    (地域, 年, 値) の 3 列に直す。    """    value_cols = [c for c in df.columns if c not in id_cols]    if not value_cols:        raise ValueError("倒す対象の列が無い。id_cols の指定を確認")
    out = df.melt(id_vars=id_cols, value_vars=value_cols, var_name=var_name, value_name="value")    # 年の列は文字列で来る。数値に直せないものは残して後で確認する    out[var_name] = out[var_name].astype(str).str.extract(r"(d{4})")[0]    return out