途中で落ちても、続きから再開できる取得にする

from pathlib import Path

class Progress:    """処理済みの単位を1行ずつ追記する。単純だが落ちても壊れにくい。"""
    def __init__(self, path: Path):        self.path = path        self.done: set[str] = set()        if path.exists():            self.done = {                ln.strip() for ln in path.read_text(encoding="utf-8").splitlines() if ln.strip()            }
    def remaining(self, all_units: list[str]) -> list[str]:        return [u for u in all_units if u not in self.done]
    def mark(self, unit: str) -> None:        self.done.add(unit)        with self.path.open("a", encoding="utf-8") as f:            f.write(unit + "\n")            f.flush()          # 途中で落ちても、書いたぶんは残す

import jsonfrom pathlib import Path

def fetch_and_store(unit: str, out_dir: Path, fetch) -> None:    """同じ unit を2回処理しても、できあがるファイルは同じ。"""    out_dir.mkdir(parents=True, exist_ok=True)    final = out_dir / f"{unit}.json"
    payload = fetch(unit)
    # いったん別名で書いてから差し替える。    # 直接書くと、途中で落ちたときに中身が欠けたファイルが残る。    tmp = final.with_suffix(".json.tmp")    tmp.write_text(json.dumps(payload, ensure_ascii=False), encoding="utf-8")    tmp.replace(final)

def run(all_units: list[str], out_dir, progress_path, fetch) -> None:    progress = Progress(progress_path)    todo = progress.remaining(all_units)    print(f"全体 {len(all_units)} / 残り {len(todo)}")
    for i, unit in enumerate(todo, 1):        try:            fetch_and_store(unit, out_dir, fetch)        except Exception as e:            # 1件の失敗で全体を止めない。あとで再実行すればこの単位だけ拾える            print(f"  失敗 {unit}: {type(e).__name__}: {e}")            continue        progress.mark(unit)        if i % 100 == 0:            print(f"  {i}/{len(todo)}")