SERIES

Python データ取得レシピ

「そのデータ、Python でどう取るのか」だけを扱う連載シリーズ。ライブラリの選び方、認証、レート制限、欠損や単位のクセまで、動くコードと一緒に。読者リアクションに応じて拡充していきます。

対象読者: データエンジニア / データアナリスト / 分析をする人

全 4 記事

その API を叩く前に決めておく5つのこと

動くコードはすぐ書けます。つらくなるのは、動いたあとです。タイムアウト・再試行・名乗り・並列度・保存先。この5つを最初に決めておくと、後から書き直す量が激減します。

1000件あるはずが980件しか取れない。原因はたいてい offset 方式です。offset / カーソル / Link ヘッダ / 継続トークンの違いと、どれがどう取りこぼすかを整理します。

「1秒待って再試行」を全員が同時にやると、1秒後にまた混雑します。待ち時間を倍にしていくだけでは足りず、ゆらぎを足す必要がある。その理由を実験で確かめます。

ドキュメントに「認証が必要です」とだけ書いてあるとき、何をどこに載せればいいのか。4つの型それぞれの見分け方と、鍵をコードに書かずに済ませる方法をまとめます。

要件が固まっていなくて大丈夫です。現状診断と方針提案までを無料でお手伝いします。

無料相談フォームへ hello [at] hukuhuku [dot] co [dot] jp