dbt × Snowflake の実践構成 ── ウェアハウス分離とモデル設計

models:  my_project:    # 既定は小さいウェアハウス    +snowflake_warehouse: wh_transform_xs
    staging:      +materialized: view        # 実体化しない。計算資源をほぼ使わない
    marts:      +materialized: table      # 重い集計だけ大きいウェアハウスで流す      fct_orders_daily:        +snowflake_warehouse: wh_transform_l

{{ config(    materialized='incremental',    unique_key='order_id',    incremental_strategy='merge',    on_schema_change='append_new_columns') }}
SELECT    order_id,    customer_id,    order_date,    amount,    updated_atFROM {{ source('raw', 'orders') }}
{% if is_incremental() %}  -- 前回取り込んだ最大時刻より新しいものだけ  -- 余裕を持たせて、境界での取りこぼしを防ぐ  WHERE updated_at >= (      SELECT DATEADD(hour, -3, MAX(updated_at)) FROM {{ this }}  ){% endif %}

-- 本番の複製を作る（一瞬で終わり、保管費用もほぼゼロ）CREATE DATABASE dev CLONE prod;
-- 開発者ごとにスキーマを分ける-- dbt 側の profiles.yml で schema を dbt_yamada などにしておくと-- 互いの作業が干渉しないGRANT USAGE ON DATABASE dev TO ROLE fr_developer;GRANT CREATE SCHEMA ON DATABASE dev TO ROLE fr_developer;

-- 変換用ウェアハウスで実行された、時間のかかるクエリSELECT    LEFT(query_text, 80)                              AS クエリ,    COUNT(*)                                          AS 実行数,    ROUND(SUM(total_elapsed_time) / 1000 / 60, 1)     AS 合計分,    ROUND(AVG(total_elapsed_time) / 1000, 1)          AS 平均秒,    ROUND(SUM(bytes_scanned) / POWER(1024, 3), 1)     AS 読取GBFROM snowflake.account_usage.query_historyWHERE start_time >= DATEADD(day, -7, CURRENT_TIMESTAMP())  AND warehouse_name LIKE 'WH_TRANSFORM%'  AND query_type IN ('CREATE_TABLE_AS_SELECT', 'MERGE', 'INSERT')GROUP BY 1ORDER BY 合計分 DESCLIMIT 20;