データプロダクトの品質を守る: BigQueryとdbt cloneによるQA環境の実装

dbt

背景 & やりたいこと これまでのdbtリリースフローと課題 QA環境の設計と実装 dbt cloneの選定理由 インフラ構成と実装 実装上の工夫ポイント 実装中に遭遇した課題 QA環境の効果と今後 まとめ 背景 & やりたいこと 私が所属している10Xでは、これまでもパー…

BigQueryのクエリのパフォーマンス最適化をClaude Codeに行なわせる

背景: データ基盤の運用ではクエリのパフォーマンス最適化と向き合わないといけない機会が多い 課題: クエリ改善のヒント、実行情報は見るのが難しい 解決方法: 実行情報とクエリ最適化の紐付けをClaude Codeにさせる 工夫ポイント1: 実行情報をINFORMATION_…

Data Vaultを3年以上運用して得た学び

背景: Data Vaultを運用し続けている事例の公開は多くない おさらい: Data Vaultとは何か データ分析基盤におけるData Vault Data Vault自体の解説記事 Data Vaultを使った開発 with dbt Data Vaultを運用してよかったこと データモデリングを強制される デ…

dbtの実行失敗により影響を受けているダッシュボードの一覧を出す

dbt

背景 & やりたいこと 前提 影響を受けているダッシュボードの一覧を出す 解説 ステップ1: 失敗したモデルをの一覧を出す ステップ2: 影響を受けているexposureの一覧を出す ステップ3: 連絡に必要なexposureの情報を付与する まとめ 背景 & やりたいこと dbt…

spec-workflow-mcpを使ってみたら気に入ったので、紹介する

背景: LLM Agentと仕様書駆動開発 Kiroの対抗馬 spec-workflow-mcpでの仕様書駆動開発の体験がよかった 導入が簡単 まあまあ固く作られている 仕様のやり取りをするWebサーバーが立ち上がる 仕様書駆動開発の良さを感じられた まとめ 背景: LLM Agentと仕様…

Claude CodeでBigQueryのクエリを実行する際のガードレールを設計する

背景 おさらい: bqコマンドで実行できること 基本のbq query: 思いのほか、多様な破壊的操作ができてしまう... その他の破壊的なオペレーション いかにClaude Codeが意図せぬクエリを実行できないようにするか 素朴だが面倒: クエリ実行を毎回Acceptする 危…

Claude CodeのStatus lineを書きやすくするccstatuslineを作った

背景 Claude Codeを使っていると、色んな情報を合わせて見たくなります 例: Claude Codeの現在のトークンの利用状況(like ccusage) 例: 現在のディレクトリ 例: セッションID(他のターミナルで--resumeするときに必要) 例: 利用しているモデル 名(Opus or So…