データエンジニアリング
アウトプットするものが多すぎて、書きたくても書けてなかったやつが多くなってきた。簡単でもいいので書かないよりはマシの精神で書いていきます。 Findyに「知の巡りをよくするためのメタデータ管理」を寄稿しました Analytics Engineering領域に特化したA…
はじめに ビジネスメタデータをどこから入力するか ビジネスメタデータをどう入力するか レベル1: 機械的に埋められるもの(自動化層) レベル2: 変換処理で伝播できるもの(自動伝播層) レベル3: 人間の判断が必要なもの(手動層) 運用を継続するための実践的な…
長いので3行まとめです。 最近、エンジニアリング経験の浅い方にアドバイスをする機会が増えてきたので、紹介時に使えるポインタをまとめました 何が合っているかは人によるので、正直正解はないと思いますが、少なくとも自分に効いたやり方をまとめています…
あまりよくある話ではないと思うんですが、アナリスト/Analytics Engineerの人にバッチ処理を書いてもらう機会がありました。基本的にはSQLを普段書かれていて*1、場合によってはTerraformを少し書くこともあるというバックグラウンドの方です。これに対して…
3行まとめ データエンジニアの界隈で日本からもっとOSSに貢献する人が増えるといいなと思ったので、自分が気を付けていることを事例多めでまとめました データエンジニアの界隈以外でも通じる内容が多いですが、データエンジニアリング文脈多めです 偉そうに…
