datatech-jp Advent Calendar 2024の4日目です。3日目はid:bynaturesさんの2024/12/03 データエンジニアもくもく会を1年続けた学びでした。私も6~7割くらい参加していますが、色んな話題でわいわいできて楽しいですね。来年もやっていきましょう。 こんにち…

3行まとめ データに対する期待値を定義するData Reliability Levelという活動を始めています Data Reliability Levelを設定するには「XXXの場合にはAAAの項目は入力が必須」といった条件分岐や項目数も多く、レビューが大変という課題がありました 最近のJSO…

背景: データ品質を担保するにはデータソースの品質が重要 データソースの品質を担保する手段としてのData Contract Data Contractの表現方法の一つとしてのProtocol Buffers Data ContractとしてProtocol Buffersを使う データの入出力を一箇所に集約、Prot…