2022-01-01から1ヶ月間の記事一覧

Argo WorkflowsのWorkflowの最終的な成否をCloud Monitoringで監視する

GCP

背景 課題: Workflow内で複数のジョブが走る場合に監視漏れが発生する 解決方法: Workflow単位で成否を判断し、Cloud Monitoringに成否をメトリックとして投稿する Appendix GKEのサービスアカウントへの権限付与 監視用のDockerfile Cloud Monitoringのアラ…

コマンドラインからCloud Monitoringに簡単にメトリックを投稿できるツールを作った

GCP

3行まとめ Cloud Monitoringにメトリックを投稿するのは案外面倒 コマンドラインからさっとメトリックを投稿するのに便利なツールを作った jqでさっと加工して、がっとメトリックを投稿したいときにどうぞ 背景 Cloud MonitoringはGCP上で監視を行ないたい場…

dbtのsource簡単にimportできるdbt-source-importerを作りました

dbt

背景 仕事でdbtをバシバシ使っています*1 データリネージやドキュメントの観点でdbtのSourcesもよく定義しています 手動で定義するのは大変なので、dbt-helperを使って自動でimportしていました 問題点 自社の環境でdbt-helperを使うと、1つのテーブルのimpo…

Google Groupsのグループアドレスを使って、雑な社員マスタを作る

背景 何やかんや仕事するにあたって、社員マスタが機械で扱いやすい形になっていると便利なことが多い 厳密な社員マスタはもっと色々情報が入っていて欲しいけど、ここでは「XXさんがYY部署にいます」くらいが分かる、という定義にします BigQueryなどにある…

2021年の振り返り

2021年もお疲れ様でした、2022年になってしまった。お蔵入りするのが一番最悪なので、遅れたけど振り返りエントリを出します。去年の振り返りはこちら。 はてなからMonotaROに転職 転職前に最後のアウトプット 技術方面 ドメイン知識の獲得方面 採用方面 デ…