Cloud Monitoringのメトリックを簡単にBigQueryにloadできるcloud_monitoring_metrics_fetchを作りました

3行まとめ

• Cloud Monitoringのメトリックは便利だけど、使い慣れたSQLで詳細な分析がしたい
• メトリックをBigQueryに簡単にloadできるツールを作りました
• ラベルを絞った詳細分析などもできるので、是非使ってね

背景

• Cloud Monitoringのメトリックは便利
• しかし、詳細に分析しようと思うと、不足する部分がある
  • 例: 時間帯毎の傾向や日時毎の傾向
    • 月初の午前中だけ遅いのでは?とか調べたいけど、Cloud MonitoringのUIだけでは限界がある
    • MQLを頑張って覚えたくない
• BigQueryに同じデータがあれば簡単にSQLを書いて分析できるのに!
• 公式からもやり方の案内はある
  • Cloud Monitoring metric export  |  Cloud Architecture Center  |  Google Cloud
  • が、ちょっとした分析でこのアーキテクチャを動かす体力はない
    • マネージドサービスになったら呼んでください...

できたもの

• さっとスポットで分析できればいい用途が結構多いので、それをできるツールを作りました
• メトリックの情報をjsonlで吐いて、bq loadするだけ
  • 使い方は簡単なのでREADMEを見てください

• ラベルでGROUP BYやフィルタをしたくなることがあるので、ラベルの情報も取り込んでます。
• hourとday毎でのメトリックのヒートマップやラベルでのフィルタGROUP BYなどをSQLで完結できる世界に持ってこれたので、幸福度が大分上がりました。

BigQueryにロードされたデータ

Enjoy!

Google Cloudではじめる実践データエンジニアリング入門[業務で使えるデータ基盤構築]