Mackerel

BigQueryのクエリ結果をMackerelのメトリックとして取得するプラグインを作りました

背景 GCP単独でサービスを構築している場合、Cloud Monitoringはとても便利な監視のためのツールです しかし、サービスをマルチクラウドで構築している場合、複数のクラウドサービスに監視の設定やダッシュボードを作っていく必要があり、面倒です 自分が趣…

Twitter検索結果の語義曖昧性を解消するsaba_disambiguatorのアップデートを行ないました: その2

タイトルだけ見ると何のこっちゃという感じですが、前提としてはこんな感じです。 Mackerelチームではサービスに関するtweetを定期的に観測している mackerelというクエリは鯖に関するものとmackerel.ioに関するものが混じるので、そのまま流していると困る …

MackerelチームのCustomer Reliability Engineerになりました

2020/02からMackerelチームのCRE (Customer Reliability Engineer) になりました。もうちょっと早くエントリを書く予定でしたが、職種が変わった & 期初であれこれイベントが多いということで遅くなってしまった...。 CREになろうと思ったきっかけ 一番大き…

近況報告

生存してます。最近色々インプットしまくることに時間を取ってる結果、アウトプットが死んでいました。記憶がまだあるうちにまとめて書いておきます。 MLCTで登壇しました Mackerel Drink Up #9 Tokyoで登壇しました 首都大で非常勤講師を担当しました デー…

Twitter検索結果の語義曖昧性を解消するsaba_disambiguatorのアップデートを行ないました

タイトルだけ見ると何のこっちゃという感じですが、前提としてはこんな感じです。 Mackerelチームではサービスに関するtweetを定期的に観測している mackerelというクエリは鯖に関するものとmackerel.ioに関するものが混じるので、そのまま流していると困る …

Machine Learning Casual Talks #10でMackerelのロール内異常検知について発表しました

メルカリさんのオフィスで開かれたMachine Learning Casual Talks (MLCT) #10に「教師なし学習によるMackerelの異常検知機能について 〜設計/運用/評価の観点から〜」というタイトルで登壇してきました。 MLCTは機械学習をサービスで運用していく知見を共有…

AWS Fargate上でMackerelのプラグインを実行 & 監視する

特定のホストの紐付かないメトリックをMackerelのプラグイン経由で監視する場合、AWSであればEC2上に監視専用のホスト(いわゆるmonitoringホスト)を立てることが多いです。これは便利な一方で、以下のような問題点があります。 EC2ホストの面倒を見ないとい…

特定のエンドポイントの負荷試験の結果を投稿するMackerelプラグインを書いた

これ何 特定のエンドポイントに毎秒XリクエストをY秒流した結果をMackerelのメトリックとして投稿するプラグインを書きました。こんな感じでレスポンスタイムの99パーセンタルなどが可視化できます。 mkrを使っている人は以下でインストールできます。 % mkr…

最近の砂場活動その5: AWS Step Functionsで機械学習のワークフローの管理をする

はてなブログのHTTPS配信をやっていた同僚からAWS Step Functionsはいいぞ!というのを教えてもらいました(発表資料)。機械学習のワークフロー管理にもこれは便利そうだなーと思って、自分でも試してみました。やってる内容はN番煎じです...。 機械学習とワー…

PyCon mini Osakaで異常検知システム構築の裏側について発表しました

現在仕事で作っている異常検知システムについてPyCon mini Osakaで登壇してきました。異常検知というマイナーなトピックですが、多くの人に聞いてもらえてよかったです。 #pyconjp #pyconosaka 「Pythonを用いた異常検知システム構築の裏側」吉田康久さんで…

mackerel-agentでChromeのタブが吹き飛ぶ悲劇を防ごう

この記事は、Mackerel Advent Calendar 2017の6日目の記事です。昨日はid:myfinderさんによるMackerel思い出話でした。今日は小ネタです!!! ブラウザのタブを閉じない人間の習慣 全国のブラウザのタブを閉じない皆さん、こんにちは。私もブラウザ(Chrome)の…

AWS Lambda上で鯖(Mackerel)の曖昧性問題を機械学習で解決しよう

この記事は、はてなエンジニア Advent Calendar 2017の1日目の記事です。 サービスに関連する言及のみを観測したい こんにちは。Mackerelチームでアプリケーションエンジニアをやっているid:syou6162です。サービスを運営していると、サービスに関するtweet…

AWS Batchのメトリックを収集するMackerelプラグインを作りました

AWS Batchを仕事で使うことになりそうなので、Mackerelのプラグインを作りました。Queueの状態をカスタムメトリックとして収集します。mkr plugin install mackerelio/mackerel-plugin-aws-batchでインストールしてくれ! mackerelio/mackerel-plugin-aws-bat…

特定のDockerコンテナが起動しているか確認するチェックプラグインを作りました

Dockerコンテナをデーモンとして起動(docker run -d ...)させていたけど、いつの間にか死んでいたのを後から知った...ということがあって悲しかったので、特定のDockerコンテナが起動しているかを確認してくれるMackerelのチェックプラグインを作りました。m…

mkrのプラグインインストール機能を使って自分のプラグインをインストールしよう

3行まとめ。 mkrにプラグインインストール機能が付きました jenkinsのビルド時間を監視するチェックプラグインを作って、mkrでインストールできるようにしました 簡単にできるので、是非色々なプラグインを作ってみてください!! mkrにプラグインインストール…

ホストメトリックの異常検知を行なうmackerel-agentのチェックプラグインを作りました

最近、異常検知の実験/実装を行なっていますが、その過程の中間成果物をmackerel-agentのチェックプラグインとして切り出しました(非公式のプラグインです。サポート宛てにお問い合わせしてもらっても回答できません。id:syou6162まで個人的に連絡してもらえ…

研究開発の実験に使えるホスト名の一覧をMackerelを使って素早く取得する

最近は仕事でサーバーの監視を行なうサービス開発(Mackerelチームに所属しています)の開発をしていますが、1年ほど前までは大学の研究室や企業の研究所で自然言語処理や機械学習の研究を行なっていましたid:syou6162です。研究開発における実験をするときにM…

nasneの残量やGoogle Analyticsの情報をMackerelに監視させよう

Mackerelアドベントカレンダー6日目です。昨日はid:buty4649さんによるmackerelメタデータでパッケージ一覧を管理するCLIツールを作ったでした。 こんにちは、株式会社はてなでアプリケーションエンジニアをやっているid:syou6162です。10月にMackerelチーム…