第3回 データアーキテクト（データ整備人）を”前向きに”考える会という勉強会で、CREとしてデータ基盤を整備する活動についてオンライン登壇しました。
イベント登壇はまあまあやってきたはずなんですが、今回の登壇は初めて要素が満載でした。
- CREとして初めての登壇
- これまでは研究者 or アプリケーションエンジニアとして登壇
- 今年の2月にCREになったばかりなので、私がCREについて語ってもいいんかいな...みたいなところはありますよね
- と言いつつ、偉そうに語ってしまった
- データ基盤に関する初めての登壇
- これまでは機械学習や自然言語処理に関する登壇がメイン
- 関連: データに関連するいくつかの見方と私 - yasuhisa's blog
- 初めてのオンライン登壇
- 意図せず(?)YouTuberデビューを果してしまった...!
- ピーク時には400人以上(?)の方が聴講してくださっていた様子
かなり手探りだったのですがTwitterの様子を見ている限り、結構好評だったようでほっとしています。データ基盤に関するアウトプットは今後も定期的にしていきたいなと思っているので、引き続き頑張っていきます。
Twitter上でのみなさんのコメント
たくさんコメントを頂いて、嬉しかったので自分の発表に関するコメントを載せておきます。
MackerelのCREチームについて
はてなのマカレルは、CREチームがデータ分析基盤を担当してるのかー、へぇ〜
— Yayoi Tate (@YayoiTate) 2020年5月14日
（ReproもCREチームあったけど、データ分析系を彼らに依頼するという発想が無かったなぁ）#前向きデータ整備人
#前向きデータ整備人 CREの役割ちゃんと理解してなかったけど、事業会社にいるけど顧客向き合いの要素もあるデータアナリストっぽさあるな。事業会社のグロース系のデータアナリストとは別の目的志向な感じがあって良き。
— ぽぽぽ黒椅子 (@fuc6w) 2020年5月14日
#前向きデータ整備人 データエンジニアからデータアナリストまで一通りされるのすごいな。第2回のときにJapan Taxiの登壇者の方も広範囲で動かれていた気がする。そして、自分もそんな立ち位置で仕事をしたい！(現状は整備人…)
— K＠データアナリスト (@k_data_analyst) 2020年5月14日
データパイプラインの整備について
"スプレットシートの生態系を明らかにする"
— 福井一志 (@ZushizushID) 2020年5月14日
パワーワードすぎる#前向きデータ整備人
スプレッドシートの生態を解き明かすべく、調査隊はアマゾンへ向かった#前向きデータ整備人
— Tak NANBU (@nanbunan_) 2020年5月14日
#前向きデータ整備人 やりたいことだけ常にやってると、どんどんカオスになっていく。時には断捨離したり、リファクタリングするのは本当に大事。
— K＠データアナリスト (@k_data_analyst) 2020年5月14日
データ基盤でできること / 出せる価値を感じてもらうためにやったことについて
ミーティングの前にアジェンダが出ていれば分析結果を持ち込み、データに興味を持ってもらう。手ぶらで行かないの大事だ#前向きデータ整備人
— 深田 (@ima_D_yasu) 2020年5月14日
SQLペアプロ！さすがだ。。。
— donsan (@_donsan_) 2020年5月14日
#前向きデータ整備人
SQL100本ノックが引用されてる！
— Asuka Kawamura (@asucina1) 2020年5月14日
弊社でも練習問題作ったけど100本は無理だった・・・#前向きデータ整備人
#前向きデータ整備人 データ部門は会社の中で一番他部署との連携を求められる部門。想像以上にコミュニケーション能力とヒアリング能力を求められる。
— K＠データアナリスト (@k_data_analyst) 2020年5月14日
なるほど、分析価値の面からどのようなデータを整備するのか考えていくのか #前向きデータ整備人
— ゆいな (@yuina1056) 2020年5月14日
#前向きデータ整備人 リリース後に効果検証するためのデータが取れていない、は割と起こり得ること。KPI設計の時点から入っていくのは大事。
— K＠データアナリスト (@k_data_analyst) 2020年5月14日
分析者が自走できる環境 / チームで継続的にメタデータを整備できる体制作りについて
メタデータのdiscriptionの重要さよ・・・
— tomo_wk (@tomowk1) 2020年5月14日
やっぱり「人が読んでわかる」ようにしないとということかな。ただやはり自動で説明を付与することはできないかー。
でもルール守れれば（ALTERするとき入れてね）良い仕組み。#前向きデータ整備人
チームとしてメタデータを整備する文化を醸成するため、各チーム・各タスクのメリットをしっかりと伝える。めっちゃ素敵。#前向きデータ整備人
— nishiyama hiroaki (@h248ma) 2020年5月14日
データの仕様。。メタデータを付与するインセンティブ。手を動かす人の目線の資料だ。#前向きデータ整備人
— 深田 (@ima_D_yasu) 2020年5月14日
#前向きデータ整備人
— simonritchie (@simonritchie_sd) 2020年5月14日
データのメタデータ、BigQueryじゃないけどAWSのAthenaで近いことやっている（ORMへのコメントや注意点の付与とマークダウンでの閲覧しやすい形での共有など）。
Data Catalogなんてあるんだ。こういうの使ってデータの仕様を探しやすくしてんのか。_φ(･_･#前向きデータ整備人
— 野川の側 (@nogawanogawa) 2020年5月14日
データをとりまくあるべき環境を定義し、推進していくのもデータ整備人の役割。ひびいてる。ひびいている#前向きデータ整備人
— Takashi Nagai (@aloha_nagai) 2020年5月14日
「データを取り巻く環境がどうあるべきかを定義し、あるべき姿へ近づけていく。」
— donsan (@_donsan_) 2020年5月14日
#前向きデータ整備人
