要約2024年8月時点における、サイボウズの最新のデータ基盤について紹介します。 はじめにサイボウズ株式会社のデータエンジニア/アナリストチームに所属している喜多です。昨年8月にサイボウズに入社してから1年が経ちました。時が経つのは早くてびっくりです。以前こちらの記事で弊社のデータ基盤を紹介しました。上記の記事末尾に記載の通り、プロジェクト開始当初（2019年）の時点から各コンポーネントをアップデートしているので、現時点のデータ基盤を紹介したいと思います。また、後半には今後取り組んでいきたいことも記載しているので、最後まで読んでいただけると幸いです。 データ基盤...

はじめにサイボウズ株式会社のデータエンジニア/アナリストチームに所属している高田です。ビッグデータの時代において、データエンジニア/アナリストの職種は近年注目されてきています。しかし、急増する需要に対して本職種に対する情報の供給が不足しており、興味がある人たちにとって具体的な仕事内容が分かりにくい状況なのではと感じています。そこで本記事ではサイボウズ データチームの仕事について紹介し、実際のデータエンジニア/アナリストがどんな仕事をしているのか、一例を示したいと思います。記事は前編・後編(本記事)に分かれています。https://zenn.dev/cybozu_data/...

はじめにサイボウズ株式会社のデータエンジニア/アナリストチームに所属している高田です。ビッグデータの時代において、データエンジニア/アナリストの職種は近年注目されてきています。しかし、急増する需要に対して本職種に対する情報の供給が不足しており、興味がある人たちにとって具体的な仕事内容が分かりにくい状況なのではと感じています。そこで本記事ではサイボウズ データチームの仕事について紹介し、実際のデータエンジニア/アナリストがどんな仕事をしているのか、一例を示したいと思います。紹介したいことがありすぎて結構な分量になってしまったので、以下の通り記事を分けました。前編: どんな...

一言まとめSAFE_CAST と CAST はケースに応じて使い分けよう。 問題の発端それは、いつものようにデータ基盤（BigQuery）の開発を進めていたある日のこと。「このテーブルの○月×日以降のデータが入って無さそうなので確認してほしい」この利用者からの連絡を受けてソワソワしながら確認したところ、以下のテーブルのような状況になっていました。dtaaabbb2023-07-10xxxx1yyyy12023-07-11xxxx2yyyy22023-07-12xxxx3yyyy32023-07-13NULLyyyy...

2023年8月29日〜31日（現地時間）にサンフランシスコで開催された Google Cloud Next '23 へ行ってきました。現地での生活や雰囲気、全体を通しての所感などをつらつらとまとめてみましたので、この記事の中で少しでもカンファレンスを楽しんでもらえれば幸いです。!当日発表されたデータ関連のアップデート情報については、こちらの記事をどうぞ。 イベント概要今回参加したイベントの概要を載せておきます。当日のセッションは動画でアップロードされているので、下記 URL から気になるセッションを観てみてください。イベント名：Google Cloud Next '...

データエンジニア・アナリストチームのメンバーで Google Cloud Next '23 に参加しました。速報として、データエンジニア・データアナリスト観点で気になったアップデートを紹介します。※随時追記します。 変更履歴日時内容2023/08/29Day 1 の情報を記載しました。2023/09/01情報を追記しました。 前置き理解が怪しい部分があります。正確な情報はドキュメントをご参照ください。※帰国後に時間をとって記事を加筆・修正する予定です。 BigQuery Studio※2023/8/30 時点では上記ドキュ...

こんにちは。サイボウズでデータエンジニア/アナリストをやっている江﨑です。先日、SQL 初心者向けに社内勉強会を実施しました。勉強会は全４回実施したのですが、最も参加者が多かった会は100名以上と想定外に大きいイベントになり、様々な知見を得られました。この記事では、今回の勉強会企画の進め方や具体的にやったこと、振り返ってみて得られた Tips をシェアしたいと思います。 SQL の社内勉強会を企画したキッカケサイボウズでは Google BigQuery（以下 BigQuery と表記）に社内データ基盤を用意しています。BigQuery には一通りのデータが揃ってきてお...

TL;DRサイボウズでデータ基盤をゼロから立ち上げたときの経緯をまとめました。 はじめにデータエンジニア/アナリストチームの宮原です。サイボウズでは社内のデータ基盤に Google BigQuery を採用しており、私たちデータエンジニアが構築・運用しています。データ基盤の改善に取り組む上で、他社様のデータ基盤の紹介記事を日々参考にしています（下記は一例です）。MonotaROのデータ基盤10年史（前編） - MonotaRO Tech BlogRettyのデータ基盤の歴史と統合 - Retty Tech BlogData Engineering Study ...