コネヒト開発者ブログ

コネヒト開発者ブログ

BigQuery

BigQueryのシャーディングされたテーブルをOpenSearchへ連携する方法

皆さん,こんにちは!最近は検索エンジニアとしての仕事がメインの柏木(@asteriam)です. はじめに 今回はTips的な記事になります.背景としては,アプリの検索ログをBigQueryに溜めているのですが,それを検索エンジンのサジェスト機能で使用するために,…

Firebase AnalyticsからBigQueryへの日次データ同期が突如不規則になった事象に対応した話

こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、Firebase AnalyticsからBigQueryへの日次データ同期処理の時間が大幅にずれた際に取った対策について書こうと思います。 内容はざっくり下記3点です。 背景説明 Firebase AnalyticsからBigQuer…

BigQueryのスケジューリングクエリで日付別シャード化テーブルを作成する

こんにちは!テクノロジー推進グループでエンジニアをやってるaboです。 この記事では、Google BigQueryのスケジューリングクエリを使って日付別シャード化テーブルを作成する方法を紹介します。 日付別シャード化テーブルはBigQueryにおけるテーブル分割の…

Connehito Marché vol.6 〜機械学習・データ分析市〜 を開催しました!

こんにちは。MLエンジニアの野澤(@takapy0210)です! 11月に入っていよいよ寒くなってきましたね。 寒いといえば、毎朝洗濯物を干すのが辛くなる季節でもあります。 このような季節も影響し、我が家ではドラム式洗濯機のデプロイが検討されています。もし…

【Firebase Analytics】新しくなったBigQuery Export まとめ

Firebase AnalyticsのBigQuery Exportについて、大きな仕様変更があったので内容と対応手順をまとめました。

今更始める Firebase + BigQueryを使った サクサクデータ分析

BigQuery Exportを用いて格納されたFirebaseのデータの分析について。配列型や構造体とうまく付き合っていくための方法を書きました