コネヒト開発者ブログ

コネヒト開発者ブログ

BigQueryのシャーディングされたテーブルをOpenSearchへ連携する方法

皆さん,こんにちは!最近は検索エンジニアとしての仕事がメインの柏木(@asteriam)です. はじめに 今回はTips的な記事になります.背景としては,アプリの検索ログをBigQueryに溜めているのですが,それを検索エンジンのサジェスト機能で使用するために,…

Character filterを用いたアルファベットの大文字小文字対応によるゼロ件ヒット改善

皆さん,こんにちは!最近は検索エンジニアとしての仕事がメインの柏木(@asteriam)です. 直近は,検索基盤が整ってきたので,検索エンジンの精度改善の取り組みを行っています.その一環としてゼロ件ヒットの削減に努めていて,今回は「アルファベットの…

ニアリアルタイムで同期される検索基盤 ~パイプライン構築編~

皆さん,こんにちは!MLエンジニアの柏木(@asteriam)です. 今回は前回のエントリーに続いてその後編,パイプライン構築の話になります. tech.connehito.com はじめに 再掲になりますが,我々は以下の構成で今回の検索基盤を構築しています. 検索エンジ…

ニアリアルタイムで同期される検索基盤を構築 ~AWS Glueによるデータ同期編~

皆さん,こんにちは!MLエンジニアの柏木(@asteriam)です. ここ最近は検索エンジン内製化プロジェクトに携わっていて,検索エンジニアとして,検索基盤の主にデータ連携・同期の実装を1から構築したりしていました.7月中旬にABテストまで持っていくこと…

SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム(後編)

皆さん,こんにちは!機械学習エンジニアの柏木(@asteriam)です. 今回は前回のエントリーに続いてその後編になります. tech.connehito.com はじめに 後編は前編でも紹介した通り以下の内容になります. 後編:SageMakerのリソースを用いてモデルのデプロ…

SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム(前編)

皆さん,こんにちは!機械学習エンジニアの柏木(@asteriam)です. 今回はタイトルにもあるようにモデルの学習からデプロイまで一気通貫した機械学習パイプラインをSageMakerとStep Functionsで構築し,新しく検閲システムを開発したお話になります. こち…

SageMaker Experimentsを使った機械学習モデルの実験管理

皆さん,こんにちは!機械学習エンジニアの柏木(@asteriam)です. 本エントリーはコネヒトアドベントカレンダーの15日目の記事になります. 今回は機械学習モデルの実験管理をする際に使用しているAWSのSageMaker Experimentsの活用例を紹介したいと思いま…

ML Test Scoreを使って現状の機械学習システムをスコアリングしました

皆さん,こんにちは!機械学習エンジニアの柏木(@asteriam)です. コネヒトでは,テクノロジー推進部に所属し,組織横断的に機械学習(ML)施策の実施・推進を通してサービスグロースする役割を担っています. はじめに MLチームでは,少人数ながらレコメ…