コネヒト開発者ブログ

コネヒト開発者ブログ

AWS

BigQueryのシャーディングされたテーブルをOpenSearchへ連携する方法

皆さん,こんにちは!最近は検索エンジニアとしての仕事がメインの柏木(@asteriam)です. はじめに 今回はTips的な記事になります.背景としては,アプリの検索ログをBigQueryに溜めているのですが,それを検索エンジンのサジェスト機能で使用するために,…

ニアリアルタイムで同期される検索基盤 ~パイプライン構築編~

皆さん,こんにちは!MLエンジニアの柏木(@asteriam)です. 今回は前回のエントリーに続いてその後編,パイプライン構築の話になります. tech.connehito.com はじめに 再掲になりますが,我々は以下の構成で今回の検索基盤を構築しています. 検索エンジ…

リモートワークでもIP制限があるツールを利用するためにSquidで簡易Proxyを用意した話

こんにちは。 コネヒトのテクノロジー推進部でインフラエンジニアをしている @laugh_k です。 先日リモートワークにおいても、共通の固定IPからのアクセスを実現するために Squidで簡易的なProxyを用意したので、そのときの話をまとめます。 TL;DR ビジネス…

ニアリアルタイムで同期される検索基盤を構築 ~AWS Glueによるデータ同期編~

皆さん,こんにちは!MLエンジニアの柏木(@asteriam)です. ここ最近は検索エンジン内製化プロジェクトに携わっていて,検索エンジニアとして,検索基盤の主にデータ連携・同期の実装を1から構築したりしていました.7月中旬にABテストまで持っていくこと…

AWS Distributed Load Testingを使うと手軽にAWS内での負荷試験が出来るという話

AWS

こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、現在進めているプロジェクトでの負荷試験で、AWS Distributed Load Testing を使って比較的手軽にAWS内での負荷試験を行うことが出来たのでその内容を紹介しようと思います。 内容はざっくり下…

ECS×Fargateのオートスケールをチューニングしてサービス運営費を削減した話

こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、ECS×Fargateで運用しているサービスの「ターゲット追跡ServiceAutoScalling」をチューニングをしたことで、費用が約半分になるという大きな成果を残すことが出来たのでその内容を経緯と共にま…

SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム(後編)

皆さん,こんにちは!機械学習エンジニアの柏木(@asteriam)です. 今回は前回のエントリーに続いてその後編になります. tech.connehito.com はじめに 後編は前編でも紹介した通り以下の内容になります. 後編:SageMakerのリソースを用いてモデルのデプロ…

SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム(前編)

皆さん,こんにちは!機械学習エンジニアの柏木(@asteriam)です. 今回はタイトルにもあるようにモデルの学習からデプロイまで一気通貫した機械学習パイプラインをSageMakerとStep Functionsで構築し,新しく検閲システムを開発したお話になります. こち…

AWS OpenSearchでの技術検証をスムーズにしたTIPS

こんにちは。インフラエンジニアの永井(shnagai)です 今回は3ヶ月ほど行っていたAWS OpenSearchの技術検証をしている中で、技術検証のスピードアップに貢献してくれたTIPSを2つご紹介出来ればと思います。 内容はざっくり下記2項目です。 ユーザ辞書やシノニ…

SageMaker Experimentsを使った機械学習モデルの実験管理

皆さん,こんにちは!機械学習エンジニアの柏木(@asteriam)です. 本エントリーはコネヒトアドベントカレンダーの15日目の記事になります. 今回は機械学習モデルの実験管理をする際に使用しているAWSのSageMaker Experimentsの活用例を紹介したいと思いま…

異なるデータソース間の同期がしたくてAWS DMSについて調べたのでまとめてみた

こんにちは。インフラエンジニアの永井(shnagai)です。 RDS(MySQL)にあるデータを検索エンジン(今回でいうとOpenSearch)に同期したいというプロジェクトがあり、AWS Database Migration Service(以下、DMS)について調べる機会があったので、これまでAWS SAの…

機械学習プロジェクトにおけるSageMaker Processingの使い所

みなさんこんにちは。機械学習チームのたかぱい(@takapy0210)です。 2021年もあと1ヶ月となりましたね。皆様いかがお過ごしでしょうか。 ...さて12月といえば、毎年恒例のアドベントカレンダーの季節ですね! というわけで、2021年もコネヒト Advent Calen…

AWS Dev Day Online Japan 2021に登壇してきました!

みなさんこんにちは。 MLエンジニアのたかぱい(@takapy0210)です。 本エントリでは、先日行われたAWS Dev Day Online Japan 2021にインフラエンジニアの永井(@shnagai)と私が登壇してきましたので、簡単に内容を補足しながら紹介しようと思います。 Step…

カスタムコンテナイメージを用いたデータ分析環境共通化Tips(ローカルPC&AWS SageMaker Studio)

みなさんこんにちは。たかぱい(@takapy0210)です。 気づけばもう6月ですね。2021年の半分が過ぎようとしています。もう半分.....もう...。 はじめに みなさんデータ分析環境はどのように構築していますか? Gunosyさんのブログ*1にもあるように、環境構築…

家族ノートを支えるBigQuery+StepFunctionsで作るデータレイク

こんにちは。インフラエンジニアの永井(shnagai)です。 最近、家族ノートという「ママリ」内の検索データとQ&Aデータ(現在開発中)を可視化したデータ分析サービスの立ち上げに携わっています。 info-kazokunote.mamari.jp 今回は、家族ノートで使っているデ…

GitHub Actions & ecspressoによるデプロイフロー構築

こんにちは、リードエンジニアの @dachi_023 です。今回はGitHub Actionsとecspressoでデプロイフローの構築をしたのでそれについて書いていきます。先に言っておくと簡単にセットアップできるし設定もシンプルなのでかなりおすすめです。 Actions | GitHub …

ECS Scheduled Taskの管理をecscheduleでGitOps化しました

こんにちは。コネヒトのテクノロジー推進グループでインフラエンジニアをしている laughk です。 今回は定期実行バッチで利用しているECS Schedule Taskの管理に Songmu/ecschedule を導入し、GitOps化した話をまとめます。 サマリ ecscheduleを導入する前の…

Lambdaのコンテナサポートに関する考察

こんにちは。インフラエンジニアの永井(shnagai)です。 AWS re:Invent今年も大豊作ですごいですね。まだ全部は追えてないんですが、良さそうなものがあればサービスに取り入れていこうと思いわくわくしています。 この記事はコネヒト Advent Calendar 2020 -…

ECS×Fargate ターゲット追跡ServiceAutoScallingを使ったスパイク対策と費用削減

こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、ターゲット追跡ServiceAutoScallingを使い、ECS×fargateで運用しているサービスのスパイク対策と費用削減に取り組んだのでその内容をまとめています。 内容はざっくり下記4項目について書いて…

カテゴリ類推の機械学習モデルをプロダクションに導入した話

こんにちは。インフラエンジニアの永井(shanagi)です。 今回は、昨年から取り組んでいる機械学習の分野で、自分の作ったモデルをサービスに本番リリースする機会があったので、PoCで終わりがちな機械学習をプロダクト導入にこぎつけるためにどのようなプロセ…

ママリでAWSを使った動画配信をはじめました。

こんにちは! フロントエンドエンジニアのもりやです。 ママリではよりユーザーにとってわかりやすく情報を伝えるべく、4/22 からママリ内の人気記事などを動画にし配信する取り組みをはじめました。 news.connehito.com 今回、動画配信にあたって AWS 上で…

レコメンドエンジン導入までの取り組みとアーキテクチャについて

こんにちは!MLエンジニアのたかぱい(@takapy)です。 今回は、ママリのアプリ内にレコメンドエンジンを導入したので、導入までの取り組みやアーキテクチャについてご紹介できればと思います。 目次 ママリ内での課題 アーキテクチャ概要 EDAとアルゴリズム…

サービス内のトレンドを把握するために、テキストデータを可視化・通知してくれるslack botを作った話

本記事はコネヒト Advent Calendar 2019 17日目の記事です。 こんにちは!MLエンジニアの野澤(@takapy0210)です! 今回は、ママリ内に日々蓄積されているテキストデータを良い感じに可視化して、定期的にslack通知する仕組みを実装したお話です。 ※下記で…

Amazon ECSで2019年に導入した新機能

こんにちは。インフラエンジニアの永井(shnagai)です。 re:invent真っ最中で、EKS for Fargateが発表されたりFargate Spotが発表されたり今年も激熱ですね!! 今回は、日々アップデートされているECSの新機能の中から今年導入したものと今後導入を検討して…

AWS × slackを用いたDDL自動実行フローを構築しました

こんにちは!MLエンジニアの野澤(@takapy0210)です。 10月から軽減税率が始まりましたね。みなさんの身の回りで混乱は起きていませんでしょうか? そんな中、軽減税率に関するこんな記事を見ました。専門家の人たちでも判断に困る事例があるようなので、難…

CodeBuildを使ったECSへのコンテナデプロイ

こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、CodeBuildでのECSデプロイについて書いてみました。 普段、TravisCIを使ってメインサービスのECSのデプロイを行っているのですが、新規開発するにあたりCodeBuildを使ったECSのデプロイを組ん…

AWS Glueを用いてETL環境を構築したお話(RDS for MySQL → S3)

はじめに こんにちは。2019年3月にMLエンジニアとしてJOINした野澤(@takapy0210)です。 最近はThe Mentalistという海外ドラマにお熱です。犯罪コンサルタントとして活躍する主人公の歯に衣着せぬ物言いやテンポの良さなど、見ていて爽快ですし一つ一つの作…

AmazonAurora カスタムエンドポイントのフェールオーバー時の挙動についての検証

こんにちは。インフラエンジニアの永井(shnagai)です。 昨年11月にリリースされたAmazon Auroraのカスタムエンドポイントを運用していて、先日ある検証環境でフェールオーバーが起きた際に考慮していなかった事態が起きたので、仕様を確認するがてらカスタム…

AWS Fargateを本番運用した所感

こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、Fargateを本番投入し1ヶ月強が過ぎたので、運用する中で気付いた点について書こうと思います。 以前書いた、Fargateに関する調査のまとめ記事はこちら。 tech.connehito.com 内容はざっくり下…

ECSのバックエンドをEC2からFargateに変更するにあたり知っておくとよさそうな事

こんにちは。インフラエンジニアの永井(shnagai)です。 これまでEC2バックエンドでECSを運用してきたが、Fargateを採用するにあたり、EC2バックエンド時と比べた差分についてまとめてみました。 内容は、ざっくり下記5項目について。 NW(awsvpc) タスク定義 …