…ラエンジニアの永井(shnagai)です。 今回は、ここ数ヶ月で進めていたコネヒト社でのデータ民主化について書こうと思います。 ※技術的な話はあまりなく、社内向けプレゼンに使った資料をベースにした内容です。 コネヒト社は、ママリというママ向けのアプリとWebを運営しており、 もちろん様々なデータを持っているのですが、データ活用に関して下記のような課題を抱えていました。 データに関する課題 1. データが色々なところに存在している BigQuery,Mixpanel,GA,RD…

…ラエンジニアの永井(shnagai)です。 この記事はコネヒト & aws-fargate Advent Calendar 2017 22日目の記事です。 ※本当は別記事二本書く予定だったのですが、パワー不足で一本にまとめさせてもらいました。 コネヒト Advent Calendar 2017 - Qiita AWS Fargate Advent Calendar 2017 - Qiita コネヒトでは、本番環境のほとんどのサービスでDockerを導入し、ECSを使ってサービ…

…ラエンジニアの永井(shnagai)です。 AWS re:Invent今年は大豊作ですごいですね。 特に待ちに待っていた、フルマネージドのコンテナサービスが発表されて、ECSでEC2の管理したくないなと思ってた勢としてはとても喜びを感じています。 EKSとの棲み分けも気になる所ですね。 AWS Fargateの紹介 – インフラストラクチャの管理不要でコンテナを起動 | Amazon Web Services ブログ 今回は、検証を兼ねてECS上で動かしているバッチ処理をFa…

…スの基盤を支える @shnagaiによるエントリーです 🙆 qiita.com *1:そもそも、「知らない人」にとっては、この話はググるためのイディオムが浮かばないですよね。。どうにかStackoverflowにたどり着いて→見慣れない関数を見つけて→UNNESTをキーワードにして検索したらたどり着いた、という経緯でした *2:こちらのGoogleのドキュメントを参照してください *3:まさにwonder!!なサービスですよね、と思います。Google様すごい *4:Stan…

…インフラエンジニアのshnagaiです。 今回の開発合宿では、golangを学びがてら、ECRリポジトリのdockerイメージを削除するツールを作りました。 ※コードは、やってみたレベルなので機会があれば公開しようと思います。 10. Pon Pon Pain サーバーサイドエンジニアの itosho です。 最近の楽しみは乃木坂46の東京ドーム公演です。 僕はお腹が弱い（Pon Pon Pain）ので、今回の開発合宿ではTokyo Toiletというサービスをつくりました。…

…ラエンジニアの永井(shnagai)です。 コネヒトでは、開発環境に続き、続々と本番サービスにもDockerを導入しています。 今回は、中々運用が大変なcronでスケジュール管理するような定期的なバッチ処理を、Amazon ECSのScheduledTaskを使ってDocker駆動な環境で構築した話です。 他の方法との比較やどのように実現しているのかについて紹介したいと思います。 今回対象とするバッチの種類 今回対象とするバッチ処理は、俗に言うスケジュール系のバッチ処理で、毎…

…ラエンジニアの永井(shnagai)です。 コネヒトにjoinして最初のタスクで、開発環境改善として一部のサービスにDockerを導入しました。 今回は、開発環境改善の道筋とそこから得られたDocker周りの知見について共有します。 開発環境で解決すべき課題 まずは、開発環境改善を行うにあたり、現状の環境の課題を明確にしました。 vagrantで開発環境を組んでいるとありがちな課題がコネヒトの環境にもありました。 1. 開発環境が不安定 vagrant環境が壊れる。。 突然V…