こんにちは。2017年11月にAndroidエンジニアとしてJoinした関根(@katsutomu)です。初めてコネヒト開発者ブログに登場させて頂きます。先日コネヒトマルシェの第2回を開催致しました。詳細は安達の投稿した記事をお読み頂ければと思います。 tech.connehito.com
さて、今回は筆者が先日のコネヒトマルシェで取り組んだことについてご紹介させて頂きます。どうぞ宜しくお願い致します。
Connehito Marché #2を盛り上げるために
まずはこちらのツイートをご覧ください。
もうすぐ19時半 なんですけども ヘッド まだちょっと怒られていない方いるので35分ぐらいから始めたいと思います #コネヒトマルシェ #ボイスメモ
— ギャングス関根 (@katsutomu) 2018年5月18日
飲み物を持っていただけると とても美味しいです #コネヒトマルシェ #ボイスメモ
— ギャングス関根 (@katsutomu) 2018年5月18日
typoだらけのツイートを貼って何事かと思うかもしれませんが、実はこの日は拙作の音声認識ツイートアプリで認識された内容を元に会場の様子の中継を行なっておりました。このツイートは下記の写真の赤丸部分においてあるAndroid端末からの配信です。
つまりこちらのツイートは弊社伊藤の会場案内の内容を音声認識し、ツイートされたものとなります。
ヘッド まだちょっと怒られていない方いる は ちょっとまだ来られていない方がいる
AFTERSCHOOL のパートに入りたいと思うんですけども は それではLTのパートに入りたいと思うんですけども
とそれぞれ喋っていたと記憶してしております。今回のイベントでは会場案内と弊社の伊藤と安達のLT発表中に前述のアプリを使用し中継を行わせて頂きました。中継内容はそれぞれ下記のツイートにスレッド形式で纏まっていますのでもし興味があれば是非ご一読ください。
安達のLTの中継ツイート
AFTERSCHOOL のパートに入りたいと思うんですけども 最初は #コネヒトマルシェ #ボイスメモ
— ギャングス関根 (@katsutomu) 2018年5月18日
伊藤のLTの中継ツイート
いただきます タイトルは30代から始める Web フロントエンド 入門 流体とでお話しさせていただきます 間違いに 今日 30代の方ってどれぐらいますか #コネヒトマルシェ #ボイスメモ
— ギャングス関根 (@katsutomu) 2018年5月18日
ツイート中継の裏側
きっかけ
もともとこのアプリは弊社の開発部で半期に一度開催している開発合宿というイベントで制作いたしました。この合宿は社内メンバーやママリの誰かの一歩を支えるための開発を行う合宿です。当初の目的は、社内メンバーの下記の課題を軽減出来ないかという思いからでした。
- ミーティングでの議事録を取るコストを減らしたい
- ユーザーインタビューで質問に夢中になりメモを取り忘れる
ただ先述のツイートを見る通り雑音の多い環境や複数人で会話をするような用途では、まだまだ誤変換が多い状態だったので課題の解決には結び付きませんでした。が、逆に誤変換を楽しめないかと考え、コネヒトマルシェでの中継に利用することを思いつき今回の実験に臨みました。
内部実装について
本アプリはGoogle Cloud Speech APIのAndroid用のサンプルコードに手を加えて制作を致しました。 github.com
今回実装したのはSQLiteでローカルストレージに保存する機能と認識されたテキストをツイッターへ配信する機能のみで音声のテキスト変換部分の機能はGoogleCloudPlatformのサンプルアプリをそのまま流用しています。音声からのテキスト変換はサンプルアプリをビルドする環境があれば、すぐにでも試すことができるので是非触ってみてください。
なおSpeech APIは有料となります。使いすぎにはご注意ください。
ツイート中継を行なってみて
メリット
誤認識がとにかく面白い
とにかく誤認識で、妙な言葉に変換されていて、読んでいるとついつい笑ってしまいます。本当はなんと喋っていたのかが気になってくる効果が生まれているというフィードバックも頂きました。
懇親会でのコミュニケーションが盛り上がる
音声認識のアプリをきっかけに懇親会でお声がけを頂いたり、懇親会での会話の内容をツイートに配信して楽しみました。今回の狙いでもあるコネヒトマルシェを盛り上げることに一役買うことができたかと思います。
デメリット
LTに集中できない
公共の良俗に反する単語がツイートされないようにNGワード機能を実装し対策をしていたのですが、それでも妙な単語がツイートされないか心配でした。そのため、筆者は二人のLTを聴きながら、どんな言葉がツイートされているか監視をしていのですが、その為、LTに集中することが出来ませんでした。次回はしっかりとNGワード対応を行いLTを聞くことに集中できるようにしたいと思います。
最後に
今回は誤変換を楽しむことがメインになりましたが、正確に認識されることも多く音声認識技術の発展には目を見張るものがあると感じました。今後もしっかりとキャッチアップし、正確な中継を行える日を楽しみにしようと思います。
実は、今回ツイート中継を試してみようと決めたのはコネヒトマルシェ開催の三日前でした。時間がない中で私からの申し出を温かく受け入れアドバイスをくれた社内のメンバーと、そして何より当日にツイート配信にお付き合い頂いたご来場の皆様に改めて感謝いたします。次回はLT発表者に事前承諾を頂いた上で、全てのコネヒトマルシェの様子をお伝えできたらいいなと思っています。その際は、LTに集中できるだけのNGワード対応を行いますので、是非宜しくお願い致します！
追伸
今回の主題とは全く関係ないのですが筆者の相棒である富田のI/O Extended 2018 Shibuyaのレポート記事もご一緒にどうぞ！！！ tech.connehito.com
