こちらの記事は弊社技術ブログに掲載していた内容となります。一部を除き、投稿当時の情報となりますので、紹介内容の最新情報については別途公式情報等をご参照下さい。目次 ToggleBigQuery の可能性活用事例：パーソルキャリア様活用事例:Truedata様、「Eagle Eye」こんにちは。クラウドエース編集部です。7/31 – 8/1で行われた Google Cloud Next ’19 in Tokyo。 YouTube で動画も続々とアップロードされていますが、動画を観る時間がない…要約だけ知りたい… という方向けのセッションサマリーとなります。本セッションは、クラウドエース会長の吉積、CTOの高野も登壇いたしました。ブレイクアウト セッション – 40 分 • D1-5-S04 BigQuery を活用した既存データ分析サービスのマイグレーションと新規事業開発事例 YouTube はこちらBigQuery の可能性クラウドエース株式会社 取締役CTO：高野 遼（宮崎県出身、30歳）BQは高スケーラビリティで、コスト効率に優れたサーバーレスデータウェアハウス データを BQ にアップロードだけでok BQ の登場により、「当たり前」が変わった全企業、個人までも高品質なDWHを低コストで保有可能MLをいつでも開始可能ランニングコストも使わなければゼロBQ：サーバーレス、高性能、BI Toolsとの協力な連携、リアルタイム分析 BigQueryMLできました。サーバーレスだからデータの収集や分析に注力できる！ペタバイト単位でシームレスにスケーリング超高速インメモリ分析 BQ BI Engine高速ストリーミング挿入APIで…BQ BI Engine メモリ上で処理ができます＝サクサク動く（従来は小さなクエリでも数秒かかっていた）BigQuery MLテーブルデータを用意して、好きなものを予測今あるデータを使ってトレーニング活用まとめだれでもDWHを持てるデータ活用のために基盤を整備する必要性一度データが集まればすぐにMLを開始→これを活用できるかどうかで、生まれる差についてどう捉えるか？活用事例：パーソルキャリア様パーソルキャリア株式会社 プラットフォーム事業本部 データ戦略統括部 データソリューション部 エキスパート：橋本 久カウンセリング音声のビジネス活用 an、LINEバイト、 doda などなど…ミッション社内に蓄積された膨大なデータとAI テクノロジーを使ってデータを価値あるものに変えていく 各事業部の課題解決や新規ビジネスの企画開発を行っている部署 ビジネスxアナリティクスxエンジニアビジネス課題カウンセリングにおいてキャリアアドバイザーの会話は転職希望者のマインドを醸成 カウンセリングの内容は可視化できなかった 2人の音声を切り分け、集音するマイクを活用し 音声を収集、蓄積、テキスト化することが可能。AIスピーカーでリアルタイムで音声を集音 音声の情報についてセキュリティ要件をクリアしている 音声を集合してテキスト化するアプリケーションを開発 →クラウドエースと3ヶ月かけて基盤を開発音声データの活用① ハイパフォーマーの音声を共有→育成担当者の教育時間を削減音声データの活用② カウンセリング履歴入力の削減→テキスト履歴入力の効率化マッチングへの活用Natural Langurage API を使って、転職理由・希望要件等を会話の中から自動的に内容を捉えて、BQ で職種別に分析、可視化している転職希望者に実際に応募してもらったのかどうかを確認して、どのような提案がアドバイザーがしたのかとかを分析してより使い安い予測モデルを BigQuery を使って開発 希望条件を自動抽出→マッチング精度向上 データポータルを使った活用もできる BQ 使った半年くらいだけど、検索もサクサクできて、可視化もできるメリットがある。ディスカッション導入のポイント【PERSOLキャリア様】【高野Q】 今回のPJはデータの中でも非構造化データ（音声）で面倒かなと思いますが、弊社を選んだポイントは？【Persol様】 難しいPJですが、ソフトウェアだけではなく、デバイスの扱いも難しかったです。CAはAIスピーカーの知見もあるということで一緒に進めておりました。メリットは大きく２つ：音声認識は導入ハードが高い。GCP™️ を使うことによってイニシャルコストがかからない。クラウドを使うことへの知見ができた。間接的コストをコストを気にしなければならないので、CAのような技術パートナーとどうゆるく繋がっていけるかCAの GCP のノウハウがよかった3ヶ月間に要件定義から入ってもらった。短い時間で早く開発ができた。Feed Backから更にCreativeな意見をもらえたのでInnovation開発ができた。キャリアアドバイザーから新しいアイディアも出てきた。現場に新しいイノベーションを出していきたい（Persol様） 高野：クラウドの案件は最初の摩擦係数が高いので、滑り出しをいかにサポートするかを考えています。活用事例:Truedata様、「Eagle Eye」株式会社 True Data データマーケティング部・リーダー：竹村 博徳 株式会社 True Data IT戦略室・室長：池田 陽一購買行動データ商用分析サービス日本最大級ID-POS標準データベースポイントカード購買履歴を持ってる会社6000店舗、5000万人、過去15年分！日本最大級のID-POS標準データベースデータ量：13年で100倍！2004：数億2017：数百億Eagle EyeID-POS分析の業界標準を備えたSaaS導入メーカー100社1社500名超の活用も実現急成長の理由は？誰でも使えるSaaSへ進化操作性スキルレスビジュアライズBQ で、高速に大量データでも対応できるSaaSへ進化取り扱えるデータ量が1000倍に拡大10億超のスキャン分析に耐えることができる数分（2〜3分）で結果が返ってくるTrue data IT transformation先頭を行こう→GCP、BQ ヘ移行を決断。システムの課題増え続けるデータ量と処理量 ↕最大スケールに合わせた環境と様々な制約優先順位基幹サービスEagle Eyeから着手（2019/4 以降完了）Why BQ?理由は…環境制約からの脱却データ鮮度将来性スケールの極大化データ洗い換えが用意分析なら Google™️懸念点料金クセがある安定稼働従量課金：安いというが、スケールによって増える費用を管理できるか心配だったシンプル。独特なArchitectureマネージドサービス（答えが必ず出るものではないのも理解していた）パートナークラウドエースと共に！GCP の伝道師と二人三脚で BQ の特性を活かし切った開発を実施料金技術面：BQ 適合設計、実装サービス面：BQ 適合メニュー提供※フラットレート未使用癖 シャーディング、パーティショニングを正しく活用 １日でデータ入れかえ。データの鮮度が良い。 チューニングの結果、非常にシンプルに実装することができた。安定稼働 シェアしている環境 リトライ在りきで処理、サービス構築答えが返せないことはある＝リトライすればいい すぐ再実行できる仕組みにしている。 ただ、そういった場面になることは稀。ディスカッション【高野Q】どれくらい早くなったの？【True Data】 例えばBIでライセンス数とか気にして、処理が集中したときに答えが返せない時があったが、それがなくなった。数時間かかってたものが数十分にもなった。 大量の処理を効率よく処理。【高野Q】導入後の効果やこれからの展望は？【True Data】 導入後の効果→オンプレの時には予想していなかったユーザー数を獲得できた＋安定している。 今後の展望→「新商品好きな県ってどこでしょうデータ」を持ってるのですが、そのデータをいろんな業種に使えるようにしたい →Eagle Eyeにのせて、分析できるようにしたい。商品別にもできます。【高野Q】データの取り込みを担当されたと思うが今後の展望について？【True Data】 購買データを扱っているが、ポイントとかポス周りの変化もあり、そういうデータも必要になってきた。さらに広くデータを取らなければならないので、そういうときに GCP をつかえば、日本中のデータが来てもクラウドエースと BigQuery でなんとか取り扱えるのではないかとおもってます。メッセージ池田様：BQ のお役に立てればいいかと思っている。ドキドキには力強いパートナーが必要なのでCAおすすめします。GCP どんどんつかいましょう。パーソル様：GCP を使わない手はない！
