こちらの記事は弊社技術ブログに掲載していた内容となります。一部を除き、投稿当時の情報となりますので、紹介内容の最新情報については別途公式情報等をご参照下さい。 目次 Toggle BigQuery の可能性活用事例：パーソルキャリア様活用事例:Truedata様、「Eagle Eye」 こんにちは。クラウドエース編集部です。 7/31 – 8/1で行われた Google Cloud Next ’19 in Tokyo。 YouTube で動画も続々とアップロードされていますが、動画を観る時間がない…要約だけ知りたい… という方向けのセッションサマリーとなります。 本セッションは、クラウドエース会長の吉積、CTOの高野も登壇いたしました。 ブレイクアウト セッション – 40 分 • D1-5-S04 BigQuery を活用した既存データ分析サービスのマイグレーションと新規事業開発事例 YouTube はこちら BigQuery の可能性 クラウドエース株式会社 取締役CTO：高野 遼（宮崎県出身、30歳） BQは高スケーラビリティで、コスト効率に優れたサーバーレスデータウェアハウス データを BQ にアップロードだけでok BQ の登場により、「当たり前」が変わった 全企業、個人までも高品質なDWHを低コストで保有可能 MLをいつでも開始可能 ランニングコストも使わなければゼロ BQ：サーバーレス、高性能、BI Toolsとの協力な連携、リアルタイム分析 BigQueryMLできました。 サーバーレスだからデータの収集や分析に注力できる！ ペタバイト単位でシームレスにスケーリング 超高速インメモリ分析 BQ BI Engine 高速ストリーミング挿入APIで… BQ BI Engine メモリ上で処理ができます＝サクサク動く（従来は小さなクエリでも数秒かかっていた） BigQuery ML テーブルデータを用意して、 好きなものを予測 今あるデータを使ってトレーニング 活用 まとめ だれでもDWHを持てる データ活用のために基盤を整備する必要性 一度データが集まればすぐにMLを開始 →これを活用できるかどうかで、生まれる差についてどう捉えるか？ 活用事例：パーソルキャリア様 パーソルキャリア株式会社 プラットフォーム事業本部 データ戦略統括部 データソリューション部 エキスパート：橋本 久 カウンセリング音声のビジネス活用 an、LINEバイト、 doda などなど… ミッション 社内に蓄積された膨大なデータとAI テクノロジーを使ってデータを価値あるものに変えていく 各事業部の課題解決や新規ビジネスの企画開発を行っている部署 ビジネスxアナリティクスxエンジニア ビジネス課題 カウンセリングにおいてキャリアアドバイザーの会話は転職希望者のマインドを醸成 カウンセリングの内容は可視化できなかった 2人の音声を切り分け、集音するマイクを活用し 音声を収集、蓄積、テキスト化することが可能。 AIスピーカーでリアルタイムで音声を集音 音声の情報についてセキュリティ要件をクリアしている 音声を集合してテキスト化するアプリケーションを開発 →クラウドエースと3ヶ月かけて基盤を開発 音声データの活用① ハイパフォーマーの音声を共有→育成担当者の教育時間を削減 音声データの活用② カウンセリング履歴入力の削減→テキスト履歴入力の効率化 マッチングへの活用 Natural Langurage API を使って、転職理由・希望要件等を会話の中から自動的に内容を捉えて、BQ で職種別に分析、可視化している 転職希望者に実際に応募してもらったのかどうかを確認して、どのような提案がアドバイザーがしたのかとかを分析してより使い安い予測モデルを BigQuery を使って開発 希望条件を自動抽出→マッチング精度向上 データポータルを使った活用もできる BQ 使った半年くらいだけど、検索もサクサクできて、可視化もできるメリットがある。 ディスカッション 導入のポイント【PERSOLキャリア様】 【高野Q】 今回のPJはデータの中でも非構造化データ（音声）で面倒かなと思いますが、弊社を選んだポイントは？ 【Persol様】 難しいPJですが、ソフトウェアだけではなく、デバイスの扱いも難しかったです。CAはAIスピーカーの知見もあるということで一緒に進めておりました。 メリットは大きく２つ： 音声認識は導入ハードが高い。GCP™️ を使うことによってイニシャルコストがかからない。クラウドを使うことへの知見ができた。 間接的コストをコストを気にしなければならないので、CAのような技術パートナーとどうゆるく繋がっていけるか CAの GCP のノウハウがよかった 3ヶ月間に要件定義から入ってもらった。短い時間で早く開発ができた。 Feed Backから更にCreativeな意見をもらえたのでInnovation開発ができた。 キャリアアドバイザーから新しいアイディアも出てきた。現場に新しいイノベーションを出していきたい（Persol様） 高野：クラウドの案件は最初の摩擦係数が高いので、滑り出しをいかにサポートするかを考えています。 活用事例:Truedata様、「Eagle Eye」 株式会社 True Data データマーケティング部・リーダー：竹村 博徳 株式会社 True Data IT戦略室・室長：池田 陽一 購買行動データ商用分析サービス 日本最大級ID-POS標準データベース ポイントカード購買履歴を持ってる会社 6000店舗、5000万人、過去15年分！ 日本最大級のID-POS標準データベース データ量：13年で100倍！ 2004：数億 2017：数百億 Eagle Eye ID-POS分析の業界標準を備えたSaaS 導入メーカー100社 1社500名超の活用も実現 急成長の理由は？ 誰でも使えるSaaSへ進化 操作性 スキルレス ビジュアライズ BQ で、高速に大量データでも対応できるSaaSへ進化 取り扱えるデータ量が1000倍に拡大 10億超のスキャン分析に耐えることができる 数分（2〜3分）で結果が返ってくる True data IT transformation 先頭を行こう→GCP、BQ ヘ移行を決断。 システムの課題 増え続けるデータ量と処理量 ↕ 最大スケールに合わせた環境と様々な制約 優先順位 基幹サービスEagle Eyeから着手（2019/4 以降完了） Why BQ? 理由は… 環境制約からの脱却 データ鮮度 将来性 スケールの極大化 データ洗い換えが用意 分析なら Google™️ 懸念点 料金 クセがある 安定稼働 従量課金：安いというが、スケールによって増える費用を管理できるか心配だった シンプル。独特なArchitecture マネージドサービス（答えが必ず出るものではないのも理解していた） パートナー クラウドエースと共に！ GCP の伝道師と二人三脚で BQ の特性を活かし切った開発を実施 料金 技術面：BQ 適合設計、実装 サービス面：BQ 適合メニュー提供 ※フラットレート未使用 癖 シャーディング、パーティショニングを正しく活用 １日でデータ入れかえ。データの鮮度が良い。 チューニングの結果、非常にシンプルに実装することができた。 安定稼働 シェアしている環境 リトライ在りきで処理、サービス構築 答えが返せないことはある＝リトライすればいい すぐ再実行できる仕組みにしている。 ただ、そういった場面になることは稀。 ディスカッション 【高野Q】どれくらい早くなったの？ 【True Data】 例えばBIでライセンス数とか気にして、処理が集中したときに答えが返せない時があったが、それがなくなった。数時間かかってたものが数十分にもなった。 大量の処理を効率よく処理。 【高野Q】導入後の効果やこれからの展望は？ 【True Data】 導入後の効果→オンプレの時には予想していなかったユーザー数を獲得できた＋安定している。 今後の展望→「新商品好きな県ってどこでしょうデータ」を持ってるのですが、そのデータをいろんな業種に使えるようにしたい →Eagle Eyeにのせて、分析できるようにしたい。商品別にもできます。 【高野Q】データの取り込みを担当されたと思うが今後の展望について？ 【True Data】 購買データを扱っているが、ポイントとかポス周りの変化もあり、そういうデータも必要になってきた。さらに広くデータを取らなければならないので、そういうときに GCP をつかえば、日本中のデータが来てもクラウドエースと BigQuery でなんとか取り扱えるのではないかとおもってます。 メッセージ 池田様：BQ のお役に立てればいいかと思っている。ドキドキには力強いパートナーが必要なのでCAおすすめします。GCP どんどんつかいましょう。 パーソル様：GCP を使わない手はない！
