Google Cloud Marketplace Marvels シリーズ のこのエピソードでは、theCUBE Research の John Furrier が Confluent の CPO である Shaun Clowes 氏と、Google の マーケットプレイス担当 VP である Stephen Orban 氏にインタビューしています。
動画概要（YouTubeより引用）
この会話では、バッチベースのプロセスをリアルタイムのデータ移動に変換し、カスタマー エクスペリエンス、意思決定、ビジネス インテリジェンスのイノベーションを推進する Confluent の最先端のデータ ストリーミング プラットフォームについて詳しく説明します。Clowes 氏は、Google Cloud との戦略的パートナーシップを強調し、シームレスな統合、スケーラブルなソリューション、マーケットプレイス消費モデルの柔軟性を強調しています。
Orban 氏は、Confluent が組織がデータ サイロを解体し、デジタル変革を加速するのにどのように役立つかを強調します。彼らは協力して、プラットフォームが AI イニシアチブ、エンタープライズ分析、急速な IT モダナイゼーションに与える影響について探り、企業が次世代のデータ インフラストラクチャを段階的に構築する方法を実証しています。
目次
前提
この記事は、冒頭で紹介した動画を自動翻訳で再生して聴きながら、私が内容をメモしたものです。
YouTubeの自動翻訳はけっこう内容にずれがあったりしますし、その上私の解釈も混ざっていたりするため、ご了承ください。
内容要約
司会：まずはConfluentについてお話ししましょう。リアルタイムデータイノベーションは今日の世界のトップトピックです。
Clowes氏（CFLT）：
- Confluentはデータストリーミングプラットフォーム（DSP）と呼んでいる全く新しいカテゴリのデータインフラストラクチャを構築しています。
- これまでのバッチベースの世界から、データが常に移動し続ける新しい世界に向けて設計しています。
- 私たちは Apache Kafka が基盤 となる Confluent Cloud をベースにした完全マネージド サービスを構築しており、さらに強化したのがDSPです。（Kafkaは世界で最も人気なリアルタイムデータストリーミングのOSSプロジェクトです。）
- 必要に応じて、リアルタイムまたはバッチで、どこからでも、あらゆる規模でデータを移動でき、企業内のデータの生産者と消費者を切り離すことができます。
- この優れた基盤を一連のコネクタでさらに拡張し、さまざまなデータソースやシステムに接続できるようになっています。
- さらに、リアルタイムでのストリーム処理も簡単になるように設計しました。これはApache Flinkという非常に人気のあるオープンソースプロジェクトをベースにした技術です。
- さらにガバナンスツールも追加し、安全なデータアクセスと可視性、セキュリティの再利用を可能にしています。
- Confluentは、データがどこにあっても簡単に入手して使用でき、主要なクラウドプロバイダーにデータを届けることができます。
Orban氏（GOOG）：
- 顧客はIT資産全体の完全な変革をGoogleに求めており、Confluentは組織全体に散らばるさまざまな種類のデータによく見られるサイロを解消するのに非常に役に立ちます。
- Confluent は優れたテクノロジーを構築するだけでなく、私たちと協力して、こうした大きな変革の旅に出た顧客が目的地に早く到達できるように支援してくれている。
司会：データストリーミングの市場開拓についてどのように考えていますか？
Clowes氏（CFLT）：
- Google（大手クラウド全てだろうけど、ここではGoogle名指し）との提携は、重要なキードライバーです。
- Confluentは Google Cloudでシームレスに動作し、GCP 内の Google データや Google アプリケーションすべてと瞬時に簡単に、連携させることができます。移動しているすべてのデータを活用できます。
- マーケットプレイスを通じた購入は、ユーザーにとって、統一された請求が受けられるというメリットがあります。
- 請求と管理を簡素化し、予算策定の話し合いの複雑さが軽減され、販売サイクルが加速します。
- Confluent にもGoogleにも、そしてその共通の顧客に利益をもたらします。いわばwin-win-winです。
- これを築くには意図的で強力的なパートナーシップが必要です。
司会：信頼は非常に重要で、Google Cloud統合は大きいですね。
Orban氏（GOOG）：
- Confluentは、私たちの最大かつ最も成功しているISVパートナーが私たちと提携する際に活用しているベストプラクティスのすべてに真剣に取り組んでいます。
- まず第一に、ConfluentはGoogleの主要製品のいくつかに独自の統合機能（コネクタ）を持っており、例えば、BigQuery内ではVertex AIプラットフォームのコネクタです。
- AI分析について考えた時、顧客がGoogleを選択する差別化要因として、Confluent Cloudとの連携が本当に非常にうまく機能てしいる点が挙げられます。
- お互いのアカウントでおこなっていることを共有することで顧客が何を求めているのかを共有し、連携して対応していくことができます。
司会：私たちは今、ハイパースケールクラウドと接続されたエコシステムの中にいます。統合の面で何をしていますか？
Clowes氏（CFLT）：
- DSPはGoogle Cloudの高度な分析とAIに非常によく適合しています。
- これらを組み合わせることで、データを即座に処理・分析し、行動に移すことができ、スケーラブルで安全なソリューションを提供し、より賢明な決定を下すことができます。
- また、オンプレミス・エッジ・Google Cloudなどさまざまな環境をつなぐことができます。
- 新しいConfluent Flinkも提供し、AIモデルの推論機能により、Vertex AIに直接統合できるようにもなりました。
- 第一級のリアルタイムな高品質データを作成し、利用できるようになったのです。
- 鮮度の高い継続的なデータによってAIモデルを強化し、より迅速な洞察とより良い意思決定を実現し、素晴らしいAI体験を実現します。
- 自動化し、プロセスを強化し、優れた顧客体験を提供できます。
- これはとても素晴らしいことです。非常にシームレスにデータを活用できます。
司会：推論についてもう少し。今後人々はどのように展開していくでしょうか
Clowes氏（CFLT）：
- 基盤モデルは非常に重要だが、AIが本当に賢くなるには、質の高いデータが必要です。
- Confluentは、お客様が扱う最も重要なデータをリアルタイムで転送します。
- AIが賢く機能するには、RAGアーキテクチャや検索拡張生成アーキテクチャがありますが、大まかにいえば、データを取り込むプロセスが必要ということです。
- 高品質で信頼性の高いリッチデータが瞬時に得られ、保存される必要があります。
- GCP(Google Cloud Platform) ではそれが非常に簡単にできます。
- ボットやコパイロット、エージェントアーキテクチャを構築する時
- リクエストや質問、指示を受け取り、ビジネスのデータを取得してその質問に対して、何をするか、どのようにするかを決定する推論時間があります。
- そのためにはコンテキストウィンドウ管理が必要です。
- 質問を管理し、それをRAGパイプラインに保存した豊富なデータと組み合わせて、モデルに提供し、結果を取得してそれに基づいて行動する。
- 先ほどお話ししたFlink統合、このFlinkモデル推論は両方を行います。すでに移動しているデータをリアルタイムで高品質に取得してさらに豊かにし、RAGアーキテクチャに保存して後で使用できるようにします。そして推論時に最も重要なコンテキストをすぐに取得します。
- チャットボットからはAIから優れた回答を得られるようになり、エージェントは次のステップとアクションを正解に取得することができるようになります。
司会：それがGoogle Cloudとの関係が輝くところだと思います。信頼性を備えた高品質データが必要です。もう少しその側面を共有してください。テクノロジーの 1+1 が 5 になるところだからです。
Orban氏（GOOG）：
- ショーンが言っている通りです。
- Geminiのようなモデルは大規模なデータでトレーニングされているため素晴らしいが、そのデータはネット上で公開されている。
- 顧客は、RAG検索拡張の場合のように、独自のデータに基づいていることを確認する必要がある。
- Confluent Cloud はオンプレミスにも接続でき、顧客システムにサイロ化されていた可能性があるデータを取得できる。
- 顧客はクラウドに早く移行したいと望んでいるが、既存のレガシーシステムやオンプレミスのデータセンターによる足枷がある。
- Confluentによって、そのようなデータも素早くクラウドに移動してAIや分析に活用できる。これは非常に大きな利点です。
司会：何かこの共同リューソンでのユースケースはある？
Clowes氏（CFLT）：
- Urban Outfitters のサブスクサービスについて。
- 彼らは全く新しいサービス・新しい製品をサポートするITインフラアーキテクチャを、数ヶ月で構築しなければならなかった。
- 従来のアーキテクチャよりも柔軟で迅速に導入できる新しいアーキテクチャを開発する必要があり、イベントストリーミングにたどりつき、Google Cloud, Conluent Cloudによってそれを構築した。
- プラットフォーム全体が新しいものになり、その後、エンジニアたちがConfluent CloudとKafkaを利用してイベントストリーミングアーキテクチャを設計。
- アイディアから、全く新しいものを立ち上げるまで、たった6ヶ月でした。
- そしてそのアーキテクチャは、その会社のすべての業務の IT 基盤として機能します。
- ロジスティクスでのこのタイプのサブスクリプション サービスの運用は実際には非常に複雑です。
- 彼らはそれを簡単にするために、さまざまな Google Cloud Platform サービスを活用することができました。
- 彼らは Google Cloud Storage を使用し、当然のことながら BigQuery を使用し、Google の Kubernetes エンジンと Confluent Cloud を使用しています。すべてのストリーミング データをすぐに BigQuery にリンクし、使用できるようにしています。
- 彼らと話したとき、彼らは、Kafka トピックからデータを取得して、何もせずに TR だけで BigQuery に表示できることが非常に有益であると強調しました。
- 表示データを複製する必要はなく、データサイロを増やすこともない。すべてのデータはこのリアルタイム基盤で利用できるようになった。
司会：メリットの指標を数値で教えてください。
Clowes氏（CFLT）：
- DSP全般について、IDC Forestaなどが調査した指標があります。
- 一般的に、イベントストリーミングアーキテクチャを活用すると5つの投資回収率を何倍にも高め、データアクセスを大幅に高速化し、市場投入までの時間を大幅に短縮しました。
- 顧客のデータ管理と総所有コストは25%削減しました。
- Fortune 500 企業の約70%がミッションクリティカルなユースケースでストリーミングを利用しており、最大で開発サイクルを75%短縮し、管理コストを60%削減できます。
- これは、データの移動方法とデータから価値を引き出すアーキテクチャの再構築です。
- この基盤となるインフラストラクチャの上では、今後新たなユースケースが出てくる度に作業が難しくなることはなく、簡単になります。
司会：顧客にとってこのような統合と機能は素晴らしいことです。メリットの面で彼らは何を見ている？
Orban氏（GOOG）：
- Googleストレージと、分析エンジンとしてBigQuery, 、Confluent Cloudを全てのデータの処理方法として使っています
- 。リアルタイムでの分析も行うので顧客にとってはConfluentはGoogleCloudの一部であるかのように感じる。
- 顧客にとって区別がつかないほどうまく統合できており、我々が過去数年間にわたって取り組んできた成果です。
- Confluent CloudがまるでGoogleCloudの一部かのように自然に利用できている。これは難しいことで、素晴らしいことです。
司会：Confluent DSPとGoogle Cloudは見事なコラボレーションです。ビジネス変革AIに向けて我々は目を向けています。エージェントを導入した次世代ワークロードの再設計に真剣に取り組む人々についてどう思う？
Clowes氏（CFLT）：
- タイムリーで信頼性の高いリッチデータにアクセスし、自分たちで処理できるようにすることがますます必要になってきています。
- 結局のところ、人々が気づくのは、どんなに優れたAIモデルでもデータ管理からは逃れられないということ。
- データの移動の問題、俊敏性の問題、データをビジネス上の利点に変換することに向き合い続ける必要がある。
- そのためにDSPがあります。
- 最も重要なデータを再利用可能な方法で設定するにはどうすればいいか。支払いデータ・顧客データ、配送データなど、まず一番重要なデータを解放し、アーキテクチャに追加していく。
- ひとつひとつデータを解放し、活用し、AIと連携させ、分析し、意思決定を行う。
- そうしていくことで、まったく同じデータでより優れたアプリケーションを構築できます。
- このようなアーキテクチャの再構築は何度も何度も繰り返し行わなくてはいけないことではなく、一度構築してしまえばあとはお金が返ってくるものです。
司会：中枢神経のようなもので、素晴らしいですね。
Clowes氏（CFLT）：
はい。
- 例えば金融サービスとして何か新しいプロジェクトが始まる時を考えてみます。
- ステップ1:構築
- ステップ２：必要なデータ何か考える
- ステップ３：データを取得するために大量のコードを作成する
- この繰り返しです。しかし、データを組織内で自由に移動できるようにすれば、ステップ３は不要なはずだ。
- これからは、ダイナミックな自己改善システムを構築し、データベース・システム・サイロに関してのさまざまな問題に対処できるような組織独自の脳を持つようになります。
司会：AIによるビジネス変革は最も重要な話題ですね。
Orban氏（GOOG）：
- ショーンがいうように、今がまさにその時です。
- アイデアを思いついてから実行に移すにはデータをあらゆるアプリケーションやエージェントAI、その他のユースケースにすぐに利用できるようにする必要がある。
- 私たちは、Confluent CloudとGoogle Cloudの区別がつかないほどのシームレスな統合に非常に興奮しています。
まとめ記事ありました…
以下の記事でも内容がまとめられてます。（これを要約すればよかったか…）
