※ 本記事は、Shweta Bhatia Guptaによる”SQream delivers big data analytics with OCI powerful high-compute GPUs and agile cloud native Kubernetes“を翻訳したものです。
2022年10月7日
重要なビジネス機能のためにビッグ・データと機械学習がますます活用されている中で、企業は大量のデータセット処理の実行に数日かかることがよくあります。データからインサイトを得る時間を短縮することで、結果を迅速に得ることができ、ビジネス上の意思決定を迅速化できます。小売業者が在庫を効果的に管理しようとしているのか、通信業者がデータを分析してネットワーク品質を確保しようとしているのかにかかわらず、ビッグ・データは現在、幅広い業界においてユビキタスになっています。
エッジ・デバイスの大量導入によりペタバイト級のデータが生成され続ける中、企業はセキュリティ脆弱性に対してより効率的にパッチを適用する方法を時間的制約のある方法で分析しています。すべての企業が、時間に制約のある多くのデータで、タイムリーかつコスト効率の高い方法で処理する必要がある、という課題に直面しています。
クラウド上にホストされたビッグ・データ分析は、主に高スループット・データ処理の必要性に依存しているため、計算が集中的でデータ集中型です。このため、迅速かつ正確なビジネス上の意思決定を行うために非常に高速なデータ抽出プロセスが必要です。ここでは、Oracle Cloud Infrastructure（OCI）とSQreamのコラボレーションが救出につながります。
SQreamingファースト
SQreamは、データ主導型企業がデータの急激な速度に対処する課題に対応するために設立されました。SQreamは、2010年にAmi GalとRazi Shoshaniによって設立され、GPUを使用してSQLで大量のデータを処理し、より迅速な結果を得ることができます。SQreamのソリューションは、組織が即座にインサイトを取得し、クラウド・データ・パイプラインを加速し、サポートするインフラストラクチャを構築する負担なく大量のデータを分析するために簡単に拡張できるように設計されています。現在、世界中の250を超える組織が、ペタバイトのデータを問い合せて、かつてないほどの新しいインサイトを卓越した速度で得るために、SQreamを利用しています。
SQream製品およびソリューション
SQreamの主要な分析製品の1つは、Software-as-a-Service（SaaS）データレイクハウスです。これは、ペタバイト規模の分析ワークロード用に設計されたデータ処理エンジンです。SQreamのSaaSデータ・レイクハウスは、データの準備および処理ワークロードを自動的にデプロイ、スケーリングおよび管理するためのクラウド・ネイティブ・ソリューションです。SQreamは、GPUベースのアーキテクチャを使用してペタバイト規模のデータを処理し、重要なビジネス・インサイトを得ます。SQreamは、線形スケーラビリティを使用して任意のサイズのワークロードを管理することもできます。追加するマシンごとに、1時間当たりさらに5TBの取り込みができます。
アーキテクチャ上、SQreamクラウド・サービスは、複数のオプションとしてデプロイできる自己完結型のコンテナ化されたソリューションです。OCIまたは仮想プライベート・ネットワーク（VPN）上のパブリック・クラウド・アカウントでSQreamを実行および管理することで、データの価値実現までの時間を短縮できます。
SQreamのソリューションは、お客様のデータ・レイク・ストレージに直接動作し、機密データのセキュリティとアクセス管理を完全に制御できます。SQreamは、Apache Parquet、JSON、Apache Avroなどのオープン標準形式とネイティブに相互作用し、必要な相互運用性を実現します。SQreamソリューションを使用すると、データの重複と同期の必要性が減り、既存のアーキテクチャ内のコンポーネントを置き換える必要がなくなります。特にテラバイトからペタバイトペタバイトまでスケーリングする場合は、SQreamのプラットフォームを使用できます。:
- 複雑なデータ準備プロセスの実行: 全体の処理時間を要因によって短縮し、最長のワークロードの重要なパスを迅速化します。
- SQLクエリ・エンジンとして大量の分析を実行: より高速に高品質のビジネス・インサイトを生成しながら、競争力のある価格パフォーマンスを向上
SQreamをサポートするOCI製品およびサービス
- リージョン: OCIリージョンは、可用性ドメインと呼ばれる1つ以上のデータ・センターを含むローカライズされた地理的な領域です。リージョンは他のリージョンから独立しており、様々な距離から国や大陸間で分離できます。OCIのグローバル・プレゼンスにより、SQreamは可用性やパフォーマンスを損なうことなく、世界中の顧客と拡張および連携できます。
- GPU加速コンピュート: GPUを搭載したベア・メタルは、高度なアルゴリズムを実行する要求の厳しい処理に対応した高性能コンピューティング・プラットフォームをSQreamで提供します。このソリューションは大規模な並列高パフォーマンス・コンピューティング・ジョブに依存しているため、ユーザーはGPUを実行することでメリットを得、SQreamは複雑な問題を解決できます。SQreamは、複数のBM.GPU2.2 GPUアクセラレーテッド・コンピュート・マシンを使用して、OCI Object Storageとのスケールアウトと効率的な通信を行い、優れた線形パフォーマンスを実現します。
- Container Engine for Kubernetes (OKE): オープン・ソースベースのOracle管理コンテナ・オーケストレーション・サービスにより、SQreamはクラスタおよびポッドを自動スケーリングでき、アプリケーションの作成およびスケーリングの時間とコストを削減できます。OKE WebベースのREST APIおよびCLIを使用すると、SQreamは、Kubernetesクラスタの作成、スケーリング、操作など、すべてのアクションのKubernetes操作を自動化できます。
- Object Storage: OCI Object Storageを使用すると、SQreamはスケールアウト・アーキテクチャを最大限に活用して線形スケーリングを実現し、4-5-GB-per-secondの取込み率を実現できます。線形スケーリングには、次の構成例を含む次のレートがあります。:
- 10 TB, two machines: 0:59:26, 2.8 GB/second
- 10 TB, four machines: 0:35:40, 4.8 GB/second
- 30 TB, four machines: 1:52:20, 4.4 GB/second
- 30 TB, five machines: 1:34:07, 5.3 GB/second
- 100 TB, four machines: 5:51:50, 4.7 GB/second
- Identity and Access Management (IAM): IAMを使用すると、SQreamで、OCIのリソースにアクセスできるユーザーおよびそれらのリソースに対して実行できる操作を制御できます。
- 仮想クラウド・ネットワーク（VCN）およびサブネット: VCNは、OCIリージョンで設定するカスタマイズ可能なソフトウェア定義ネットワークです。従来のデータ・センター・ネットワークと同様に、VCNではネットワーク環境を完全に制御できます。VCNには、VCNの作成後に変更できる重複しない複数のCIDRブロックを含めることができます。VCNをサブネットに分割して、リージョンまたは可用性ドメインにスコープを設定できます。各サブネットは、VCN内の他のサブネットと重複しない連続したアドレス範囲で構成されます。サブネットのサイズは作成後に変更できます。サブネットはパブリックまたはプライベートにできます。
- セキュリティ・リスト: サブネットごとに、SQreamはサブネット内外で許可されるトラフィックのソース、宛先およびタイプを指定するセキュリティ・ルールを作成できます。
- ルート表: 仮想ルート表には、サブネットからVCN外の宛先（通常はゲートウェイを介して）にトラフィックをルーティングするルールが含まれます。
OCI上のSQreamソリューション
OCI上のSQreamのSaaSデータ・レイクハウスは、MPPオンチップ機能と完全なSQL分析インタフェースを使用して、GPUの生電力および高スループット機能をするように構築されています。SQreamのSQLコンパイラでは、数千個のGPUコアを同時に利用しながら、パラレルSQL文を実行できます。Oracleベア・メタルGPUマシンおよびOCI Object Storageと組み合せたGPUのOKEサポートにより、SQreamはスケールアウト・アーキテクチャを完全に利用でき、1マシン当たり5TBを達成し、必要に応じてスケーリングを続けることができる線形スケーリングを実現します。
コンピュートとストレージを分離し、読取り/書込みのために複数のコンピュートを実行すると、SQreamに柔軟性が提供されます。この手法により、既存のストレージ・ソリューションで簡単にスケーリングしてコンピュートを使用できます。SQreamは、ストレージを管理可能なチャンクに自動的に分割して、ハードウェアの需要を減らし、データをスプールおよびキャッシュして効率を向上させます。
GPUの力は、SQreamのスピードへの物語の一部です。SQreamは、マシンごとに1時間当たり5TBの超高速の取込みから始まり、データを自動的に最適化して圧縮します。列型データベースを使用すると、データへの効率的なアクセス、オンライン分析処理（OLAP）の実行のための最適化、メタデータの格納およびリアルタイム分析のための効率化が可能になります。また、SQreamでは、マルチディメンション・データ・パーティション化が可能なチャンク戦略を適用して、パフォーマンスを向上させ、記録時の複雑なスケーリング・プロセスを最小限に抑えます。
SQreamのデフォルトの圧縮モードは適応型であり、問合せパフォーマンスが最適化される実際のデータに基づいて最適な圧縮アルゴリズムを決定できます。SQreamは、大きいデータセットを最大80パーセント圧縮できます。したがって、実際のデータ読取りはネットワーク速度よりも5倍高速であり、OCIの速度とスケーラビリティを利用するために、あらゆるサイズのデータセット・サイズを持つすべての顧客が可能になります。
結果
SQreamは、大規模なデータセットに対してデータ分析ベンチマークを実行しながら、直線的なスケーラビリティを証明しました。OCIにより、SQreamのSaaSデータレイクハウスは10TBから100TBに拡張され、見込み客への説得力のある使用証明を作成しました。
現在、お客様はSQreamを活用して、OCIでペタバイト規模の分析ワークロードを加速できます。OCIのGPUマシンのコストにより、SQreamは同じ価格でより多くのコンピューティングパワーを得ることができ、最終的にOCIビッグ・データの顧客にコスト効率の良い分析ソリューションを提供することができました。
次のステップ
ビジネスをデータ・インサイトに基づいており、時間に制約のある意思決定を行う必要がある組織の場合、OCIとSQreamはビッグ・データ分析に最適な組み合わせです。SQreamをOracle Cloud Infrastructureにデプロイする方法または概念実証を実行する方法の詳細は、David Maromに連絡するか、Oracle Salesアカウント・チームに問い合せてください。