X

Big Data、Data Integration、Data Lakeに関するテクノロジー、製品・サービス情報、セミナー情報などをお届けします

オブジェクトストレージを使用したAutonomous Data Warehouse Cloudとビッグデータの統合

Oracle Autonomous Data Warehouseに格納されているデータを使用してビジネスを実行することは可能ですが、そこには他にも価値のあるデータが多数あります。 Oracle Big Data Cloudを使用すると、そのデータを格納および処理し、 Autonomous Data Warehouse Cloudにロードする前準備ができます。 これら2つのサービスの統合ポイントは、 オブジェクト・ストレージです。
 

データレイクとDWHの使用例

自律型データウェアハウスとビッグデータ

ほとんどすべてのビッグデータの使用事例には、 データレイクとDWHの両方をうまく使い分けています。 たとえば、 予測メンテナンスでは、データレイクに格納されているセンサーデータとDWHに格納されている保守および購入記録を組み合わせることが必要です。

また、Customer360として特定の顧客のためにソリューションを決定しようとするときは、顧客の購入記録(データウェアハウス内)と顧客のWebブラウジングまたはソーシャルメディアの行動履歴を組み合わせることでより良い洞察を得られます。

予測メンテナンスのためのデータレイクとDWH

例として予測メンテナンスを行います。 正式なメンテナンス記録と購入または保証情報はすべてビジネスにとって重要です。 規制当局が適切なプロセスが遵守されているかどうかをチェックしたり、予算を管理したり新しいコンポーネントを注文するために購買部門に必要な場合があります。

一方、機械、気象観測所、温度計、地震計などのセンサ情報はすべて、一部の機器の動作を理解し予測するのに役立つ可能性のあるデータを生成します。 DWH管理者に、未処理の、多分あまり理解されていないマルチ構造の数テラバイトのデータを保存するよう依頼した場合、それほど最適ではありません。 この種のデータは、データレイクに適しており適切な前処理を施すことで、 機械学習アルゴリズムの入力データとして使用できます。 しかし最終的には、両方のデータセットを結合して、障害または許容範囲外に移動するコンポーネントを予測する必要があります。

例:オブジェクトストレージとDWHの連携

オブジェクトストレージはクラウド時代に最適なデータレイク基盤です。
オブジェクト・ストレージは、とりわけ、バックアップおよびアーカイブ、DWHのデータのステージング、またはそこに保管されていないデータのオフロードに使用されます。

さきほどの予測メンテナンスの使用例に戻りましょう。 オブジェクト・ストレージ内のデータ・レイクにロードされた後、センサデータは、 Oracle Big Data Cloudによって起動されたSparkクラスタで処理されます。 この「処理」は、単純なフィルタまたは結果の集約から、隠されたパターンを明らかにするための複雑な機械学習アルゴリズムの実行まで、さまざまなことが行われます。

その作業が完了すると、結果の表がオブジェクト記憶域に書き戻されます。 その時点で、それはAutonomous Data Warehouseにロードされるか、またはその場で参照されます。 どちらのアプローチが最適ですか? ユースケースによって異なります。 一般的に、そのデータに頻繁にアクセスするか、クエリのパフォーマンスが重要な場合は、 Autonomous Data Warehouseにロードすることが最適です。 ここでは、オブジェクト階層をストレージ階層の別の層と考えることができます(Autonomous Data Warehouseにはすでにストレージ階層としてRAM、フラッシュ、ディスクがあります)。

また、ETLオフロードユースケースでも同様のアプローチを見ることができます。 生データはオブジェクト記憶域にステージングされます。 変換プロセスは、1つ以上のBig Data Cloud Sparkクラスタで実行され、結果はオブジェクトストレージに書き戻されます。 この変換されたデータは、Autonomous Data Warehouseにロードすることができます。

Autonomous Data Warehouse Cloud とBig Data Cloudの連携

Oracle Autonomous Data WarehouseとOracle Big Data Cloudは、全く別個の2つのサービスとは考えないでください。 補完的な強みを持ち、オブジェクトストレージを介して相互運用することができます。 そうすることで、すべてのデータを活用して、ビジネス全体の利益を得ることが容易になります。

より多くのことを学ぶことに興味がある場合は、 オラクルの無料トライアルに登録して、独自のデータ・レイクを作成することができます

本資料は、Oracle Big Data blog(https://blogs.oracle.com/bigdata/integrating-autonomous-data-warehouse-big-data-object-storage)を抄訳したものです。

 

Be the first to comment

Comments ( 0 )
Please enter your name.Please provide a valid email address.Please enter a comment.CAPTCHA challenge response provided was incorrect. Please try again.