パンデミック後の環境において、それまでの従来のビジネスプロセスからの変革として企業のデジタルトランスフォーメーションの取り組みがより一層推進されてきています。
顧客接点におけるチャネル戦略の主軸となったフロントのアプリケーションは、ユーザーエクスペリエンスの向上を目的として次々と新たな機能開発が行われ、顧客起点の様々なデータの発生ポイントとして重要なデータソースとなっています。市場における人材の流動性が高まる中で、リモートワークをはじめとした社員のフレキシブルで生産性の高い働き方の実現がより良い人材の確保・維持につながることから、各バックオフィス業務ではSaaS導入が加速しています。企業における主要業務を担う基幹システムにおいても、ビジネスのスケーリングやレジリエンスへの要求へ追随可能な柔軟性を得るために、従来の自社で構えていたオンプレミス環境での運用からクラウドコンピューティング環境へのリフトが進み始めています。
これらの例のようにデジタルトランスフォーメーションの取り組みにおいて各システムの刷新が進む一方で、それらのシステムが生み出すデータの利活用には課題が多く残っています。
システム刷新後も残るデータ利活用における課題
課題例: データ連携における品質・鮮度の維持
- クラウド上で開発した顧客向けフロントのアプリケーションでは「顧客起点のデータ」が生成、蓄積されているが、そのデータだけではアプリ上で取れた顧客の行動状況が分かるだけで分析や利活用の用途が限られてしまう。そのためこれらのデータを基幹システム内の取引データ、周辺システムでの関連データと組み合わせた分析を行いたいが、データを連携するミドルティアの仕組みが整備されておらず、データを組み合わせて利用するまでにデータの鮮度が低くなってしまう。
- 業務ユーザー部門が所管する業務システム以外のシステムのデータはシステム部門に依頼をしなければデータを抽出して連携してもらうことができない。本番システムからのデータ抽出作業は実施可能な日程が決まっており、作業承認プロセスの回覧も必要となるため、CSVファイルが手元に届くまで数営業日が必要となる。
課題例: 多様なデータのハンドリングと加工
- 業務ユーザー部門主導でアプリケーションが刷新検討され、開発ベンダーはアプリ開発をモダナイズするにあたりドキュメント指向型データベースで開発をし、JSON型でデータが保持されるようになった。ユーザー部門はシステム部門に対して従来のデータウェアハウスでもその刷新アプリのデータを組み合わせて分析参照できるようにしてほしいと要望しているが、既存のデータウェアハウスでは半構造化データのハンドリングに対応ができない。
- アプリケーション毎にデータの意味・意図が異なり、データ登録の定義も異なっているため、複数のアプリケーションから集めたデータに対して分析の意図に合わせてデータの意味を揃え直したり、システム的に欠損してしまったデータのハンドリングが必要となる。データの事前準備には連携されたそれぞれのCSVファイルに対してその意図を理解した業務ユーザー部門の担当者がExcel上での手作業で加工を行う必要がある。
データウェアハウスをモダナイズしながらモダンデータプラットフォームへと発展
前述のような課題が生じた結果として、従来のデータウェアハウスとは別に個々のアプリに対する用途の限られたデータ分析基盤が作られてしまうケースや、データレイクという名の未加工のファイル置き場にファイルが乱立されてしまい、データガバナンスの低下やデータが活用しきれないケースに直面している企業が多く存在すると我々は捉えています。データドリブンを実現するためのデジタルトランスフォーメーションの取り組みには、新たに獲得したデータ資産と既存のデータ資産を横断的に組み合わせて利活用ができる仕組みの整備が必要となっています。
多くの企業がこの十数年にわたって経営の可視化を目的にエンタープライズBIとデータウェアハウスを中心としたデータ整備を進めてきた中で、その正規化された仕組みとデータ資産は重要な役割を担い続けますが、システム刷新とともに扱うデータが多様化してきた昨今においては、あらゆる種類のデータのハンドリングや柔軟な連携と加工が可能な基盤へのモダナイゼーションを進める必要性が高まっています。
Oracleは長年にわたりエンタープライズデータの利活用をテクノロジーで支援してきました。利用用途の限定的なクラウドデータウェアハウスやデータレイクの提供ではなく、お客様の既存のデータウェアハウスをモダナイズしながら、あらゆるデータソースから生じる多様なデータを透過的にハンドリング可能なモダンデータプラットフォームへと昇華させることが可能なソリューションとサービスを包括的に提供します。高い鮮度でのデータ連携から業務ユーザーの意図するデータへの加工を柔軟に実現し、統合的なデータ分析を実現するだけでなく、AIや機械学習といった最新技術を取り込みプラットフォーム上のデータ資産からあらたな実用的なインサイトを提供します。経営データ可視化のためのエンタープライズBIと部門分析要件のためのセルフBI、将来予測分析のためのAIを個別システムとして用意する必要はもうありません。
Oracle Modern Data Platformの全体像
Oracle Modern Data Platformは、企業の社内外で発生するあらゆるデータを取り込むData Integrationレイヤー、一貫したデータガバナンスとセキュアなData Lakehouseを提供するData Management/Data Storeレイヤー、エンタープライズBIやセルフBIだけでなくAI/MLなどデータサイエンス領域までをアプリケーションとして提供するAnalyticsレイヤーまでをOracle Cloud Infrastructure上で包括的に提供しています。
[Data Integrationレイヤー]
リクエスト処理: API Gateway / Functions
モバイルアプリケーションやPCにインストールされたネイティブアプリケーションからのデータを処理します。REST API経由のリクエストを、API Gatewayで認証しFunctionsでヘッダー情報やパラメータ情報をパースして、ORDS経由でデータベースにPOSTしデータを登録します。
参考: OracleによるデータベースAPIの世界のナビゲート
データ変換: Data Integration / Data Transforms(OCI GG)
業務アプリケーションや基幹システムからの大量データを処理します。接続コネクタを経由してデータソースからデータを抽出、必要であればデータ編集を行いターゲットに対してデータ登録を行います。また処理はGUI上で作成することができます。
参考: OCI Data Integrationチュートリアル / Data Transformsを使ってみよう
データ同期: GoldenGate
業務アプリケーションや基幹システムで利用されているデータとリアルタイム同期します。
Oracleデータベース間でのデータのレプリケート、サポートされる異種データベースへのデータのレプリケート、異種データベース間でのデータのレプリケートを行うことができます。
参考: OCI GoldenGateによるBaseDBからADBへのデータ連携
アプリケーション統合: Integration Cloud
多数のアダプタを利用してSaaSアプリケーションおよびオンプレミスアプリケーションから少量データを連携することができます。また処理はGUI上で作成することができます。
参考: Application Integration チュートリアル
データ変換: GoldenGate Stream Analytics / Streaming
トランザクションや移動、センサーから発生したデータをリアルタイムで変換などの処理や分析ができます。WebベースのUIからリアルタイムに発生するデータを処理するデータパイプラインを作成できます。
参考: Oracle GoldenGate Stream Analytics ハンズオン
ストリーミング処理: Streaming / Service ConnectorHub
大量のデータ・ストリームをリアルタイムで収集および処理します。パブリッシュ/サブスクライブ・メッセージング・モデルでデータが連続して生成され処理するユースケースで使用します。
参考: OCI Streaming を動かしてみよう
[Data Management / Data Storeレイヤー]
データ前処理/変換/集計: Data Integration / SQL Code / Other Tools / Data Transforms(OCI GG)
データウェアハウスに蓄積されたデータを分析しやすくするために処理します。Data IntegrationやSQL Plus、SQL Developerなどで記述したSQL、dbtなどといった他のツールからデータ処理を行います。また業務に合わせた目的別のデータマートも作成します。
参考: クレデンシャル・ウォレットを利用して接続してみよう
データウェアハウス: Autonomous Data Warehouse
各システムのデータを集約し、分析しやすくなるよう整理されたデータの倉庫です。分析処理のために最適化・自動化されたクラウド・データベース・サービスです。列形式、パーティショニングなどの設定が初期設定されており、データウェアハウスの構築や運用を簡素化し、高いパフォーマンスで利用できます。
参考: Oracle Database編 – Autonomous Database (ADB)を使ってみよう
データレイク: Object Storage
さまざまなデータソースからのデータを加工せずに、元の形式のまま保管する器です。Object Storageを利用することで、さまざまなデータをストレージの容量を気にせず低コストで蓄積することが可能です。
参考: オブジェクト・ストレージの概要 / データレイク
ビッグデータ処理: Data Flow / Big Data
データレイクに蓄積された大量データを処理するために、大規模並列処理を行います。Data Flowを使うことで、Object Storageとネイティブに接続しデータを処理できます。Big Data ServiceはHadoopのクラスタからOracle SQLを使用してObject Storageのデータを処理できます。
参考: OCI Data Flow ハンズオン(初級編) / Big Data Service, Cloud SQL 概要
データカタログ: Data Catalog
組織内にあるデータ資産の整理された一覧です。OCI Data Catalogはデータエンジニアがデータ資産を整理し、データガバナンスをサポートするのに役立つサービスです。メタデータをAutonomous Data Warehouseに同期することで外部表を手動で作成することなく参照できます。
参考: データカタログとは？なぜそれが必要なのか？
セマンティックレイヤー: Analytics Cloud Service
ユーザーが一般的なビジネス用語でデータにアクセスできるように整理された抽象化レイヤーです。ビジネスの構造に従って、分析用のデータを提示できるように設計されています。
Analytics Cloud Serviceではセマンティック・モデラーを使用してセマンティックレイヤーを構築することができます。
参考: データのモデル化
[Analyticsレイヤー]
定型分析/レポーティング: Analytics Cloud Service
ある程度決まった形に合わせてデータを可視化またはレポーティングの形式でKPIやモニタリングに必要な指標を出力します。Analytics Cloud Serviceのダッシュボードおよびレポーティング機能を使用することで定型分析およびレポーティングを行うことができます。
参考: レポートおよびダッシュボードの作成
セルフBI: Analytics Cloud Service
エンドユーザー自身による簡単な操作でデータの準備・加工および可視化・分析を行うことができます。Analytics Cloud Serviceのデータの準備・加工、データの可視化および拡張分析機能を使用することで、エンドユーザー自らデータ分析を行うことができます。
参考: データのビジュアル化
データサイエンス: Data Science
数学や統計学、機械学習といった科学的な理論を用いてデータ分析や解析を行い、データからの洞察を導き出すことです。Data Science Serviceが備えるPythonやオープンソースツールを使用して、データサイエンティストがデータ分析およびデータ解析を行うことができます。
参考: ノートブック・セッションを使用したモデルの作成およびトレーニング
機械学習: OML AutoML
データ分析手法の一つで、自動で学習しデータから予測や判断に必要な情報を導き出す手法です。OML AutoML ユーザー・インタフェース(UI)を使用することで、専門家以外のユーザーでも機械学習を簡単に利用できます。
参考: ADBの付属ツールで機械学習(予測モデルからデプロイまで)
AI: AI / Generative AI
人間の知能や推論をコンピュータの計算によって行わせることです。OCIでは会話型チャットボットや画像認識、異常検出といったサービスや、推論モデルのサービスも使用することができます。
参考: Anomaly Detection ハンズオン(初級編) / OCI AI Vision ハンズオン(初級編) / 生成AIサービス
グラフ/位置情報: Graph Server and Client
グラフ構造を持つデータや地理空間データを管理・使用すること出来ます。グラフデータベースや空間データベースは、Oracle DatabaseのConverged Databaseに含まれており、個別のデータベースを構築しなくてもグラフデータや位置情報データを使用することができます。
参考: Oracleプロパティ・グラフ・スタート・ガイド / Oracle Spatial and Graphとは
最後に
Oracle Modern Data Platformは包括的なデータプラットフォームであり、このプラットフォームを通じて企業が自社の持つデータの意味を理解することで、その価値を最大化し、データドリブンを実現するためのデジタルトランスフォーメーションを支援します。そのプラットフォームが担う役割は、我々のミッション・ステートメントそのものでもあります。
「私たちのミッションは人々が新たな方法でデータを理解し、本質を見極め、無限の可能性を解き放てるように支援していくことです。」