※ 本記事は、Deniz Sendilによる”Oracle GoldenGate for Distributed Applications and Analytics 23ai is now generally available“を翻訳したものです。

2024年7月23日

Oracle GoldenGateは、オンプレミスおよびOCI GoldenGate向けにGoldenGate for Distributed Applications and Analytics (GG for DAA 23ai)の一般提供を発表しました。GG for DAA 23aiでは、運用、分析、および分散アプリケーションの異機種間、ハイブリッドおよびマルチクラウドのデータ同期を可能にする、新しい高度な機能が導入されています。このブログでは、次の主な新機能について説明します:

  • 新しいソースおよびターゲット・テクノロジ
  • ステージおよびマージのレプリケーションの改善
  • Snowflakeレプリケーションの改善
  • MongoDB双方向レプリケーション
  • 新しいグラフィカル・ユーザー・エクスペリエンス
  • ネストされたAvro書式設定

新しいソースおよびターゲット・テクノロジ

Databricks配信: GG for DAA Databricksハンドラは、一時ステージングの場所(ADLS for Azure、S3 for AWSおよびGCS for GCP)でマイクロ・バッチのデータ・レコードをステージし、マージSQL文を使用してDatabricksターゲット表にマージします。Databricksハンドラでは、ターゲット表が存在しない場合は作成できます。Databricksハンドラは、管理対象デルタ表と外部デルタ表の両方へのリアルタイム・データ・レプリケーションをサポートします。また、Databricksハンドラを使用して初期ロードとリアルタイムのデータ・レプリケーションを同期できるため、Databricksへのダウンタイム・データ移行が不要になります。Databricksの提供は、現在、DAA 23aiのオンプレミスGGでのみ利用可能です。

Google Pub/Sub配信: GG for DAA Google Pub/Subハンドラは、リアルタイムデータをGoogle Pub/Subトピックにストリーミングし、さまざまなフォーマットで非常に低レイテンシを実現します。プラガブル・フォーマッタを使用すると、ユーザーは生成したメッセージをソース・メタ詳細でエンリッチでき、これはアプリケーション・メッセージ消費のストリームに役立ちます。Google PubSub配信は現在、DAA 23aiのオンプレミスGGでのみ利用可能です。

ステージおよびマージのレプリケーションの改善

ステージおよびマージは、クラウド・データ・ウェアハウス・レプリケーションで最も推奨されるレプリケーション設計です。これは、様々なステージング場所を使用できるマイクロバッチ・プロセスです。GG for DAA 23aiでは、最も強力なステージとマージの改善が最適化された操作集計です。GG for DAA 23aiは、集計プロセスをローカル・システムに移動します。新しい設計により、少ないリソースでパフォーマンスが向上するレプリケーションが実現します。これにより、特にSnowflakeでは、ターゲット・クラウド・ウェアハウスの取込みコストの管理に役立つ大規模なバッチ・ウィンドウを運用することもできます。

GG for DAA 23aiでは、ターゲット表への書込みオプションとしてSQL Delete-Insert文が導入されています。GG for DAA 23aiより前は、SQLマージのみがサポートされていました。SQLマージが推奨され、パフォーマンスが向上しますが、ターゲット表に書き込むためのSQL Delete-Insert文のオプションがユーザーに提供されるようになりました。

GG for DAA 23aiは、ローカリゼーションによるロギングも改善します。これにより、ユーザーはログ・メッセージをローカライズできます。ログ・ファイルでは、ユーザーはログが生成されるサービスを確認できます。これにより、トラブルシューティングが改善され、ユーザーが問題をより簡単に特定できるようになります。たとえば、次のサンプルのDatabricksログ・ファイルでは、ログ・ファイルに記録されている様々なサービスを表示できます。

GG for DAA 23ai

Snowflakeレプリケーションの改善

GG for DAA 23aiでは、Snowflakeレプリケーションの2つの大きな改善が導入されています:

  1. Snowflakeストリーミング・レプリケーション: Snowflakeストリーミング・ハンドラは、SnowpipeストリーミングAPIを使用してデータをSnowflakeにレプリケートします。Snowflakeストリーミング・ハンドラは、挿入のみのワークロードをサポートし、レイテンシとSnowflakeの取込みコストの削減に役立ちます。Snowflakeストリーミング・ハンドラは、ターゲット表に直接行をロードする低レイテンシを提供し、ステージング領域が不要になります。

    ステージ・ハンドラとマージ・ハンドラとストリーミング・ハンドラの違い:

    GoldenGate

    2. Snowflakeターゲット表のインスタンス化: Snowflakeステージおよびマージとストリーミングの両方のレプリケーションで、ターゲット表の作成がサポートされるようになりました。リアルタイム・レプリケーションまたは初期データ・ロード中に、ターゲットSnowflake表が存在しない場合は、DAAのGGによって作成されます。Snowflakeターゲット表の作成は、デフォルトでtrueに設定されていますが、ユーザーはオプションでこのプロパティをオフにできます。

MongoDB双方向レプリケーション

GG for DAA 23aiのMongoDB双方向レプリケーションを使用すると、アプリケーションの高可用性およびライブMongoDB移行を実現できます。MongoDB双方向レプリケーションでは、1つのソース・コレクションに加えられた変更がターゲット・コレクションにレプリケートされ、2番目のコレクションに加えられた変更が最初のコレクションにレプリケートされます。統合ループ検出により、重複するメッセージがフィルタされ、ループが回避されます。

MongoDB Bidirectional Replication

新しいグラフィカル・ユーザー・エクスペリエンス

より生産的なユーザー・エクスペリエンスを実現するために、GoldenGate 23aiは、ワークフロー、構成、管理およびトラブルシューティングの新しいユーザー・エクスペリエンスによって設定および管理を簡素化します。GG for DAA 23aiは、レプリケーションを構築するためのグラフィカル・ユーザー・エクスペリエンスを更新し、より自動化された構成と運用データの可視性を実現します。

GG for DAA

 

ネストされたAvro書式設定

新しい外部スキーマベースのAvroフォーマットにより、ユーザーはネストされたAvroファイルを作成できるようになりました。GoldenGate証跡構造は、RDBMSのフラット列名および列値構造をモデル化するキー値ペアのフラット構造ですが、Avroは、フィールドをフィールドおよびレコード内にネストできる階層構造にすることができます。Avroメタデータ・プロバイダは、Avroスキーマを横断し、Avro構造をフラット化してターゲット・メタデータをGoldenGateマッピングに戻すように変更されました。

まとめ

GG for DAA 23aiは、新しいテクノロジをサポートし、GUIの改善、パフォーマンス、セキュリティ、ガバナンス、開発者APIの向上に支えられた簡略化されたユーザビリティを提供します。

GoldenGate for Distributed Applications and Analytics 23ai データ・シート

GoldenGate for Distributed Applications and Analytics 23ai リリース・ノート

GoldenGate for Distributed Applications and Analytics 23ai 製品ドキュメント

GoldenGate for Distributed Applications and Analytics 23ai クイック・スタート