Amazon EMR ServerlessがSpark Connectで対話型ワークロードに対応

概要

Amazon EMR ServerlessがSpark Connectをサポートし、SageMaker Unified StudioやJupyter、Visual Studio Codeなどのノートブック環境からApache Sparkアプリケーションを対話的に開発・実行できるようになりました。Spark Connectのクライアント・サーバーアーキテクチャにより、開発環境とSpark基盤が分離され、ローカルのPythonコード実行とリモートのSpark操作をシームレスに統合できます。EMR Serverlessが利用可能なすべてのAWSリージョンでEMRリリース7.13以降で利用可能です。

何が変わったか

• ・Amazon EMR ServerlessがSpark Connectによる対話型セッションをサポート
• ・SageMaker Unified Studio、Jupyter、Visual Studio Codeなどのノートブック環境からの対話的なSpark開発が可能に
• ・EMRコンソール、Spark UI、Spark History Serverでセッション監視、デバッグ、コスト・利用状況の可視化が利用可能
• ・EMRリリース7.13以降でSpark Connect on EMR Serverlessが提供開始

影響

既存のEMR Serverlessユーザーは新機能として利用可能ですが、採用は任意であり移行は不要です。EMRリリース7.13以降へのアップグレードにより、対話型ワークロード向けの新しい開発方法が選択肢として追加されます。

対象ユーザー

EMR Serverlessを使用して対話型のデータ分析やSpark開発を行うデータサイエンティスト、分析エンジニア、MLエンジニア

原文タイトル

Run Interactive Workloads on Amazon EMR Serverless with Spark Connect