Managed Service for Apache Spark サーバーレスの概要 | Google Cloud Documentation

メインコンテンツにスキップ

テクノロジー分野

AI と ML
アプリケーション開発
アプリケーションのホスティング
コンピューティング
データ分析とパイプライン
データベース
分散型クラウド、ハイブリッドクラウド、マルチクラウド
業種別ソリューション
移行
ネットワーキング
オブザーバビリティとモニタリング
セキュリティ
Storage

プロダクト横断型のツール

アクセスとリソースの管理
費用と使用量の管理
Infrastructure as code
SDK、言語、フレームワーク、ツール

/

コンソール

English
Deutsch
Español – América Latina
Français
Indonesia
Italiano
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어

ログイン

Managed Service for Apache Spark

無料で利用開始

概要ガイドリファレンスサンプルリソース

テクノロジー分野
- その他
プロダクト横断型のツール
- その他
コンソール

概要
主な概念
Managed Service for Apache Spark サーバーレス
- 概要
- Managed Service for Apache Spark のサーバーレス階層
クラスタ上の Managed Service for Apache Spark
サーバーレスデプロイとクラスタデプロイを比較する
GKE 上の Managed Service for Apache Spark
使ってみる
サーバーレス
- サーバーレス Spark バッチワークロードを作成する
クラスタ
GKE
- Kubernetes で Spark ジョブを実行する
開発
サーバーレス
- サーバーレスを構成する
- バッチワークロードとセッションを作成する
- Lakehouse ランタイムカタログでメタデータを使用して Apache Iceberg テーブルを作成する
- BigQuery コネクタを Spark と使用する
  - 概要
  - BigQuery テーブルのクエリ
- BigQuery Studio ノートブックで PySpark コードを実行する
- 最適化する
クラスタ
- データ処理
  - Spark を構成する
    Spark の依存関係を管理する
    Spark 環境をカスタマイズする
    同時書き込みを有効にする
    Spark のパフォーマンスを向上させる
    Spark を調整する
    Lightning Engine を使用する
  - Spark ジョブを実行する
    コンソールを使用する
    コマンドラインを使用する
    
    REST API Explorer を使用する
    クラスタを作成する
    Spark ジョブを実行する
    クラスタの更新
    クラスタの削除
    クライアントライブラリを使用する
  - Hadoop ジョブを実行する
  - Spark Scala ジョブの作成と実行
  - Trino を実行する
  - Flink を実行する
  - Hive を実行する
  - Pig を実行する
  - HBase を実行する
  - Python を実行する
    Python 環境を構成する
    Python 用 Cloud クライアントライブラリを使用する
  - データコネクタを使用する
    
    Spark BigQuery コネクタを使用する
    概要
    BigQuery コネクタのコードサンプル
    Cloud Storage コネクタを使用する
    Spark Spanner コネクタを使用する
- データレイクとレイクハウス
- データサイエンスノートブックと UI
  - ノートブックを使用する
    概要
    クラスタで Jupyter ノートブックを実行する
    ノートブックでゲノム解析を実行する
    JupyterLab 拡張機能を使用してサーバーレス Spark ワークロードを開発する
  - コンポーネントゲートウェイを使用する
- データソースとストレージ
- 管理とデータガバナンス
  - フリート管理
  - リネージ
    Spark データリネージを有効にする
    Hive データリネージを有効にする
- クラスタの構成