Autenticarsi in Managed Service per Apache Spark | Managed Service for Apache Spark | Google Cloud Documentation

Passa ai contenuti principali

Aree tecnologiche

AI e ML
Sviluppo di applicazioni
Hosting di applicazioni
Computing
Analisi dei dati e pipeline
Database
Distribuito, ibrido e multi-cloud
Soluzioni di settore
Migrazione
Networking
Osservabilità e monitoraggio
Sicurezza
Storage

Strumenti per più prodotti

Gestione di accessi e risorse
Gestione di costi e utilizzo
Infrastructure as Code (IaC)
SDK, linguaggi, framework e strumenti

/

Console

English
Deutsch
Español – América Latina
Français
Indonesia
Italiano
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어

Accedi

Managed Service for Apache Spark

Inizia gratuitamente

Panoramica Guide Riferimento Esempi Risorse

Aree tecnologiche
- Altro
- Panoramica
- Guide
- Riferimento
- Esempi
- Risorse
Strumenti per più prodotti
- Altro
Console

Panoramica
Concetti chiave
Managed Service for Apache Spark serverless
- Panoramica
- Livelli serverless di Managed Service for Apache Spark
Managed Service for Apache Spark sui cluster
Confrontare i deployment serverless e dei cluster
Managed Service for Apache Spark su GKE
Per iniziare
Serverless
- Crea un carico di lavoro batch Spark serverless
Cluster
GKE
- Esegui un job Spark su Kubernetes
Sviluppo
Serverless
- Configura serverless
- Crea batch di workload e sessioni
- Crea una tabella Apache Iceberg con metadati nel catalogo di runtime di Lakehouse
- Utilizzo del connettore BigQuery con Spark
  - Panoramica
  - Esegui query sulle tabelle BigQuery
- Esegui codice PySpark nei notebook BigQuery Studio
- Ottimizza
Cluster
- Trattamento dati
  - Configura Spark
    Gestire le dipendenze di Spark
    Personalizzare l'ambiente Spark
    Abilita scritture simultanee
    Migliorare le prestazioni di Spark
    Tune Spark
    Utilizzare Lightning Engine
  - Esegui job Spark
    Utilizza la console
    Utilizza la riga di comando
    
    Utilizza Explorer API REST
    Crea un cluster
    Esegui un job Spark
    Aggiorna un cluster
    Elimina un cluster
    Utilizzo delle librerie client
  - Esegui job Hadoop
  - Scrittura ed esecuzione di job Spark Scala
  - Esegui Trino
  - Esegui Flink
  - Esecuzione di Run Hive
  - Run Pig
  - Esegui HBase
  - Esegui Python
    Configura l'ambiente Python
    Utilizzare le librerie client di Cloud per Python
  - Utilizzare i connettori dati
    
    Utilizzare il connettore Spark BigQuery
    Panoramica
    Esempi di codice del connettore BigQuery
    Utilizzare il connettore Cloud Storage
    Utilizzare il connettore Spark Spanner
- Data lake e lake house
- Notebook e UI di data science
  - Utilizzare i notebook
    Panoramica
    Esecuzione di un notebook Jupyter su un cluster
    Eseguire un'analisi genomica su un notebook
    Utilizza l'estensione JupyterLab per sviluppare carichi di lavoro Spark serverless
  - Utilizzare il gateway dei componenti
- Origini dati e archiviazione
- Amministrazione e governance dei dati
  - Gestione del parco risorse
  - Derivazione
    Abilitare la derivazione dei dati Spark
    Abilita la derivazione dei dati Hive
- Configura i cluster
  - Componenti
    Panoramica
    Delta Lake
    Docker
    Flink
    HBase
    Hive WebHCat
    Hudi
    Iceberg
    Jupyter
    Pig
    Presto
    
    Ranger
    Installazione di Ranger
    
    Utilizzare Ranger
    Utilizzare Ranger con Kerberos
    Utilizzare Ranger con la memorizzazione nella cache e la riduzione dell'ambito
    Esegui il backup e ripristina uno schema Ranger
    Solr
    Trino
    Zeppelin
    Zookeeper
  - Immagini del cluster
    Panoramica
    Servizi
    
    Versioni delle immagini del cluster
    Panoramica
    Versioni immagine release 3.0.x
    Versioni immagine release 2.3.x
    Versioni immagine release 2.2.x
    Versioni immagine release 2.1.x
  - Opzioni di calcolo
    Tipi di macchina
    GPU
    Piattaforma CPU minima
    VM flessibili
    Worker secondari
    Unità a stato solido locali
    Dischi di avvio
    Hyperdisk collegati
- Creazione di cluster
- Gestisci i cluster
  - Impostare le etichette per il filtraggio
  - Scalare i cluster
  - Avviare e arrestare i cluster
  - Scalabilità automatica dei cluster
    Panoramica
    Pianificare l'arresto del cluster
    Avviare e arrestare un cluster manualmente
  - Ricreare un cluster
  - Ruota i cluster
  - Aggiornare ed eliminare un cluster
  - Utilizzo di SSH per connettersi a un cluster
  - Segui le best practice
  - Gestire i dati del cluster
    Archiviazione dei dati Hadoop
    Seleziona il tipo di archiviazione
    Memorizzare nella cache i dati del cluster
    Scarica i dati di riproduzione casuale
    Visualizza i log del cluster
- Gestire e orchestrare i job