Managed Service for Apache Spark 서버리스 개요 | Google Cloud Documentation

기본 콘텐츠로 건너뛰기

기술 영역

AI 및 ML
애플리케이션 개발
애플리케이션 호스팅
컴퓨팅
데이터 분석 및 파이프라인
데이터베이스
분산, 하이브리드, 멀티 클라우드
업종별 솔루션
이전
네트워킹
모니터링 가능성 및 모니터링
보안
Storage

크로스 프로덕트 도구

액세스 및 리소스 관리
비용 및 사용량 관리
코드형 인프라
SDK, 언어, 프레임워크, 도구

/

콘솔

English
Deutsch
Español – América Latina
Français
Indonesia
Italiano
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어

로그인

Managed Service for Apache Spark

무료로 시작하기

개요 가이드 참조 샘플 리소스

기술 영역
- 더보기
- 개요
- 가이드
- 참조
- 샘플
- 리소스
크로스 프로덕트 도구
- 더보기
콘솔

개요
주요 개념
Managed Service for Apache Spark 서버리스
- 개요
- Managed Service for Apache Spark 서버리스 등급
클러스터의 Managed Service for Apache Spark
서버리스 및 클러스터 배포 비교
GKE의 Managed Service for Apache Spark
시작하기
서버리스
- 서버리스 Spark 일괄 워크로드 만들기
클러스터
GKE
- Kubernetes에서 Spark 작업 실행
개발
서버리스
- 서버리스 구성
- 일괄 워크로드 및 세션 만들기
- Lakehouse 런타임 카탈로그에서 메타데이터가 포함된 Apache Iceberg 테이블 만들기
- BigQuery 커넥터를 Spark와 함께 사용
  - 개요
  - BigQuery 테이블 쿼리
- BigQuery Studio 노트북에서 PySpark 코드 실행
- 최적화
클러스터
- 데이터 처리
  - Spark 구성
    Spark 종속 항목 관리
    Spark 환경 맞춤설정
    동시 쓰기 사용 설정
    Spark 성능 향상
    Spark 조정
    Lightning Engine 사용
  - Spark 작업 실행
    콘솔 사용
    명령줄 사용
    
    REST API 탐색기 사용
    클러스터 만들기
    Spark 작업 실행
    클러스터 업데이트
    클러스터 삭제
    클라이언트 라이브러리 사용
  - Hadoop 작업 실행
  - Spark Scala 작업 작성 및 실행
  - Trino 실행