기본 콘텐츠로 건너뛰기
기술 영역
close
AI 및 ML
애플리케이션 개발
애플리케이션 호스팅
컴퓨팅
데이터 분석 및 파이프라인
데이터베이스
분산, 하이브리드, 멀티 클라우드
생성형 AI
업종별 솔루션
네트워킹
관측 가능성 및 모니터링
보안
Storage
크로스 프로덕트 도구
close
액세스 및 리소스 관리
비용 및 사용량 관리
코드형 인프라
이전
SDK, 언어, 프레임워크, 도구
/
콘솔
English
Deutsch
Español
Español – América Latina
Français
Indonesia
Italiano
Português
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어
로그인
Cloud Dataflow
무료로 시작하기
개요
가이드
Dataflow ML
참조
샘플
리소스
기술 영역
더보기
개요
가이드
Dataflow ML
참조
샘플
리소스
크로스 프로덕트 도구
더보기
콘솔
Discover
제품 개요
사용 사례
Apache Beam 프로그래밍 모델
시작하기
Dataflow 시작하기
빠른 시작
작업 빌더 사용
템플릿 사용
파이프라인 빌드
개요
Apache Beam 사용
개요
Apache Beam SDK를 설치합니다.
Java 파이프라인 만들기
Python 파이프라인 만들기
Go 파이프라인 만들기
작업 빌더 UI 사용
작업 빌더 UI 개요
커스텀 작업 만들기
작업 YAML 파일 로드 및 저장
작업 빌더 YAML 편집기 사용
변환 패키징 및 가져오기
템플릿 사용
템플릿 정보
샘플 템플릿 실행
Google 제공 템플릿
제공되는 모든 템플릿
템플릿에 대한 사용자 정의 함수 만들기
템플릿에 SSL 인증서 사용
템플릿 파라미터 암호화
Flex 템플릿
Flex 템플릿 빌드 및 실행
Flex 템플릿 구성
가변형 템플릿 기본 이미지
기본 템플릿
기본 템플릿 만들기
기본 템플릿 실행
노트북 사용
노트북 시작하기
고급 노트북 기능 사용
Dataflow I/O
관리형 I/O
I/O 권장사항
Apache Iceberg
Apache Iceberg용 관리형 I/O
Apache Iceberg에서 읽기
Apache Iceberg에 쓰기
BigLake REST 카탈로그를 사용하여 Apache Iceberg에 스트리밍 쓰기
BigLake REST 카탈로그를 사용하여 Apache Iceberg의 CDC 읽기
Apache Kafka
Apache Kafka용 관리형 I/O
Apache Kafka에서 읽기
Apache Kafka에 쓰기
Apache Kafka용 관리형 서비스 사용
BigQuery
BigQuery용 관리형 I/O
BigQuery에서 읽어오기
BigQuery에 쓰기
Bigtable
Bigtable에서 읽기
Bigtable에 쓰기
Cloud Storage
Cloud Storage에서 읽기
Cloud Storage에 쓰기
Pub/Sub
Pub/Sub에서 읽기
Pub/Sub에 쓰기
데이터 보강
보강 변환
Apache Beam 및 Bigtable을 사용하여 데이터 보강
Apache Beam 및 BigQuery를 사용하여 데이터 보강
Apache Beam 및 Vertex AI Feature Store를 사용하여 데이터 보강
권장사항
Dataflow 권장사항
대규모 일괄 처리 파이프라인 권장사항
BigQuery에 대한 Pub/Sub 권장사항
파이프라인 실행
파이프라인 배포
Dataflow Runner v2 사용
파이프라인 옵션 구성
파이프라인 옵션 설정
파이프라인 옵션 참조
Dataflow 서비스 옵션
작업자 VM 구성
Arm VM 사용
파이프라인 종속 항목 관리
파이프라인 스트리밍 모드 설정
가속기(GPU/TPU) 사용
GPU
GPU 개요
GPU에 대한 Dataflow 지원
GPU 권장사항
GPU로 파이프라인 실행
NVIDIA L4 GPU 사용
NVIDIA 다중 처리 서비스 사용
GPU를 사용하여 위성 이미지 처리
GPU 문제 해결
TPU
TPU에 대한 Dataflow 지원
TPU로 파이프라인 실행
빠른 시작: TPU에서 Dataflow 실행
TPU 문제 해결
커스텀 컨테이너 사용
개요
커스텀 컨테이너 이미지 빌드
멀티 아키텍처 컨테이너 이미지 빌드
커스텀 컨테이너에서 Dataflow 작업 실행
커스텀 컨테이너 문제 해결
Regions
모니터링
개요
프로젝트 모니터링 대시보드
모니터링 대시보드 맞춤설정
작업 모니터링
작업 목록
작업 그래프
작업 단계 정보
실행 세부정보
작업 측정항목
예상 비용
권장사항
자동 확장
Cloud Monitoring 사용
Cloud Profiler 사용
로깅
Dataflow의 감사 로깅
Data Pipelines의 감사 로깅
파이프라인 로그 작업
로그 수집 제어
샘플 파이프라인 데이터
데이터 계보 보기
최적화
스트리밍 작업에 Streaming Engine 사용
일괄 작업에 대한 Dataflow Shuffle
자동 확장 및 재분산 사용
수평 자동 확장
스트리밍 수평 자동 확장 조정
동적 스레드 확장
적합 맞춤
동적 작업 재분배 이해
Dataflow Prime 사용
Dataflow Prime 정보
수직 자동 확장
Dataflow 통계 사용
가변형 리소스 예약 사용
Compute Engine 예약 사용
비용 최적화
관리
파이프라인 업데이트
업그레이드 가이드
스트리밍 파이프라인 업데이트
실행 중인 파이프라인 중지
요청 할당량
Dataflow 스냅샷 사용
데이터 파이프라인 작업
Eventarc를 사용한 Dataflow 작업 관리
액세스 제어
Authentication
Dataflow 역할 및 권한
보안 및 권한
네트워크 지정
인터넷 액세스 및 방화벽 규칙 구성
고객 관리 암호화 키 사용
커스텀 제약조건 사용
Dataflow 개발 가이드
데이터 파이프라인 계획
파이프라인 수명 주기
파이프라인 개발 및 테스트
파이프라인 워크플로 설계
스트리밍 파이프라인의 데이터 표현
단 한 번 처리
Dataflow 워크로드 예시
머신러닝
Python ML 튜토리얼
스트리밍 파이프라인에서 LLM 실행
전자상거래
전자상거래 스트리밍 파이프라인 만들기
Java 태스크 패턴
Apache Kafka에서 BigQuery로 스트리밍
Pub/Sub에서 BigQuery로 스트리밍
HPC 높은 병렬 워크로드
