기본 콘텐츠로 건너뛰기
Google Cloud Documentation
기술 영역
  • AI 및 ML
  • 애플리케이션 개발
  • 애플리케이션 호스팅
  • 컴퓨팅
  • 데이터 분석 및 파이프라인
  • 데이터베이스
  • 분산, 하이브리드, 멀티 클라우드
  • 생성형 AI
  • 업종별 솔루션
  • 네트워킹
  • 관측 가능성 및 모니터링
  • 보안
  • Storage
크로스 프로덕트 도구
  • 액세스 및 리소스 관리
  • 비용 및 사용량 관리
  • 코드형 인프라
  • 이전
  • SDK, 언어, 프레임워크, 도구
/
콘솔
  • English
  • Deutsch
  • Español
  • Español – América Latina
  • Français
  • Indonesia
  • Italiano
  • Português
  • Português – Brasil
  • עברית
  • 中文 – 简体
  • 中文 – 繁體
  • 日本語
  • 한국어
로그인
  • Cloud Dataflow
무료로 시작하기
개요 가이드 Dataflow ML 참조 샘플 리소스
Google Cloud Documentation
  • 기술 영역
    • 더보기
    • 개요
    • 가이드
    • Dataflow ML
    • 참조
    • 샘플
    • 리소스
  • 크로스 프로덕트 도구
    • 더보기
  • 콘솔
  • Discover
  • 제품 개요
  • 사용 사례
  • Apache Beam 프로그래밍 모델
  • 시작하기
  • Dataflow 시작하기
  • 빠른 시작
    • 작업 빌더 사용
    • 템플릿 사용
  • 파이프라인 빌드
  • 개요
  • Apache Beam 사용
    • 개요
    • Apache Beam SDK를 설치합니다.
    • Java 파이프라인 만들기
    • Python 파이프라인 만들기
    • Go 파이프라인 만들기
  • 작업 빌더 UI 사용
    • 작업 빌더 UI 개요
    • 커스텀 작업 만들기
    • 작업 YAML 파일 로드 및 저장
    • 작업 빌더 YAML 편집기 사용
    • 변환 패키징 및 가져오기
  • 템플릿 사용
    • 템플릿 정보
    • 샘플 템플릿 실행
    • Google 제공 템플릿
      • 제공되는 모든 템플릿
      • 템플릿에 대한 사용자 정의 함수 만들기
      • 템플릿에 SSL 인증서 사용
      • 템플릿 파라미터 암호화
    • Flex 템플릿
      • Flex 템플릿 빌드 및 실행
      • Flex 템플릿 구성
      • 가변형 템플릿 기본 이미지
    • 기본 템플릿
      • 기본 템플릿 만들기
      • 기본 템플릿 실행
  • 노트북 사용
    • 노트북 시작하기
    • 고급 노트북 기능 사용
  • Dataflow I/O
    • 관리형 I/O
    • I/O 권장사항
    • Apache Iceberg
      • Apache Iceberg용 관리형 I/O
      • Apache Iceberg에서 읽기
      • Apache Iceberg에 쓰기
      • BigLake REST 카탈로그를 사용하여 Apache Iceberg에 스트리밍 쓰기
      • BigLake REST 카탈로그를 사용하여 Apache Iceberg의 CDC 읽기
    • Apache Kafka
      • Apache Kafka용 관리형 I/O
      • Apache Kafka에서 읽기
      • Apache Kafka에 쓰기
      • Apache Kafka용 관리형 서비스 사용
    • BigQuery
      • BigQuery용 관리형 I/O
      • BigQuery에서 읽어오기
      • BigQuery에 쓰기
    • Bigtable
      • Bigtable에서 읽기
      • Bigtable에 쓰기
    • Cloud Storage
      • Cloud Storage에서 읽기
      • Cloud Storage에 쓰기
    • Pub/Sub
      • Pub/Sub에서 읽기
      • Pub/Sub에 쓰기
  • 데이터 보강
    • 보강 변환
    • Apache Beam 및 Bigtable을 사용하여 데이터 보강
    • Apache Beam 및 BigQuery를 사용하여 데이터 보강
    • Apache Beam 및 Vertex AI Feature Store를 사용하여 데이터 보강
  • 권장사항
    • Dataflow 권장사항
    • 대규모 일괄 처리 파이프라인 권장사항
    • BigQuery에 대한 Pub/Sub 권장사항
  • 파이프라인 실행
  • 파이프라인 배포
  • Dataflow Runner v2 사용
  • 파이프라인 옵션 구성
    • 파이프라인 옵션 설정
    • 파이프라인 옵션 참조
    • Dataflow 서비스 옵션
    • 작업자 VM 구성
    • Arm VM 사용
  • 파이프라인 종속 항목 관리
  • 파이프라인 스트리밍 모드 설정
  • 가속기(GPU/TPU) 사용
    • GPU
      • GPU 개요