Crie transferências

Google Cloud consola

1. Aceda à página Serviço de transferência de armazenamento na Google Cloud consola.

   Aceda ao Serviço de transferência de armazenamento

2. Clique em Criar tarefa de transferência. É apresentada a página Criar tarefa de transferência.

3. Escolha uma origem:

   Cloud Storage

   A sua conta de utilizador tem de ter a autorização storage.buckets.get para selecionar contentores de origem e de destino. Em alternativa, pode escrever o nome do contentor diretamente. Para mais informações, consulte o artigo Resolução de problemas de acesso.

   1. Em Tipo de origem, selecione Cloud Storage.

   2. Selecione o Tipo de destino.

   3. Se o destino for o Cloud Storage, selecione o Modo de agendamento. As transferências em lote são executadas de forma única ou agendada. As transferências baseadas em eventos monitorizam continuamente a origem e transferem dados quando são adicionados ou modificados.

      Para configurar uma transferência baseada em eventos, siga as instruções em Transferências baseadas em eventos.

   4. Clique em Passo seguinte.

   5. Selecione um contentor e (opcionalmente) uma pasta nesse contentor através de uma das seguintes opções:

      • Introduza um nome e um caminho de contentor do Cloud Storage existentes no campo Contentor ou pasta sem o prefixo gs://. Por exemplo, my-test-bucket/path/to/files. Para especificar um contentor do Cloud Storage de outro projeto, escreva o nome exatamente no campo Nome do contentor.

      • Selecione uma lista de contentores existentes nos seus projetos clicando em Procurar e, de seguida, selecionando um contentor.

        Quando clica em Procurar, pode selecionar contentores noutros projetos clicando no ID do projeto e, em seguida, selecionando o novo ID do projeto e contentor.

      • Para criar um novo contentor, clique em Criar novo contentor.

   6. Se esta for uma transferência baseada em eventos, introduza o nome da subscrição do Pub/Sub, que tem o seguinte formato:

      projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID
      

   7. Opcionalmente, opte por filtrar objetos por prefixo ou por data da última modificação. Se especificou uma pasta como localização de origem, os filtros de prefixo são relativos a essa pasta. Por exemplo, se a origem for my-test-bucket/path/, um filtro de inclusão de file inclui todos os ficheiros que começam por my-test-bucket/path/file.

   8. Clique em Passo seguinte.

   Amazon S3

   Consulte o artigo Transfira do Amazon S3 para o Cloud Storage.

   Armazenamento compatível com S3

   Consulte o artigo Transfira do armazenamento compatível com S3 para o Cloud Storage.

   Armazenamento de blobs do Microsoft Azure

   1. Em Tipo de origem, selecione Azure Blob Storage ou Data Lake Storage Gen2.

   2. Clique em Passo seguinte.

   3. Especifique o seguinte:

      1. Nome da conta de armazenamento: o nome da conta de armazenamento do Microsoft Azure de origem.

         O nome da conta de armazenamento é apresentado no portal do Microsoft Azure Storage em Todos os serviços > Armazenamento > Contas de armazenamento.

      2. Nome do contentor: o nome do contentor do Microsoft Azure Storage.

         O nome do contentor é apresentado no portal do Microsoft Azure Storage em Storage explorer > Contentores de blobs.

      3. Assinatura de acesso partilhado (SAS): o token SAS do Microsoft Azure Storage criado a partir de uma política de acesso armazenada. Para mais informações, consulte o artigo Conceda acesso limitado a recursos do Azure Storage através de assinaturas de acesso partilhado (SAS).

         O tempo de expiração predefinido para tokens SAS é de 8 horas. Quando criar o seu token de SAS, certifique-se de que define um prazo de validade razoável que lhe permita concluir a transferência com êxito.
   4. Opcionalmente, opte por filtrar objetos por prefixo ou por data da última modificação. Se especificou uma pasta como localização de origem, os filtros de prefixo são relativos a essa pasta. Por exemplo, se a origem for my-test-bucket/path/, um filtro de inclusão de file inclui todos os ficheiros que começam por my-test-bucket/path/file.

   5. Clique em Passo seguinte.

   Sistema de ficheiros

   1. Em Tipo de origem, selecione Sistema de ficheiros POSIX.

   2. Selecione o Tipo de destino e clique em Passo seguinte.

   3. Selecione um conjunto de agentes existente ou selecione Criar conjunto de agentes e siga as instruções para criar um novo conjunto.

   4. Especifique o caminho totalmente qualificado do diretório do sistema de ficheiros.

   5. Clique em Passo seguinte.

   HDFS

   Consulte o artigo Transfira do HDFS para o Cloud Storage.

   Lista de URLs

   1. Em Tipo de origem, selecione Lista de URLs e clique em Passo seguinte.

   2. Em URL do ficheiro TSV, indique o URL de um ficheiro de valores separados por tabulações (TSV). Consulte o artigo Criar uma lista de URLs para ver detalhes sobre como criar o ficheiro TSV.

   3. Opcionalmente, opte por filtrar objetos por prefixo ou por data da última modificação. Se especificou uma pasta como localização de origem, os filtros de prefixo são relativos a essa pasta. Por exemplo, se a origem for my-test-bucket/path/, um filtro de inclusão de file inclui todos os ficheiros que começam por my-test-bucket/path/file.

   4. Clique em Passo seguinte.

4. Escolha um destino:

   Cloud Storage​

   1. No campo Bucket ou pasta, introduza o bucket de destino e (opcionalmente) o nome da pasta, ou clique em Procurar para selecionar um bucket numa lista de buckets existentes no seu projeto atual. Para criar um novo contentor, clique em Criar novo contentor.

   2. Clique em Passo seguinte.

   3. Escolha as opções de programação:

      1. Na lista pendente Executar uma vez, selecione uma das seguintes opções:

         • Executar uma vez: executa uma única transferência, começando à hora que selecionar.

         • Executar todos os dias: executa uma transferência diariamente, a partir de uma hora que selecionar.

           Pode introduzir uma Data de conclusão opcional ou deixar a Data de conclusão em branco para executar a transferência continuamente.

         • Executar todas as semanas: executa uma transferência semanalmente, a partir da hora que selecionar.

         • Executar com frequência personalizada: executa uma transferência com uma frequência que seleciona. Pode optar por repetir a transferência a um intervalo regular de horas, dias ou semanas.

           Pode introduzir uma Data de conclusão opcional ou deixar a Data de conclusão em branco para executar a transferência continuamente.

      2. Na lista pendente A partir de agora, selecione uma das seguintes opções:

         • A partir de agora: inicia a transferência depois de clicar em Criar.

         • A partir de: inicia a transferência na data e hora que selecionar. Clique em Calendário para apresentar um calendário para selecionar a data de início.

   4. Clique em Passo seguinte.

   5. Escolha as definições para a tarefa de transferência. Algumas opções só estão disponíveis para determinadas combinações de origem/destino.

      1. No campo Descrição, introduza uma descrição da transferência. Como prática recomendada, introduza uma descrição significativa e única para poder distinguir os trabalhos.

      2. Em Opções de metadados, opte por usar as opções predefinidas ou clique em Ver e selecionar opções para especificar valores para todos os metadados suportados. Consulte o artigo Preservação de metadados para ver detalhes.

      3. Em Quando substituir, selecione uma das seguintes opções:

         • Se for diferente: substitui os ficheiros de destino se o ficheiro de origem com o mesmo nome tiver valores de Etags ou de soma de verificação diferentes.

         • Sempre: substitui sempre os ficheiros de destino quando o ficheiro de origem tem o mesmo nome, mesmo que sejam idênticos.

      4. Em Quando eliminar, selecione uma das seguintes opções:

         • Nunca: nunca elimina ficheiros da origem nem do destino.

         • Eliminar ficheiro da origem após a transferência: elimina os ficheiros da origem após a transferência para o destino. Se um ficheiro de origem não for transferido, por exemplo, porque já existe no destino, o ficheiro de origem não é eliminado.

         • Eliminar ficheiros do destino se também não estiverem na origem: se os ficheiros no contentor do Cloud Storage de destino também não estiverem na origem, elimine os ficheiros do contentor do Cloud Storage.

           Esta opção garante que o contentor do Cloud Storage de destino corresponde exatamente à sua origem.

      5. Para transferências entre contentores do Cloud Storage, escolha se quer transferir pastas geridas.

      6. Ative ou desative o registo para o Serviço de transferência de armazenamento.

      7. Em Opções de notificação, opcionalmente, selecione o tópico do Pub/Sub e os eventos para os quais quer receber notificações. Consulte as notificações do Pub/Sub para mais detalhes.

   6. Se estiver a delegar autorizações de agente de serviço numa conta de serviço gerida pelo utilizador, selecione essa opção e introduza o endereço de email da conta de serviço no formato SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com.

   7. Clique em Criar.

   Sistema de ficheiros​

   1. Selecione um conjunto de agentes existente ou selecione Criar conjunto de agentes e siga as instruções para criar um novo conjunto.

   2. Especifique o caminho do diretório de destino totalmente qualificado.

   3. Clique em Passo seguinte.

   4. Escolha as opções de programação:

      1. Na lista pendente Executar uma vez, selecione uma das seguintes opções:

         • Executar uma vez: executa uma única transferência, começando à hora que selecionar.

         • Executar todos os dias: executa uma transferência diariamente, a partir de uma hora que selecionar.

           Pode introduzir uma Data de conclusão opcional ou deixar a Data de conclusão em branco para executar a transferência continuamente.

         • Executar todas as semanas: executa uma transferência semanalmente, a partir da hora que selecionar.

         • Executar com frequência personalizada: executa uma transferência com uma frequência que seleciona. Pode optar por repetir a transferência a um intervalo regular de horas, dias ou semanas.

           Pode introduzir uma Data de conclusão opcional ou deixar a Data de conclusão em branco para executar a transferência continuamente.

      2. Na lista pendente A partir de agora, selecione uma das seguintes opções:

         • A partir de agora: inicia a transferência depois de clicar em Criar.

         • A partir de: inicia a transferência na data e hora que selecionar. Clique em Calendário para apresentar um calendário para selecionar a data de início.

   5. Clique em Passo seguinte.

   6. Especifique se quer usar um ficheiro de manifesto.

   7. Selecione se quer preservar os metadados, quando quer substituir e quando quer eliminar ficheiros na origem ou no destino.

   8. Selecione as opções de registo.

   9. Em Opções de notificação, opcionalmente, selecione o tópico do Pub/Sub e os eventos para os quais quer receber notificações. Consulte as notificações do Pub/Sub para mais detalhes.

   10. Se estiver a delegar autorizações de agente de serviço numa conta de serviço gerida pelo utilizador, selecione essa opção e introduza o endereço de email da conta de serviço no formato SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com.