Criar um app de contagem de ocupação com entrada de streaming remota

O Gemini Enterprise Agent Platform Vision é uma plataforma com tecnologia de IA que você pode usar para ingerir, analisar e armazenar dados de vídeo . Com o Gemini Enterprise Agent Platform Vision, você pode criar e implantar aplicativos de IA. É possível criar soluções completas do Gemini Enterprise Agent Platform Vision aproveitando a integração da plataforma com outros componentes do produto.

Para começar a implementar soluções usando a plataforma Gemini Enterprise Agent Platform Vision, analise os seguintes conceitos e componentes da plataforma de agentes Vision:

  • Streams: representam uma camada de streaming de vídeo da sua solução. A fonte de stream pode ser um vídeo ao vivo (por exemplo, uma câmera IP) ou um arquivo de vídeo (por exemplo, um arquivo MP4).

  • Aplicativos: ative a conexão entre um stream e um processador de IA para realizar uma operação de machine learning no vídeo. Por exemplo, você pode conectar um stream da câmera a um modelo de IA que conta as pessoas que passam na frente dela.

  • Warehouses de mídia: armazenam o vídeo ingerido por streams emGoogle Cloud armazenamento. O armazenamento de dados nesse destino permite consultar a saída e os metadados da análise dos processadores de IA usados em dados dos fluxos ingeridos.

Objetivos

Este tutorial mostra como fazer o seguinte:

  • Crie um app de contagem de ocupação.
  • Implante o app para uso.
  • Configure uma máquina remota para fazer streaming de vídeo.
  • Ingira o vídeo de streaming em um nó de stream no seu app.
  • Pesquise vídeos no Media Warehouse do Gemini Enterprise Agent Platform Vision.

Custos

Neste documento, você vai usar os seguintes componentes faturáveis do Google Cloud:

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços.

Novos usuários do Google Cloud podem estar qualificados para um teste sem custo financeiro.

Ao concluir as tarefas descritas neste documento, é possível evitar o faturamento contínuo excluindo os recursos criados. Para mais informações, consulte Limpeza.

Antes de começar

  1. Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Compute Engine and Vision AI APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  5. Create a service account:

    1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator) and the Project IAM Admin role (roles/resourcemanager.projectIamAdmin). Learn how to grant roles.

    2. In the Google Cloud console, go to the Create service account page.

      Go to Create service account
    3. Select your project.

    4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

      In the Service account description field, enter a description. For example, Service account for quickstart.

    5. Click Create and continue.

    6. Grant the following roles to the service account: Vision AI > Vision AI Editor, Compute Engine > Compute Instance Admin (beta), Storage > Storage Object Viewer†.

      To grant a role, find the Select a role list, then select the role.

      To grant additional roles, click Add another role and add each additional role.

    7. Click Continue.

    8. Click Done to finish creating the service account.

      Do not close your browser window. You will use it in the next step.

  6. Create a service account key:

    1. In the Google Cloud console, click the email address for the service account that you created.
    2. Click Keys.
    3. Click Add key, and then click Create new key.
    4. Click Create. A JSON key file is downloaded to your computer.
    5. Click Close.

  7. Instale a CLI do Google Cloud.

  8. Ao usar um provedor de identidade (IdP) externo, primeiro faça login na CLI gcloud com sua identidade federada.

  9. Para inicializar a CLI gcloud, execute o seguinte comando: 

    gcloud init

  10. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  11. Verify that billing is enabled for your Google Cloud project.

  12. Enable the Compute Engine and Vision AI APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  13. Create a service account:

    1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator) and the Project IAM Admin role (roles/resourcemanager.projectIamAdmin). Learn how to grant roles.

    2. In the Google Cloud console, go to the Create service account page.

      Go to Create service account
    3. Select your project.

    4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

      In the Service account description field, enter a description. For example, Service account for quickstart.

    5. Click Create and continue.

    6. Grant the following roles to the service account: Vision AI > Vision AI Editor, Compute Engine > Compute Instance Admin (beta), Storage > Storage Object Viewer†.

      To grant a role, find the Select a role list, then select the role.

      To grant additional roles, click Add another role and add each additional role.

    7. Click Continue.

    8. Click Done to finish creating the service account.

      Do not close your browser window. You will use it in the next step.

  14. Create a service account key:

    1. In the Google Cloud console, click the email address for the service account that you created.
    2. Click Keys.
    3. Click Add key, and then click Create new key.
    4. Click Create. A JSON key file is downloaded to your computer.
    5. Click Close.

  15. Instale a CLI do Google Cloud.

  16. Ao usar um provedor de identidade (IdP) externo, primeiro faça login na CLI gcloud com sua identidade federada.

  17. Para inicializar a CLI gcloud, execute o seguinte comando: 

    gcloud init

† Função necessária apenas se você copiar um arquivo de vídeo de amostra de um bucket do Cloud Storage.

Criar um aplicativo de contagem de ocupação

Depois de configurar o ambiente, a primeira etapa é criar o app que processa seus dados. Um app pode ser considerado um pipeline automatizado que conecta o seguinte:

  • Ingestão de dados: um feed de vídeo é ingerido em um stream.
  • Análise de dados: um modelo de IA pode ser adicionado após a ingestão. Qualquer operação de visão computacional pode ser realizada nas informações de vídeo ingeridas.
  • Armazenamento de dados: as duas versões do feed de vídeo (o stream original e o stream processado pelo modelo de IA) podem ser armazenadas em um warehouse de mídia.

No console Google Cloud , um app é representado como um gráfico. Além disso, no Gemini Enterprise Agent Platform Vision, um gráfico de app precisa ter pelo menos dois nós: um nó de origem de vídeo (fluxo) e pelo menos mais um nó (um modelo de processamento ou destino de saída).

Criar um app vazio

Antes de preencher o gráfico de apps, é necessário criar um app vazio.

Console

Crie um app no console Google Cloud .

  1. Abra a guia Aplicativos do painel do Gemini Enterprise Agent Platform Vision.

    Acesse a guia "Aplicativos"

  2. Clique no botão Criar.

  3. Insira occupancy-count-app como o nome do app e escolha sua região.

  4. Clique em Criar.

Adicionar nós do componente do app

Depois de criar o aplicativo vazio, adicione os três nós ao gráfico do app:

  1. Nó de ingestão: o recurso de fluxo que ingere dados enviados de uma instância de VM do Compute Engine criada por você.
  2. Nó de processamento: o modelo de análise de ocupação que atua nos dados ingeridos.
  3. Nó de armazenamento: o warehouse de mídia que armazena vídeos processados e também serve como um repositório de metadados. O data warehouse permite gerar informações de análise sobre dados de vídeo ingeridos, além de armazenar informações que os modelos de IA inferem sobre os dados.

Console

Adicione nós de componentes ao app no console.

  1. Abra a guia Aplicativos do painel do Gemini Enterprise Agent Platform Vision.

    Acesse a guia "Aplicativos"

  2. Ao lado do nome do aplicativo occupancy-count-app na lista, selecione Ver app. Isso leva você à visualização gráfica do pipeline de processamento.

Adicionar um nó de ingestão de dados

  1. Para adicionar um nó de stream de entrada, selecione a opção Streams na seção Conectores do menu lateral.

  2. Na seção Origem do menu Stream que é aberto, selecione Adicionar streams.

  3. No menu Adicionar streams, escolha Registrar novos streams e adicione occupancy-count-stream como o nome do stream.

  4. Para adicionar o stream ao gráfico de apps, clique em Adicionar streams.

Adicionar um nó de processamento de dados

  1. Para adicionar o nó do modelo de contagem de ocupação, selecione a opção análise de ocupação na seção Modelos especializados do menu lateral.

  2. Deixe as seleções padrão Pessoas e Veículos.

Adicionar um nó de armazenamento de dados

  1. Para adicionar o nó de destino (armazenamento) de saída, selecione a opção Media Warehouse do Gemini Enterprise Agent Platform Vision na seção Conectores do menu lateral.

  2. No menu Media Warehouse do Gemini Enterprise Agent Platform Vision, clique em Conectar warehouse.

  3. No menu Conectar warehouse, selecione Criar novo armazenamento. Nomeie o warehouse como occupancy-count-warehouse e deixe a duração do TTL em 14 dias.

  4. Clique no botão Criar para adicionar o warehouse.

Implantar o app para uso

Depois de criar o app completo com todos os componentes necessários, a última etapa para usar o app é implantá-lo.

Console

  1. Abra a guia Aplicativos do painel do Gemini Enterprise Agent Platform Vision.

    Acesse a guia "Aplicativos"

  2. Ao lado do nome do aplicativo occupancy-count-app na lista, selecione Ver app.

  3. Na página do criador de gráficos de aplicativos, clique no botão