Ir para o conteúdo

Atividade de Criação de Estrutura do Google BigQuery

Introdução

Uma atividade Create Structure do Google BigQuery, usando sua conexão do Google BigQuery, cria conjuntos de dados ou tabelas no Google BigQuery e deve ser usado como destino para consumir dados em uma operação.

Cotas e Limites

O Google BigQuery impõe cotas e limites, que limitam a taxa e o volume de estruturas criadas. Quando esses limites forem atingidos, a operação poderá ser concluída com um Success status da operação mesmo que todas as estruturas solicitadas não sejam criadas. Verifique nos registros de operação se há erros de limite de taxa retornados do SDK do Google BigQuery. Para obter mais informações, consulte a documentação do Google.

Crie uma Atividade de Criação de Estrutura do Google BigQuery

Uma instância de uma atividade Create Structure do Google BigQuery é criada a partir de uma conexão do Google BigQuery usando seu tipo de atividade Create Structure.

Para criar uma instância de uma atividade, arraste o tipo de atividade para a quadro de design ou copie o tipo de atividade e cole-o na quadro de design. Para obter detalhes, consulte Criar uma instância de atividade em Reutilização de componentes.

Uma atividade existente do Google BigQuery Criar estrutura pode ser editada nestes locais:

Configurar uma Atividade de Criação de Estrutura do Google BigQuery

Siga estas etapas para configurar uma atividade Criar estrutura do Google BigQuery:

Etapa 1: Insira um Nome e Selecione o Objeto

Nesta etapa, forneça um nome para a atividade e selecione o objeto. Cada elemento da interface do usuário desta etapa é descrito abaixo.

Etapa 1 da configuração da atividade de criação de estrutura do Google BigQuery

  • Nome: Insira um nome para identificar a atividade. O nome precisa ser exclusivo para cada atividade Criar estrutura do Google BigQuery e não deve conter barras / ou dois pontos :.

  • Selecionar objeto: Esta seção exibe objetos disponíveis no endpoint do Google BigQuery.

    • Objeto Selecionado: Depois que um objeto é selecionado, ele é listado aqui.

    • Pesquisar: Insira qualquer parte do nome do objeto na caixa de pesquisa para filtrar a lista de objetos. A busca não diferencia maiúsculas de minúsculas. Se os objetos já estiverem exibidos na tabela, os resultados da tabela serão filtrados em tempo real a cada pressionamento de tecla. Para recarregar objetos do endpoint durante a pesquisa, insira os critérios de pesquisa e atualize, conforme descrito abaixo.

    • Atualizar: Clique no ícone de atualização Ícone de atualização ou a palavra Atualizar para recarregar objetos do endpoint do Google BigQuery. Isso pode ser útil se objetos tiverem sido adicionados ao Google BigQuery. Esta ação atualiza todos os metadados usados para construir a tabela de objetos exibidos na configuração.

    • Selecionando um objeto: Na tabela, clique em qualquer lugar de uma linha para selecionar um objeto. Apenas um objeto pode ser selecionado. As informações disponíveis para cada objeto são buscadas no endpoint do Google BigQuery:

      • Nome: O nome do objeto.

      • Descrição: A descrição do objeto.

    Dica

    Se a tabela não for preenchida com objetos disponíveis, a conexão do Google BigQuery pode não ter sucesso. Certifique-se de estar conectado reabrindo a conexão e testando novamente as credenciais.

  • Continuar em caso de erro: Selecione para continuar a execução da atividade se for encontrado um erro para um conjunto de dados em uma solicitação em lote. Se algum erro for encontrado, ele será gravado no log de operação.

  • Reversão: Se ocorrerem erros durante a criação da estrutura, esta opção (quando selecionada) reverte quaisquer alterações feitas antes do erro. Se não for selecionado, quaisquer alterações anteriores ao erro persistirão.

  • Salvar e Sair: Se ativado, clique para salvar a configuração desta etapa e feche a configuração da atividade.

  • Próximo: Clique para armazenar temporariamente a configuração desta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

  • Descartar alterações: Após fazer as alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhuma etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Etapa 2: Selecione um Subobjeto

Nesta etapa, selecione um subobjeto. Cada elemento da interface do usuário desta etapa é descrito abaixo.

Etapa 2 da configuração da atividade de criação de estrutura do Google BigQuery

  • Selecione um subobjeto: Esta seção exibe subobjetos disponíveis no endpoint do Google BigQuery.

    • Objeto Selecionado: O objeto selecionado na etapa anterior está listado aqui.

    • Subobjeto selecionado: Depois que um subobjeto é selecionado, ele é listado aqui.

    • Pesquisar: Insira qualquer parte do nome do subobjeto na caixa de pesquisa para filtrar a lista de subobjetos. A busca não diferencia maiúsculas de minúsculas. Se os subobjetos já estiverem exibidos na tabela, os resultados da tabela serão filtrados em tempo real a cada pressionamento de tecla. Para recarregar subobjetos do endpoint durante a pesquisa, insira os critérios de pesquisa e atualize, conforme descrito abaixo.

    • Atualizar: Clique no ícone de atualização Ícone de atualização ou a palavra Atualizar para recarregar subobjetos do endpoint do Google BigQuery. Isso pode ser útil se subobjetos tiverem sido adicionados ao Google BigQuery. Esta ação atualiza todos os metadados utilizados para construir a tabela de subobjetos exibidos na configuração.

    • Selecionando um subobjeto: Na tabela, clique em qualquer lugar de uma linha para selecionar um subobjeto. Somente um subobjeto pode ser selecionado. As informações disponíveis para cada subobjeto são buscadas no endpoint do Google BigQuery:

      • Nome: O nome do subobjeto.

      • Descrição: A descrição do subobjeto.

    Dica

    Se a tabela não for preenchida com subobjetos disponíveis, a conexão do Google BigQuery pode não ter sucesso. Certifique-se de estar conectado reabrindo a conexão e testando novamente as credenciais.

  • Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.

  • Próximo: Clique para armazenar temporariamente a configuração desta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

  • Descartar alterações: Após fazer as alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhuma etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Etapa 3: Revise os Esquemas de Dados

Quaisquer esquemas de solicitação ou resposta são exibidos. Cada elemento da interface do usuário desta etapa é descrito abaixo.

Etapa 3 da configuração da atividade de criação de estrutura do Google BigQuery

  • Esquemas de dados: Esses esquemas de dados são herdados por transformações adjacentes e são exibidos novamente durante o mapeamento de transformação.

    O conector do Google BigQuery usa o Google SDK versão 25.4.0. Consulte a documentação do SDK para obter informações sobre os nós e campos do esquema.

    Importante

    O Google BigQuery impõe cotas e limites, que limitam a taxa e o volume de estruturas que estão sendo criadas. Quando esses limites forem atingidos, a atividade será concluída com um Success status da operação, mesmo que todas as estruturas solicitadas não sejam criadas. Para obter mais informações, consulte a documentação do Google.

    A atividade Create Structure usa JSON em seus esquemas de solicitação e resposta.

  • Atualizar: Clique no ícone de atualização Ícone de atualização ou a palavra Atualizar para regenerar esquemas do endpoint do Google BigQuery. Esta ação também regenera um esquema em outros locais do projeto onde o mesmo esquema é referenciado, como em uma transformação adjacente.

  • Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.

  • Concluído: Clique para salvar a configuração de todas as etapas e fechar a configuração da atividade.

  • Descartar alterações: Após fazer as alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhuma etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Próximos Passos

Depois de configurar uma atividade Create Structure do Google BigQuery, conclua a configuração da operação adicionando e configurando outras atividades, transformações ou scripts como etapas da operação. Você também pode definir as configurações de operação, que incluem a capacidade de encadear operações que estejam no mesmo fluxo de trabalho ou em workflows diferentes.

As ações de menu de uma atividade podem ser acessadas no painel do projeto e na quadro de design. Para obter detalhes, consulte Menu Ações da atividade em Noções básicas do conector.

As atividades Create Structure do Google BigQuery podem ser usadas como destino com estes padrões de operação:

Para usar a atividade com funções de script, grave os dados em um local temporário e use esse local temporário na função de script.

Quando estiver pronto, implantar e execute a operação e validar o comportamento verificando os logs de operação.