Atividade de Transferência de Dados do Google BigQuery¶

Introdução¶

Uma atividade de Transferência de dados do Google BigQuery usando sua conexão do Google BigQuery, transfere dados de uma fonte de dados para um conjunto de dados no Google BigQuery e deve ser usado como destino para consumir dados em uma operação.

Crie uma Atividade de Transferência de Dados do Google BigQuery¶

Uma instância de uma atividade de Transferência de dados do Google BigQuery é criada a partir de uma conexão do Google BigQuery usando seu tipo de atividade Transferência de dados.

Para criar uma instância de uma atividade, arraste o tipo de atividade para a quadro de design ou copie o tipo de atividade e cole-o na quadro de design. Para obter detalhes, consulte Criar uma instância de atividade em Reutilização de componentes.

Uma atividade existente de Transferência de dados do Google BigQuery pode ser editada nestes locais:

• A quadro de design (consulte Menu Ações do componente em Quadro de Design).
• A aba Componentes do painel do projeto (consulte Menu Ações do componente em Guia Componentes do painel do projeto).

Configurar uma Atividade de Transferência de Dados do Google BigQuery¶

Siga estas etapas para configurar uma atividade de Transferência de dados do Google BigQuery:

• Etapa 1: Insira um nome e selecione a fonte de dados
  Forneça um nome para a atividade e selecione a fonte de dados.

• Etapa 2: Selecione o conjunto de dados
  Selecione o conjunto de dados.

• Etapa 3: Selecione a Tabela
  Selecione a tabela.

• Etapa 4: Revise os esquemas de dados
  Quaisquer esquemas de solicitação ou resposta são exibidos.

Etapa 1: Insira um Nome e Selecione a Fonte de Dados¶

Nesta etapa, forneça um nome para a atividade e selecione a fonte de dados. Cada elemento da interface do usuário desta etapa é descrito abaixo.

• Nome: Insira um nome para identificar a atividade. O nome precisa ser exclusivo para cada atividade de Transferência de dados do Google BigQuery e não pode conter barras. / ou dois pontos :.

• Selecione a fonte de dados: Esta seção exibe fontes de dados disponíveis no endpoint do Google BigQuery, seja Amazon S3 ou Google Cloud Storage.

  • Fonte de dados selecionada: Depois que uma fonte de dados é selecionada, ela é listada aqui.

  • Pesquisar: Insira qualquer parte do nome da fonte de dados na caixa de pesquisa para filtrar a lista de fontes de dados. A busca não diferencia maiúsculas de minúsculas. Se as fontes de dados já estiverem exibidas na tabela, os resultados da tabela serão filtrados em tempo real a cada pressionamento de tecla. Para recarregar fontes de dados do endpoint durante a pesquisa, insira os critérios de pesquisa e atualize, conforme descrito abaixo.

  • Atualizar: Clique no ícone de atualização ou a palavra Atualizar para recarregar fontes de dados do endpoint do Google BigQuery. Isso pode ser útil se fontes de dados tiverem sido adicionadas ao Google BigQuery. Esta ação atualiza todos os metadados usados para construir a tabela de fontes de dados exibida na configuração.

  • Selecionando uma fonte de dados: Na tabela, clique em qualquer lugar de uma linha para selecionar uma fonte de dados. Somente uma fonte de dados pode ser selecionada. As informações disponíveis para cada fonte de dados são buscadas no endpoint do Google BigQuery:

    • Nome: O nome da fonte de dados.

    • Descrição: A descrição da fonte de dados.

  Dica

  Se a tabela não for preenchida com fontes de dados disponíveis, a conexão do Google BigQuery pode não ter sucesso. Certifique-se de estar conectado reabrindo a conexão e testando novamente as credenciais.

• Salvar e Sair: Se ativado, clique para salvar a configuração desta etapa e feche a configuração da atividade.

• Próximo: Clique para armazenar temporariamente a configuração desta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

• Descartar alterações: Após fazer as alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhuma etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Etapa 2: Selecione o Conjunto de Dados¶

Nesta etapa, selecione o conjunto de dados. Cada elemento da interface do usuário desta etapa é descrito abaixo.

• Selecione o conjunto de dados: Esta seção exibe os conjuntos de dados disponíveis no endpoint do Google BigQuery.

  • Fonte de dados selecionada: A fonte de dados selecionada na etapa anterior está listada aqui.

  • Conjunto de dados selecionado: Depois que um conjunto de dados é selecionado, ele é listado aqui.

  • Pesquisar: Insira qualquer parte do nome do conjunto de dados na caixa de pesquisa para filtrar a lista de conjuntos de dados. A busca não diferencia maiúsculas de minúsculas. Se os conjuntos de dados já estiverem exibidos na tabela, os resultados da tabela serão filtrados em tempo real a cada pressionamento de tecla. Para recarregar conjuntos de dados do endpoint durante a pesquisa, insira os critérios de pesquisa e atualize, conforme descrito abaixo.

  • Atualizar: Clique no ícone de atualização ou a palavra Atualizar para recarregar conjuntos de dados do endpoint do Google BigQuery. Isso pode ser útil se conjuntos de dados tiverem sido adicionados ao Google BigQuery. Esta ação atualiza todos os metadados usados para construir a tabela de conjuntos de dados exibidos na configuração.

  • Selecionando um conjunto de dados: Na tabela, clique em qualquer lugar de uma linha para selecionar um conjunto de dados. Apenas um conjunto de dados pode ser selecionado. As informações disponíveis para cada conjunto de dados são obtidas no endpoint do Google BigQuery:

    • Nome: O nome do conjunto de dados.

    • Descrição: A descrição do conjunto de dados.

  Dica

  Se a tabela não for preenchida com conjuntos de dados disponíveis, a conexão do Google BigQuery pode não ter sucesso. Certifique-se de estar conectado reabrindo a conexão e testando novamente as credenciais.

• Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.

• Próximo: Clique para armazenar temporariamente a configuração desta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

• Descartar alterações: Após fazer as alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhuma etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Etapa 3: Selecione a Tabela¶

Nesta etapa, selecione a tabela. Cada elemento da interface do usuário desta etapa é descrito abaixo.

• Selecione a tabela: Esta seção exibe tabelas disponíveis no endpoint do Google BigQuery.

  • Conjunto de dados selecionado: O conjunto de dados selecionado na etapa anterior está listado aqui.

  • Tabela Selecionada: Depois que uma tabela é selecionada, ela é listada aqui.

  • Pesquisar: Insira qualquer parte do nome da tabela na caixa de pesquisa para filtrar a lista de tabelas. A busca não diferencia maiúsculas de minúsculas. Se as tabelas já estiverem exibidas na tabela, os resultados da tabela serão filtrados em tempo real a cada pressionamento de tecla. Para recarregar tabelas do endpoint durante a pesquisa, insira os critérios de pesquisa e atualize, conforme descrito abaixo.

  • Atualizar: Clique no ícone de atualização ou a palavra Atualizar para recarregar tabelas do endpoint do Google BigQuery. Isso pode ser útil se tabelas tiverem sido adicionadas ao Google BigQuery. Esta ação atualiza todos os metadados usados para construir a tabela de tabelas exibida na configuração.

  • Selecionando uma tabela: Dentro da tabela, clique em qualquer lugar de uma linha para selecionar uma tabela. Apenas uma tabela pode ser selecionada. As informações disponíveis para cada tabela são obtidas no endpoint do Google BigQuery:

    • Nome: O nome da tabela.

    • Descrição: A descrição da tabela

  Dica

  Se a tabela não for preenchida com tabelas disponíveis, a conexão do Google BigQuery pode não ter sucesso. Certifique-se de estar conectado reabrindo a conexão e testando novamente as credenciais.

• Nome de exibição: Defina um nome de exibição para a transferência de dados.

• Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.

• Próximo: Clique para armazenar temporariamente a configuração desta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

• Descartar alterações: Após fazer as alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhuma etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Etapa 4: Revise os Esquemas de Dados¶

Quaisquer esquemas de solicitação ou resposta são exibidos. Cada elemento da interface do usuário desta etapa é descrito abaixo.

• Esquemas de dados: Esses esquemas de dados são herdados por transformações adjacentes e são exibidos novamente durante o mapeamento de transformação.

  O conector do Google BigQuery usa o Google SDK versão 25.4.0. Consulte a documentação do SDK para obter informações sobre os nós e campos do esquema.

  Importante

  O valor usado para o custom_schedule field deve ser uma string que segue o formato definido na documentação do Google sobre agendamento de jobs com cron.yml sem prefixar schedule:. Por exemplo, every 12 hours ou every monday 09:00.

  A atividade Transferência de dados usa JSON em seus esquemas de solicitação e resposta.

• Atualizar: Clique no ícone de atualização ou a palavra Atualizar para regenerar esquemas do endpoint do Google BigQuery. Esta ação também regenera um esquema em outros locais do projeto onde o mesmo esquema é referenciado, como em uma transformação adjacente.

• Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.

• Concluído: Clique para salvar a configuração de todas as etapas e fechar a configuração da atividade.

• Descartar alterações: Após fazer as alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhuma etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Próximos Passos¶

Depois de configurar uma atividade de Transferência de dados do Google BigQuery, conclua a configuração da operação adicionando e configurando outras atividades, transformações ou scripts como etapas da operação. Você também pode definir as configurações de operação, que incluem a capacidade de encadear operações que estejam no mesmo fluxo de trabalho ou em workflows diferentes.

As ações de menu de uma atividade podem ser acessadas no painel do projeto e na quadro de design. Para obter detalhes, consulte Menu Ações da atividade em Noções básicas do conector.

As atividades de Transferência de dados do Google BigQuery podem ser usadas como destino com estes padrões de operação:

• Padrão de transformação
• Padrão de duas transformações (como o primeiro ou segundo alvo)

Para usar a atividade com funções de script, grave os dados em um local temporário e use esse local temporário na função de script.

Quando estiver pronto, implantar e execute a operação e validar o comportamento verificando os logs de operação.