Atividade de Mesclagem do Snowflake¶
Introdução¶
Uma atividade Snowflake Mesclar, usando sua conexão Snowflake, insere ou atualiza um arquivo CSV de dados de tabela no Snowflake e deve ser usado como um destino para consumir dados em uma operação. A atividade Mesclar do Snowflake não oferece suporte à exclusão de um registro existente.
Nota
A atividade Snowflake Merge é semelhante a uma atividade upsert usada em outros conectores.
Criar uma Atividade de Mesclagem do Snowflake¶
Uma instância de uma atividade Snowflake Mesclar é criada a partir de uma conexão Snowflake usando seu tipo de atividade Merge.
Para criar uma instância de uma atividade, arraste o tipo de atividade para a quadro de design ou copie o tipo de atividade e cole-o na quadro de design. Para obter detalhes, consulte Criando uma instância de atividade em Reutilização de componente.
Uma atividade Snowflake Mesclar existente pode ser editada a partir destes locais:
- A quadro de design (consulte Menu de ações do componente em Quadro de Design).
- A aba Componentes do painel do projeto (consulte Menu de ações do componente na Guia Componentes do painel do projeto).
Configurar uma Atividade de Mesclagem do Snowflake¶
Siga estas etapas para configurar uma atividade Snowflake Mesclar:
-
Etapa 1: Digite um nome e selecione uma tabela
Forneça um nome para a atividade e selecione uma tabela. -
Etapa 2: Selecione Mesclar Chaves
Especifique as colunas a serem usadas para chaves de mesclagem. -
Etapa 3: Selecione uma Abordagem
Diferentes abordagens são suportadas para mesclar dados no Snowflake. Escolha entre Mapeamento direto ou Arquivo de teste. Ao usar a abordagem Stage File, você pode selecionar as opções Use Existing Stage ou Use Temporary Stage. -
Etapa 4: Revise os Esquemas de Dados
Os esquemas de solicitação e resposta gerados a partir do endpoint são exibidos. Os esquemas exibidos dependem da Abordagem especificada na etapa anterior.
Etapa 1: Digite um Nome e Selecione uma Tabela¶
Nesta etapa, forneça um nome para a atividade e selecione uma tabela. Cada elemento da interface do usuário desta etapa é descrito a seguir.
-
Nome: Digite um nome para identificar a atividade. O nome deve ser exclusivo para cada atividade Snowflake Mesclar e não deve conter barras
/
ou dois pontos:
. -
Selecione uma tabela: Esta seção exibe as tabelas disponíveis no endpoint do Snowflake. Ao reabrir uma configuração de atividade existente, apenas a tabela selecionada é exibida em vez de recarregar toda a lista de tabelas.
-
Tabela Selecionada: Depois que uma mesa é selecionada, ela é listada aqui.
-
Pesquisar: Digite qualquer parte do nome da tabela na caixa de pesquisa para filtrar a lista de tabelas. A busca não diferencia maiúsculas de minúsculas. Se as tabelas já estiverem exibidas dentro da tabela, os resultados da tabela serão filtrados em tempo real a cada pressionamento de tecla. Para recarregar as tabelas do endpoint durante a pesquisa, insira os critérios de pesquisa e, em seguida, atualize, conforme descrito abaixo.
-
Atualizar: Clique no ícone de atualização ou a palavra Atualizar para recarregar tabelas do endpoint Snowflake. Isso pode ser útil se as tabelas tiverem sido adicionadas ao Snowflake. Esta ação atualiza todos os metadados usados para construir a tabela de tabelas exibidas na configuração.
-
Selecionar uma tabela: Dentro da tabela, clique em qualquer lugar em uma linha para selecionar uma tabela. Apenas uma tabela pode ser selecionada. As informações disponíveis para cada tabela são buscadas no endpoint do Snowflake:
-
Nome: O nome de uma tabela.
-
Tipo: O tipo, que é uma tabela.
-
Dica
Se a tabela não for preenchida com as tabelas disponíveis, a conexão Snowflake pode não ser bem-sucedido. Verifique se você está conectado reabrindo a conexão e testando novamente as credenciais.
-
-
Save & Exit: Se ativado, clique para salvar a configuração desta etapa e fechar a configuração da atividade.
-
Avançar: Clique para armazenar temporariamente a configuração desta etapa e continuar na próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.
-
Descartar alterações: Após fazer as alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhuma etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.
Etapa 2: Selecione Mesclar Chaves¶
Nesta etapa, especifique as colunas a serem usadas para chaves de mesclagem. Cada elemento da interface do usuário desta etapa é descrito a seguir.
-
Merge Keys: Selecione as colunas a serem usadas como chaves de atualização para a mesclagem.
-
Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.
-
Avançar: Clique para armazenar temporariamente a configuração desta etapa e continuar na próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.
-
Descartar alterações: Após fazer as alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhuma etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.
Etapa 3: Selecione uma Abordagem¶
Abordagens diferentes são suportadas para mesclar dados no Snowflake. Escolha entre Mapeamento direto ou Arquivo de teste. Ao usar a abordagem Stage File, selecione as opções Use Existing Stage ou Use Temporary Stage.
- Abordagem de Mapeamento Direto
- Abordagem de arquivo de estágio (usar estágio existente)
- Abordagem de arquivo de estágio (usar estágio temporário)
abordagem de Mapeamento Direto¶
-
Abordagem: Use o menu suspenso para selecionar Mapeamento direto.
-
Nome do Estágio Temporário: Digite um nome a ser usado para um estágio temporário no Snowflake.
-
Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.
-
Avançar: Clique para armazenar temporariamente a configuração desta etapa e continuar na próxima etapa. O a configuração não será salva até que você clique no botão Concluído na última etapa.
-
Descartar alterações: Após fazer as alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhum passo. Uma mensagem solicita que você confirme que deseja descartar as alterações.
abordagem de Arquivo de Estágio (usar Estágio Existente)¶
-
Abordagem: Use o menu suspenso para selecionar Stage File.
-
Tipo de estágio: Use o menu suspenso para selecionar Usar estágio existente.
-
Selecione um estágio: Esta seção exibe os estágios disponíveis no endpoint Snowflake. Ao reabrir um existente configuração da atividade, apenas o estágio selecionado é exibido em vez de recarregar toda a lista de estágios.
-
Estágio selecionado: Depois que um estágio é selecionado, ele é listado aqui.
-
Pesquisar: Digite qualquer parte do nome do palco na caixa de pesquisa para filtrar a lista de palcos. A pesquisa não é diferencia maiúsculas de minúsculas. Se as tabelas já forem exibidas dentro da tabela, os resultados da tabela serão filtrados em tempo real a cada pressionamento de tecla. Para recarregar as tabelas do endpoint ao pesquisar, insira os critérios de pesquisa e atualize, conforme descrito abaixo.
-
Atualizar: Clique no ícone de atualização ou a palavra Atualizar para recarregue as tabelas do endpoint Snowflake. Isso pode ser útil se você adicionou recentemente tabelas para Snowflake. Esta ação atualiza todos os metadados usados para construir o tabela de tabelas exibidas na configuração.
-
Selecionar um estágio: Dentro da tabela, clique em qualquer lugar em uma linha para selecionar um estágio. Apenas um estágio pode ser selecionado. As informações disponíveis para cada estágio são buscadas no endpoint do Snowflake:
-
Nome: O nome artístico de Snowflake.
-
Tipo: O tipo de estágio de Snowflake. Para obter informações sobre as diferenças entre estágios internos e externos, consulte a documentação do Snowflake em criar estágios.
-
Dica
Se a tabela não for preenchida com estágios disponíveis, a Conexão do Snowflake pode não ser bem-sucedido. Verifique se você está conectado reabrindo a conexão e testando novamente as credenciais.
-
-
Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.
-
Avançar: Clique para armazenar temporariamente a configuração desta etapa e continuar na próxima etapa. O a configuração não será salva até que você clique no botão Concluído na última etapa.
-
Descartar alterações: Após fazer as alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhum passo. Uma mensagem solicita que você confirme que deseja descartar as alterações.
abordagem de Arquivo de Estágio (usar Estágio Temporário)¶
-
Abordagem: Use o menu suspenso para selecionar Stage File.
-
Tipo de Estágio: Use o menu suspenso para selecionar Usar Estágio Temporário.
-
Nome do Estágio Temporário: Digite um nome a ser usado para um estágio temporário no Snowflake.
-
Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.
-
Avançar: Clique para armazenar temporariamente a configuração desta etapa e continuar na próxima etapa. O a configuração não será salva até que você clique no botão Concluído na última etapa.
-
Descartar alterações: Após fazer as alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhum passo. Uma mensagem solicita que você confirme que deseja descartar as alterações.
Etapa 4: Revisar os Esquemas de Dados¶
Os esquemas de solicitação e resposta gerados a partir do endpoint são exibidos. Os esquemas exibidos dependem da Abordagem especificada na etapa anterior.
Estas subseções descrevem as estruturas de solicitação e resposta para cada abordagem:
Estas ações estão disponíveis com cada abordagem:
-
Esquemas de Dados: Esses esquemas de dados são herdados por transformações adjacentes e são exibidos novamente durante mapeamento de transformação.
Nota
Os dados fornecidos em uma transformação têm precedência sobre a configuração da atividade.
O conector Snowflake usa o Snowflake JDBC Driver e os comandos Snowflake SQL. Consulte a documentação da API para obter informações sobre os nós e campos do esquema.
-
Atualizar: Clique no ícone de atualização ou a palavra Atualizar para regenerar esquemas do endpoint. Essa ação também regenera o esquema em outros locais ao longo o projeto onde o mesmo esquema é referenciado, como em uma transformação adjacente.
-
Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.
-
Concluído: Clique para salvar a configuração de todas as etapas e fechar a configuração da atividade.
-
Descartar alterações: Após fazer as alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhum passo. Uma mensagem solicita que você confirme que deseja descartar as alterações.
abordagem de Mapeamento Direto¶
Estes são os campos de esquema visíveis na captura de tela de exemplo acima:
-
Solicitar
Campo/nó do esquema de solicitação Notas updateRequest
Nó da solicitação de mesclagem. table
Nó mostrando o nome da tabela NAME. item
Nó do item. column_A
Valor para o nome da primeira coluna, COLOR. column_B
Valor para o nome da segunda coluna, FLOWER. . . .
Valores para as colunas da tabela seguintes. -
Resposta
Campo/nó do esquema de resposta Notas mergeResponse
Nó da resposta de mesclagem. noOfRowsUpdated
Contagem das linhas atualizadas. noOfRowsInserted
Contagem das linhas inseridas. errors
Nó dos erros. item
Nó dos itens de erro. errorMessage
Mensagem de erro para o item de erro.
abordagem de Arquivo de Estágio¶
Estes são os campos de esquema visíveis na captura de tela de exemplo acima:
-
Solicitar
Campo/nó do esquema de solicitação Notas mergeRequest
Nó da solicitação de mesclagem. stageName
Caminho ou prefixo sob o qual os dados serão carregados no estágio Snowflake. fileContent
Conteúdo do arquivo de dados, no formato CSV, que será preparado para atualização na tabela Snowflake. destPrefix
Prefixo do arquivo de destino a ser usado no estágio Snowflake. destFileName
Nome do arquivo de destino a ser usado no estágio Snowflake. Importante
Se Use Existing Stage for selecionado e o Type do estágio selecionado for externo,
stageName
efileContent
são excluídos do esquema de solicitação.Para obter informações sobre as diferenças entre estágios internos e externos, consulte a documentação do Snowflake em criar estágios.
-
Resposta
Campo/nó do esquema de resposta Notas mergeResponse
Nó da resposta de mesclagem. noOfRowsUpdated
Contagem das linhas atualizadas. noOfRowsInserted
Contagem das linhas inseridas. errors
Nó dos erros. item
Nó dos itens de erro. errorMessage
Mensagem de erro para o item de erro.
Próximos Passos¶
Depois de configurar uma atividade Snowflake Merge, conclua a configuração da operação adicionando e configurando outras atividades, transformações ou scripts como etapas da operação. Você também pode definir as configurações de operação, que incluem a capacidade de encadear operações que estão no mesmo workflows ou em diferentes.
As ações de menu para uma atividade podem ser acessadas no painel do projeto e na quadro de design. Para obter detalhes, consulte Menu de ações de atividade em Noções básicas do conector.
As atividades Snowflake Merge podem ser usadas como um destino com estes padrões de operação:
- Padrão de transformação
- Padrão de duas transformações (como primeiro ou segundo alvo)
Um caso de uso típico é usar uma atividade Snowflake Merge no Two-transformation Pattern. Neste exemplo, a primeira transformação (Merge Request) cria uma estrutura de solicitação que é passada para a atividade Snowflake Merge. A segunda transformação (Merge Response) recebe a estrutura de resposta, que é então gravada em uma variável por uma atividade Variable Write (Write Merge Response) e uma mensagem é então registrada pelo script Write to Operation Log:
Para usar a atividade com funções de script, grave os dados em um local temporário e use esse local temporário na função de script.
Quando estiver pronto, implantar e executar a operação e validar o comportamento verificando os logs da operação.