Ir para o conteúdo

AWS S3 Create

Introdução

O plug-in AWS S3 Create carrega um arquivo no Amazon AWS S3 como destino em uma operação.

Este plugin está disponível por padrão em Jitterbit Grupos de Agentes em Nuvem e também pode ser associado a Grupos de Agentes Privados.

Esta página detalha as etapas para usar o plugin AWS S3 Create:

  1. Baixe e adicione o plug-in
  2. Associe o plug-in a um Grupo de Agentes
  3. Atribuir o plug-in a um destino
  4. Definir variáveis globais para o plug-in
  5. Configuração completa da operação

Importante

Os plug-ins fornecidos pela Jitterbit estão obsoletos. Consulte Descontinuação e suporte em Plugins.

Criptografia

O plug-in AWS S3 Create passa o ID da chave de acesso AWS S3 e a chave de acesso secreta fornecidas (descritas abaixo em Definir variáveis globais para o plug-in) para a Amazônia. A segurança é gerenciada pela Amazon conforme descrito na documentação da Amazon em AWS Security Credentials.

A versão 1.0.1.0 do plug-in Jitterbit AWS S3 Create oferece suporte a buckets S3 que usam uma destas opções de criptografia:

  • Nenhum: Sem criptografia
  • AES-256: Criptografia no lado do servidor com chaves gerenciadas do Amazon S3(SSE-S3)
  • AWS-KMS: Criptografia no lado do servidor com chaves gerenciadas pelo AWS KMS (SSE-KMS)

A versão 1.0.0.0 do plug-in Jitterbit AWS S3 Create não oferece suporte ao uso de criptografia ou AES-256. A criptografia KMS não é compatível com esta versão.

Uso

O plugin AWS S3 Create pode ser usado sempre que você precisar fazer upload de arquivos para a AWS.

Em um caso de uso comum, este plug-in pode ser usado para mover grandes quantidades de dados para um data warehouse Snowflake quando usado com Snowpipe. Para usar esta configuração recomendada, siga a documentação do Snowpipe do Snowflake e configure o plug-in AWS S3 Create conforme descrito nesta página.

Nota

O uso do Snowpipe e do plugin AWS S3 Create é recomendado para aumentar o desempenho em vez de usar o driver JDBC do Snowflake, embora também seja possível instalar o driver Snowflake JDBC e, em seguida, use Snowflake como alvo do banco de dados no Design Studio.

Funcionalidade Adicional

Além disso, essas opções oferecem funcionalidades adicionais além do plugin AWS S3 Create:

Baixe e Adicione o Plug-in

O plugin AWS S3 Create é um plugin Jitterbit padrão que já está disponível no Management Console Plugins e não precisa ser baixado ou adicionado à organização.

Se orientado pelo suporte da Jitterbit, este plug-in pode ser baixado nos links fornecidos abaixo e adicionado à organização (consulte Adicionar novos plug-ins em Personalizações > Plug-ins).

Associe o Plug-in a um Grupo de Agentes

Ambas as versões do plug-in AWS S3 Create estão associadas aos Jitterbit Grupos de Agentes em Nuvem por padrão. Recomendamos usar a versão 1.0.1.0.

Se estiver usando um Grupo de Agentes Privados, antes de poder usar o plugin você deve associá-lo ao Grupo de Agentes Privados para disponibilizar o plugin em todos os agentes do grupo (veja Associar Grupos de Agente em Personalizações > Plug-ins).

Os plug-ins estão listados no Management Console Plugins com estes nomes de exibição:

  • Jitterbit_AWS_S3_Create (versão 1.0.1.0)

  • Jitterbit AWS S3 Create (versão 1.0.0.0)

Atribuir o Plugin a um Destino

Em um projeto do Design Studio, você deve atribuir o plugin a um target dentro de uma operação (consulte Criar uma operação. Um exemplo de configuração de operação é fornecido no final desta página.

Dentro do projeto:

  1. Crie uma operação. Qualquer operação usando um alvo pode ser usada.

  2. Crie um destino fictício ao qual o plugin será atribuído. Este destino é usado como espaço reservado e não será gravado nele. Recomendamos usar uma fonte de tipo de arquivo como armazenamento temporário, arquivo local ou Site FTP e fornecendo um valor Nome(s) de arquivo de [file].[ext]. Isso garantirá que o arquivo tenha o mesmo nome e extensão que vem da fonte.

    Nota

    Uma meta variável global também pode ser usado se você estiver gravando um único arquivo no S3.

  3. Atribua o plugin ao destino. Para fazer isso, clique com o botão direito na fonte e selecione Plugin. No pop-up, em Plugins disponíveis, selecione "Jitterbit AWS S3 Get" e clique em Atribuir. Em seguida, clique em OK.

Dica

Documentação detalhada sobre a atribuição de plug-ins está disponível em Aplicando plug-ins de pipeline.

Definir Variáveis globais para o Plugin

Para que um plugin atribuído a um alvo seja funcional, quaisquer variáveis globais exigido pelo plugin deve ser definido. Essas variáveis são definidas em um script, que deve ser colocado antes do alvo na operação para que as variáveis possam ser inicializadas. Os Scripts geralmente são definidos antes da origem em uma operação, que também está antes do destino.

Para adicionar um script antes da origem e do destino na operação:

  1. Clique com o botão direito na fonte da operação e selecione Inserir antes disso > Script.

  2. Crie um novo Jitterbit Script que define variáveis usadas pelo plugin para autenticar com seu bucket S3 e fazer upload de quaisquer arquivos que você especificar. Um modelo de script para variáveis obrigatórias é fornecido abaixo, seguido de documentação sobre todas as variáveis possíveis que podem ser incluídas no script.

    AWS S3 Create Script
    <trans>
    $AWS.S3.BUCKET_NAME="<YOUR_BUCKET_NAME>";
    $AWS.S3.ACCESS_KEY_ID="<YOUR_ACCESS_KEY>";
    $AWS.S3.SECRET_ACCESS_KEY="<YOUR_SECRET_KEY>";
    </trans>
    
Nome Tipo Obrigatório Descrição
AWS.S3.ENDPOINT Corda Opcional O URL do endpoint Amazon AWS S3. O padrão é "s3.amazonaws.com" se não estiver definido. Nomes de endpoint válidos por região são fornecidos na documentação da Amazon AWS Regions and Endpoints.
AWS.S3.BUCKET_NAME Corda Obrigatório O nome do bucket de destino do S3. Para gravar em uma pasta existente dentro do bucket, adicione o nome da pasta após uma barra (por exemplo, "my_bucket/folder"). A pasta já deve existir.
AWS.S3.ACCESS_KEY_ID Corda Obrigatório A chave de acesso S3 (por exemplo "ABCDEFGHI1JK2LM3NOPQ").
AWS.S3.SECRET_ACCESS_KEY Corda Obrigatório A chave de acesso secreta S3 (por exemplo "1aBCd2e/F34gH56IJ7Kl/Mno8pqRsTUvw9x0yzzz").
AWS.S3.REGION Corda Opcional A região S3. O padrão é "DEFAULT_REGION" se não estiver definido (não recomendado). Os nomes das regiões atuais são fornecidos na documentação da Amazon AWS Regions and Endpoints.
AWS.S3.OBJECT_KEY Corda Opcional A chave do objeto S3 a ser gravada. Este é o nome do arquivo específico que você está enviando, como "myfile.txt". Se esta variável não estiver incluída no script, apenas um arquivo no bucket e na pasta (se especificado) será retornado. A especificação de vários arquivos ou o uso de caracteres curinga não são suportados.

Configuração Completa da Operação

A parte do plug-in da configuração da operação é concluída depois que você tem (1) o script que define as variáveis a serem usadas com o plug-in e (2) o plug-in atribuído a um destino na operação.

Para concluir a configuração da sua operação, defina uma fonte de onde vêm os dados ou adicione uma fonte e uma transformação se quiser transformar seus dados antes de chegar ao bucket S3. Se gravar um único arquivo no S3, a configuração da operação será concluída.

Exemplo 1

Se quiser gravar vários arquivos no S3, você pode criar manualmente um script adicional para percorrer os arquivos em seu bucket do S3. Certifique-se de não ter definido nenhum valor no AWS.S3.OBJECT_KEY variável.

Como apenas um arquivo é retornado com o plugin, você pode executar cada arquivo separadamente por meio da operação. Por exemplo, usando uma combinação do FileList, While, e RunOperation e uma variável global recém-definida SingleFile, este script pega cada arquivo e então executa a operação com o plugin:

File Loop Script
<trans>
Files = FileList("<TAG>Sources/All Files</TAG>");
i = 0;
while(i< length(Files),
$SingleFile = Files[i];
RunOperation("<TAG>Operations/Read from source and write to S3</TAG>");

i++;
)

</trans>

Para usar com o script acima, você desejará fazer referência à nova variável global [SingleFile] em Obter arquivos da origem do tipo de arquivo. Este exemplo pode ser ajustado para uso com outras configurações.

exemplo 2