AWS S3 Create¶

Introducción¶

El complemento AWS S3 Create carga un archivo en Amazon AWS S3 como destino de una operación.

Este complemento está disponible de forma predeterminada en Grupos de Agentes en Nube y también se puede asociar con Grupos de Agentes Privados.

Esta página detalla los pasos para utilizar el complemento AWS S3 Create:

Descargue y agregue el complemento
Asociar el complemento con un Grupo de Agentes
Asignar el complemento a un destino
Establecer variables globales para el complemento
Configuración completa de la operación

Importante

Los complementos proporcionados por Jitterbit están en desuso. Consulte Desuso y soporte en Complementos.

Cifrado¶

El complemento AWS S3 Create pasa el ID de la clave de acceso de AWS S3 y la clave de acceso secreta proporcionadas (que se describen a continuación en Establecer variables globales para el complemento) a Amazon. Amazon maneja la seguridad como se describe en la documentación de Amazon sobre Credenciales de seguridad de AWS.

La versión 1.0.1.0 del complemento Jitterbit AWS S3 Create admite depósitos S3 que utilizan una de estas opciones de cifrado:

Ninguno: Sin cifrado
AES-256: Cifrado del lado del servidor con Amazon S3 - Claves administradas (SSE-S3)
AWS-KMS: Cifrado del lado del servidor con claves administradas por AWS KMS (SSE-KMS)

La versión 1.0.0.0 del complemento Jitterbit AWS S3 Create admite el uso sin cifrado o AES-256. El cifrado KMS no es compatible con esta versión.

Uso¶

El complemento AWS S3 Create se puede utilizar siempre que necesite cargar archivos en AWS.

En un caso de uso común, este complemento se puede usar para mover grandes cantidades de datos a un almacén de datos de Snowflake cuando se usa con Snowpipe. Para utilizar esta configuración recomendada, siga la documentación Snowpipe de Snowflake, luego configure el complemento AWS S3 Create como se describe en esta página.

Nota

Se recomienda utilizar Snowpipe y el complemento AWS S3 Create para obtener un mayor rendimiento en lugar de utilizar el controlador JDBC de Snowflake, aunque también es posible instalar el controlador JDBC de Snowflake y luego use Snowflake como objetivo de base de datos en Design Studio.

Funcionalidad Adicional¶

Además, estas opciones ofrecen funcionalidades adicionales más allá del complemento AWS S3 Create:

Obtención de AWS S3: Obtención de AWS S3 es un complemento proporcionado por Jitterbit que se utiliza para leer, cambiar el nombre o eliminar un archivo de Amazon AWS S3. Un archivo leído se puede utilizar como fuente de datos dentro de una operación (consulte Crear una operación en Design Studio.
AWS REST API: Se puede acceder a la API AWS REST a través de una fuente HTTP o destino HTTP en Design Studio. Durante la configuración, puede que sea necesario utilizar el Generador HMAC-SHA256 complemento dependiendo de su método de autenticación. Si necesita ayuda, por favor contacte con el soporte.

Descargue y Agregue el Complemento¶

El complemento AWS S3 Create es un complemento Jitterbit estándar que ya está disponible en Management Console Complementos y no es necesario descargarlo ni agregarlo a la organización.

Si lo indica el soporte de Jitterbit, este complemento se puede descargar en los enlaces que se proporcionan a continuación y agregarlo a la organización (consulte Agregar nuevos complementos en Personalizaciones > Complementos).

Jitterbit AWS S3 Create 1.0.1.0 (ZIP)
(Cifrado: AES-256, KMS o Ninguno)
Jitterbit AWS S3 Create 1.0.0.0 (ZIP)
(Cifrado: AES-256 o Ninguno)

Asociar el Complemento con un Grupo de Agentes¶

Ambas versiones del complemento AWS S3 Create están asociadas con Grupos de Agentes en Nube de forma predeterminada. Recomendamos utilizar la versión 1.0.1.0.

Si utiliza un Grupo de Agentes Privados, antes de poder utilizar el complemento, debe asociarlo con el Grupo de Agentes Privados para que el complemento esté disponible para todos los agentes del grupo (consulte Asociar grupos de Agente en Personalizaciones > Complementos).

Los complementos se enumeran en la Management Console Complementos página con estos nombres para mostrar:

Jitterbit_AWS_S3_Create (versión 1.0.1.0)
Jitterbit AWS S3 Create (versión 1.0.0.0)

Asignar el Complemento a un Destino¶

En un proyecto de Design Studio, debes asignar el complemento a un objetivo dentro de una operación (consulte Crear una operación. Una configuración de operación de ejemplo se proporciona al final de esta página.

Dentro del proyecto:

Crear una operación. Se puede utilizar cualquier operación que utilice un objetivo.
Cree un objetivo ficticio al que se asignará el complemento. Este destino se utiliza como marcador de posición y en realidad no se escribirá en él. Recomendamos utilizar una fuente de tipo de archivo como almacenamiento temporal, archivo local, o Sitio FTP y proporcionando un valor de Nombre(s) de archivo de [file].[ext]. Esto asegurará que el archivo tenga el mismo nombre y extensión que el que proviene de la fuente.

Nota

Un objetivo variable global también se puede utilizar si está escribiendo un solo archivo en S3.
Asigne el complemento al destino. Para hacer esto, haga clic derecho en la fuente y seleccione Complemento. En la ventana emergente, en Complementos disponibles, seleccione "Obtener Jitterbit AWS S3" y haga clic en Asignar. Luego haga clic en Aceptar.

Consejo

La documentación detallada sobre la asignación de complementos está disponible en Aplicación de complementos de Pipeline.

Establecer Variables Globales para el Complemento¶

Para que un complemento asignado a un objetivo sea funcional, cualquier variable global requerido por el complemento debe estar configurado. Estas variables se configuran en un secuencia de comandos, que debe colocarse antes del objetivo en la operación para que se puedan inicializar las variables. Los Secuencias de Comandos a menudo se configuran antes del origen en una operación, que también está antes del destino.

Para agregar un secuencia de comandos antes del origen y el destino en la operación:

Haga clic derecho en la fuente en la operación y seleccione Insertar antes de esto > Secuencia de Comandos.
Cree un nuevo Jitterbit Script que establece las variables utilizadas por el complemento para autenticarse con su depósito S3 y cargar los archivos que especifique. A continuación se proporciona una modelo de secuencia de comandos para las variables requeridas, seguida de documentación sobre todas las variables posibles que pueden incluirse en el secuencia de comandos.
AWS S3 Create Script
```
<trans>
$AWS.S3.BUCKET_NAME="<YOUR_BUCKET_NAME>";
$AWS.S3.ACCESS_KEY_ID="<YOUR_ACCESS_KEY>";
$AWS.S3.SECRET_ACCESS_KEY="<YOUR_SECRET_KEY>";
</trans>
```

Nombre	Tipo	Requerido	Descripción
`AWS.S3.ENDPOINT`	Cadena	Opcional	La URL del extremo de Amazon AWS S3. El valor predeterminado es `"s3.amazonaws.com"` si no está configurado. Los nombres de extremo válidos por región se proporcionan en la documentación de Amazon regiones y Extremos de AWS.
`AWS.S3.BUCKET_NAME`	Cadena	Obligatorio	El nombre del depósito de destino de S3. Para escribir en una carpeta existente dentro del depósito, agregue el nombre de la carpeta después de una barra diagonal (p. ej. `"my_bucket/folder"`). La carpeta ya debe existir.
`AWS.S3.ACCESS_KEY_ID`	Cadena	Obligatorio	La clave de acceso S3 (p. ej. `"ABCDEFGHI1JK2LM3NOPQ"`).
`AWS.S3.SECRET_ACCESS_KEY`	Cadena	Obligatorio	La clave de acceso secreta de S3 (p. ej. `"1aBCd2e/F34gH56IJ7Kl/Mno8pqRsTUvw9x0yzzz"`).
`AWS.S3.REGION`	Cadena	Opcional	La región S3. El valor predeterminado es `"DEFAULT_REGION"` si no está configurado (no recomendado). Los nombres de las regiones actuales se proporcionan en la documentación de Amazon regiones y Extremos de AWS.
`AWS.S3.OBJECT_KEY`	Cadena	Opcional	La clave del objeto S3 que se va a escribir. Este es el nombre del archivo específico que está cargando, como `"myfile.txt"`. Si esta variable no se incluye en el secuencia de comandos, solo se devolverá un archivo en el depósito y la carpeta (si se especifica). No se admite la especificación de varios archivos ni el uso de comodines.

Configuración Completa de la Operación¶

La parte del complemento de la configuración de la operación se completa después de que tenga (1) el secuencia de comandos que define las variables que se usarán con el complemento y (2) el complemento asignado a un destino en la operación.

Para completar la configuración de su operación, defina una fuente de donde provienen los datos, o agregar tanto una fuente como una transformación si desea transformar sus datos antes de llegar al depósito S3. Si escribe un solo archivo en S3, la configuración de la operación está completa.

Ejemplo 1

Si desea escribir varios archivos en S3, puede crear manualmente una secuencia de comandos adicional para recorrer los archivos en su depósito de S3. Asegúrese de no haber establecido ningún valor en el AWS.S3.OBJECT_KEY variable.

Dado que sólo se devuelve un archivo con el complemento, puede ejecutar cada archivo por separado a través de la operación. Por ejemplo, utilizando una combinación de FileList, While, y RunOperation y una variable global recién definida SingleFile, este secuencia de comandos recoge cada archivo y luego ejecuta la operación con el complemento:

File Loop Script

<trans>
Files = FileList("<TAG>Sources/All Files</TAG>");
i = 0;
while(i< length(Files),
$SingleFile = Files[i];
RunOperation("<TAG>Operations/Read from source and write to S3</TAG>");

i++;
)

</trans>

Para usar con el secuencia de comandos anterior, querrá hacer referencia a la nueva variable global [SingleFile] en Obtener archivos de la fuente de su tipo de archivo. Este ejemplo se puede ajustar para su uso con otras configuraciones.

ejemplo 2