Actividad de Transferencia de Datos de Google BigQuery¶

Introducción¶

Una actividad de Transferencia de datos de Google BigQuery, utilizando su conexión de Google BigQuery, transfiere datos de una fuente de datos a un conjunto de datos en Google BigQuery y está destinado a usarse como objetivo para consumir datos en una operación.

Crear una Actividad de Transferencia de Datos de Google BigQuery¶

Se crea una instancia de una actividad de Transferencia de datos de Google BigQuery a partir de una conexión de Google BigQuery utilizando su tipo de actividad Transferencia de datos.

Para crear una instancia de una actividad, arrastre el tipo de actividad al tela de diseño o cópielo y péguelo en el tela de diseño. Para obtener más información, consulte Crear una instancia de actividad en Reutilización de componentes.

Una actividad de Transferencia de datos de Google BigQuery existente se puede editar desde estas ubicaciones:

• El tela de diseño (consulte Menú de acciones del componente en Tela de Diseño).
• La pestaña Componentes del panel del proyecto (consulte Menú de acciones de componentes en Pestaña Componentes del panel de proyecto).

Configurar una Actividad de Transferencia de Datos de Google BigQuery¶

Siga estos pasos para configurar una actividad de Transferencia de datos de Google BigQuery:

• Paso 1: Ingrese un nombre y seleccione la fuente de datos
  Proporcione un nombre para la actividad y seleccione la fuente de datos.

• Paso 2: Seleccione el conjunto de datos
  Seleccione el conjunto de datos.

• Paso 3: Seleccione la tabla
  Seleccione la tabla.

• Paso 4: revisar los esquemas de datos
  Se muestran todos los esquemas de solicitud o respuesta.

Paso 1: Ingrese un Nombre y Seleccione la Fuente de Datos¶

En este paso, proporcione un nombre para la actividad y seleccione la fuente de datos. Cada elemento de la interfaz de usuario de este paso se describe a continuación.

• Nombre: Introduzca un nombre para identificar la actividad. El nombre debe ser único para cada actividad de Transferencia de datos de Google BigQuery y no debe contener barras diagonales. / o dos puntos :.

• Seleccione la fuente de datos: Esta sección muestra las fuentes de datos disponibles en el extremo de Google BigQuery, ya sea Amazon S3 o Google Cloud Storage.

  • Fuente de datos seleccionada: Después de seleccionar una fuente de datos, se enumera aquí.

  • Buscar: Ingrese el valor de cualquier columna en el cuadro de búsqueda para filtrar la lista de fuentes de datos. La búsqueda no distingue entre mayúsculas y minúsculas. Si las fuentes de datos ya se muestran dentro de la tabla, los resultados de la tabla se filtran en tiempo real con cada pulsación de tecla. Para recargar fuentes de datos desde el extremo durante la búsqueda, ingrese los criterios de búsqueda y luego actualice, como se describe a continuación.

  • Actualizar: Haga clic en el icono de actualización o la palabra Actualizar para recargar fuentes de datos desde el extremo de Google BigQuery. Esto puede resultar útil si se han agregado fuentes de datos a Google BigQuery. Esta acción actualiza todos los metadatos utilizados para crear la tabla de fuentes de datos que se muestran en la configuración.

  • Seleccionar una fuente de datos: Dentro de la tabla, haga clic en cualquier lugar de una fila para seleccionar una fuente de datos. Sólo se puede seleccionar una fuente de datos. La información disponible para cada fuente de datos se obtiene del extremo de Google BigQuery:

    • Nombre: El nombre de la fuente de datos.

    • Descripción: La descripción de la fuente de datos.

  Consejo

  Si la tabla no se completa con las fuentes de datos disponibles, la conexión de Google BigQuery puede no tener éxito. Asegúrese de estar conectado volviendo a abrir la conexión y volviendo a probar las credenciales.

• Guardar y salir: Si está habilitado, haga clic para guardar la configuración para este paso y cerrar la configuración de la actividad.

• Siguiente: Haga clic para almacenar temporalmente la configuración para este paso y continuar con el siguiente. La configuración no se guardará hasta que haga clic en el botón Finalizado en el último paso.

• Descartar cambios: Después de realizar cambios, haga clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje le pide que confirme que desea descartar los cambios.

Paso 2: Seleccione el Conjunto de Datos¶

En este paso, seleccione el conjunto de datos. Cada elemento de la interfaz de usuario de este paso se describe a continuación.

• Seleccione el conjunto de datos: Esta sección muestra los conjuntos de datos disponibles en el extremo de Google BigQuery.

  • Fuente de datos seleccionada: La fuente de datos seleccionada en el paso anterior se enumera aquí.

  • Conjunto de datos seleccionado: Después de seleccionar un conjunto de datos, se enumera aquí.

  • Buscar: Ingrese el valor de cualquier columna en el cuadro de búsqueda para filtrar la lista de conjuntos de datos. La búsqueda no distingue entre mayúsculas y minúsculas. Si los conjuntos de datos ya se muestran dentro de la tabla, los resultados de la tabla se filtran en tiempo real con cada pulsación de tecla. Para recargar conjuntos de datos desde el extremo durante la búsqueda, ingrese los criterios de búsqueda y luego actualice, como se describe a continuación.

  • Actualizar: Haga clic en el icono de actualización o la palabra Actualizar para recargar conjuntos de datos desde el extremo de Google BigQuery. Esto puede resultar útil si se han agregado conjuntos de datos a Google BigQuery. Esta acción actualiza todos los metadatos utilizados para crear la tabla de conjuntos de datos que se muestran en la configuración.

  • Seleccionar un conjunto de datos: Dentro de la tabla, haga clic en cualquier lugar de una fila para seleccionar un conjunto de datos. Sólo se puede seleccionar un conjunto de datos. La información disponible para cada conjunto de datos se obtiene del extremo de Google BigQuery:

    • Nombre: El nombre del conjunto de datos.

    • Descripción: La descripción del conjunto de datos.

  Consejo

  Si la tabla no se completa con los conjuntos de datos disponibles, la conexión de Google BigQuery puede no tener éxito. Asegúrese de estar conectado volviendo a abrir la conexión y volviendo a probar las credenciales.

• Volver: Haga clic para almacenar temporalmente la configuración de este paso y volver al paso anterior.

• Siguiente: Haga clic para almacenar temporalmente la configuración para este paso y continuar con el siguiente. La configuración no se guardará hasta que haga clic en el botón Finalizado en el último paso.

• Descartar cambios: Después de realizar cambios, haga clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje le pide que confirme que desea descartar los cambios.

Paso 3: Seleccione la Tabla¶

En este paso, seleccione la tabla. Cada elemento de la interfaz de usuario de este paso se describe a continuación.

• Seleccione la tabla: Esta sección muestra las tablas disponibles en el extremo de Google BigQuery.

  • Conjunto de datos seleccionado: El conjunto de datos seleccionado en el paso anterior se enumera aquí.

  • Tabla seleccionada: Después de seleccionar una tabla, aparece aquí.

  • Buscar: Ingrese el valor de cualquier columna en el cuadro de búsqueda para filtrar la lista de tablas. La búsqueda no distingue entre mayúsculas y minúsculas. Si las tablas ya se muestran dentro de la tabla, los resultados de la tabla se filtran en tiempo real con cada pulsación de tecla. Para recargar tablas desde el extremo durante la búsqueda, ingrese los criterios de búsqueda y luego actualice, como se describe a continuación.

  • Actualizar: Haga clic en el icono de actualización o la palabra Actualizar para recargar tablas desde el extremo de Google BigQuery. Esto puede resultar útil si se han agregado tablas a Google BigQuery. Esta acción actualiza todos los metadatos utilizados para crear la tabla de tablas que se muestra en la configuración.

  • Seleccionar una tabla: Dentro de la tabla, haga clic en cualquier lugar de una fila para seleccionar una tabla. Sólo se puede seleccionar una tabla. La información disponible para cada tabla se obtiene del extremo de Google BigQuery:

    • Nombre: El nombre de la tabla.

    • Descripción: La descripción de la tabla.

  Consejo

  Si la tabla no se completa con tablas disponibles, la conexión de Google BigQuery puede no tener éxito. Asegúrese de estar conectado volviendo a abrir la conexión y volviendo a probar las credenciales.

• Nombre para mostrar: Establezca un nombre para mostrar para la transferencia de datos.

• Volver: Haga clic para almacenar temporalmente la configuración de este paso y volver al paso anterior.

• Siguiente: Haga clic para almacenar temporalmente la configuración para este paso y continuar con el siguiente. La configuración no se guardará hasta que haga clic en el botón Finalizado en el último paso.

• Descartar cambios: Después de realizar cambios, haga clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje le pide que confirme que desea descartar los cambios.

Paso 4: Revisar los Esquemas de Datos¶

Se muestran todos los esquemas de solicitud o respuesta. Cada elemento de la interfaz de usuario de este paso se describe a continuación.

• Esquemas de datos: Estos esquemas de datos se heredan mediante transformaciones adyacentes y se muestran nuevamente durante asignación de transformación.

  El conector de Google BigQuery utiliza Google SDK versión 25.4.0. Consulte la documentación del SDK para obtener información sobre los campos y nodos del esquema.

  Importante

  El valor utilizado para el custom_schedule El campo debe ser una cadena que siga el formato definido en la documentación de Google sobre programación de trabajos con cron.yml sin anteponer schedule:. Por ejemplo, every 12 hours o every monday 09:00.

  La actividad Transferencia de datos utiliza JSON tanto en sus esquemas de solicitud como de respuesta.

• Actualizar: Haga clic en el icono de actualización o la palabra Actualizar para regenerar esquemas desde el extremo de Google BigQuery. Esta acción también regenera un esquema en otras ubicaciones del proyecto donde se hace referencia al mismo esquema, como en una transformación adyacente.

• Volver: Haga clic para almacenar temporalmente la configuración de este paso y volver al paso anterior.

• Terminado: Haga clic para guardar la configuración de todos los pasos y cerrar la configuración de la actividad.

• Descartar cambios: Después de realizar cambios, haga clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje le pide que confirme que desea descartar los cambios.

Próximos Pasos¶

Después de configurar una actividad Transferencia de datos de Google BigQuery, complete la configuración de la operación agregando y configurando otras actividades, transformaciones o secuencias de comandos como pasos de la operación. También puede configurar los ajustes de operación, que incluyen la capacidad de encadenar operaciones que se encuentran en el mismo flujos de trabajo o en diferentes.

Se puede acceder a las acciones del menú para una actividad desde el panel del proyecto y el tela de diseño. Para obtener más información, consulte Menú de acciones de actividad en Conceptos básicos del conector.

Las actividades de Transferencia de datos de Google BigQuery se pueden utilizar como objetivo con estos patrones de operación:

• Patrón de transformación
• Patrón de dos transformaciones (como primer o segundo objetivo)

Para usar la actividad con funciones de secuencias de comandos, escriba los datos en una ubicación temporal y luego use esa ubicación temporal en la función de secuencias de comandos.

Cuando esté listo, desplegar y ejecutar la operación y validar el comportamiento comprobando los registros de operación.