Saltar al contenido

Actividad de Obtención de Mensajes de Apache Kafka

Introducción

Una actividad de Apache Kafka Obtener mensajes, utilizando su conexión Apache Kafka, recupera flujos de datos de un tema en un clúster Apache Kafka y está destinado a ser utilizado como fuente para proporcionar datos en una operación.

Crear una Actividad de Obtención de Mensajes de Apache Kafka

Se crea una instancia de una actividad Obtener mensajes de Apache Kafka a partir de una conexión Apache Kafka usando su tipo de actividad Obtener mensajes.

Para crear una instancia de una actividad, arrastre el tipo de actividad al tela de diseño o cópielo y péguelo en el tela de diseño. Para obtener más información, consulte Creación de una instancia de actividad en Reutilización de componentes.

Una actividad Obtener mensajes de Apache Kafka existente se puede editar desde estas ubicaciones:

Configurar una Actividad de Obtención de Mensajes de Apache Kafka

Siga estos pasos para configurar una actividad Obtener mensajes de Apache Kafka:

Paso 1: Ingrese un Nombre

En este paso, ingrese un nombre para la actividad. Cada elemento de la interfaz de usuario de este paso se describe a continuación.

Apache Kafka Obtener mensajes Configuración de actividad Paso 1

  • Nombre: Introduzca un nombre para identificar la actividad. El nombre debe ser único para cada actividad de Apache Kafka Obtener mensajes y no debe contener barras diagonales. / o dos puntos :.

  • Guardar y salir: Si está habilitado, haga clic para guardar la configuración para este paso y cerrar la configuración de la actividad.

  • Siguiente: Haga clic para almacenar temporalmente la configuración para este paso y continuar con el siguiente. La configuración no se guardará hasta que haga clic en el botón Finalizado en el último paso.

  • Descartar cambios: Después de realizar cambios, haga clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje le pide que confirme que desea descartar los cambios.

Paso 2: Revisar los Esquemas de Datos

Se muestran todos los esquemas de solicitud o respuesta generados desde el extremo. Cada elemento de la interfaz de usuario de este paso se describe a continuación.

Apache Kafka Obtener mensajes Configuración de actividad Paso 2

  • Esquemas de datos: Estos esquemas de datos se heredan mediante transformaciones adyacentes y se muestran nuevamente durante asignación de transformación.

El conector Apache Kafka utiliza Apache Kafka Core API. Consulte la documentación de la API para obtener información sobre los campos y nodos del esquema.

Los esquemas de datos de solicitud y respuesta constan de estos nodos y campos:

Solicitar nodo/campo de esquema Descripción
getMessagesRequest Nodo que representa la solicitud de actividad
consumerGroup Cadena que contiene el grupo de consumidores que se utilizará para consumir datos del tema
sessionTimeoutMS Número entero de la cantidad de tiempo (en milisegundos) para detectar fallas del cliente cuando se utiliza la función de administración de grupos de Apache Kafka
maxPollRecords Entero del número máximo de registros devueltos en una sola llamada
topic Cadena con el nombre del tema que contiene los mensajes
pollDurationSec Entero del tiempo (en segundos) después del cual se devolverá un conjunto de registros vacío si no se recupera ningún mensaje
Nodo/campo del esquema de respuesta Descripción
getMessagesResponse Nodo que representa la respuesta de la actividad
message Nodo que representa el mensaje recuperado
item Nodo que representa los elementos dentro de un mensaje
key Cadena que contiene la clave del mensaje recuperado
value Cadena que contiene el valor del mensaje recuperado
offset Cadena que contiene el desplazamiento al que está asignado el mensaje
topic Cadena con el nombre del tema al que pertenece el mensaje

  • Actualizar: Haga clic en el icono de actualización Icono de actualización o la palabra Actualizar para regenerar esquemas desde el extremo de Apache Kafka. Esta acción también regenera un esquema en otras ubicaciones del proyecto donde se hace referencia al mismo esquema, como en una transformación adyacente.

  • Volver: Haga clic para almacenar temporalmente la configuración de este paso y volver al paso anterior.

  • Terminado: Haga clic para guardar la configuración de todos los pasos y cerrar la configuración de la actividad.

  • Descartar cambios: Después de realizar cambios, haga clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje le pide que confirme que desea descartar los cambios.

Próximos Pasos

Después de configurar una actividad Obtener mensajes de Apache Kafka, complete la configuración de la operación agregando y configurando otras actividades, transformaciones o secuencias de comandos como pasos de la operación. También puede configurar los ajustes de operación, que incluyen la capacidad de encadenar operaciones que se encuentran en el mismo flujos de trabajo o en diferentes.

Se puede acceder a las acciones del menú para una actividad desde el panel del proyecto y el tela de diseño. Para obtener más información, consulte Menú de acciones de actividad en Conceptos básicos del conector.

Las actividades de Apache Kafka Obtener mensajes se pueden utilizar como fuente con estos patrones de operación:

Para usar la actividad con funciones de secuencias de comandos, escriba los datos en una ubicación temporal y luego use esa ubicación temporal en la función de secuencias de comandos.

Cuando esté listo, desplegar y ejecutar la operación y validar el comportamiento comprobando los registros de operación.