Este endpoint se ha actualizado para incluir metadatos sobre la edición de Publicaciones. Obtén más información sobre estos metadatos en la página de fundamentos de “Editar Publicaciones”.
- URL ampliadas y mejoradas: - expande por completo las URL acortadas y proporciona metadatos adicionales (título y descripción de la página)
- Particionado del flujo - 2 particiones, cada una con el 50% del volumen del flujo de Decahose
- Fiabilidad mejorada - diversidad geográfica de los sistemas de backend
ENTERPRISE
Esta es una API empresarial disponible solo dentro de nuestros niveles de acceso administrados. Para usar esta API, primero debes configurar una cuenta con nuestro equipo de ventas para empresas. Más información
Los Me gusta permiten obtener información sobre quién indica que le gustan las Publicaciones y proporcionan recuentos precisos de Me gusta. Firehose y Decahose de Gnip pueden entregar Me gusta públicos relacionados con las Publicaciones entregadas a través de Gnip. Esto produce métricas de interacción pública y de audiencia en tiempo real asociadas a una Publicación.
Introducción a los Me gusta
Al prepararte para consumir datos de Me gusta, debes saber que:
- Los Me gusta se entregan a través de un stream independiente y separado
- Históricamente, los Me gusta se denominan “Favorites”. La carga útil en formato nativo enriquecido mantiene esta nomenclatura
- Los streams incluyen solo Me gusta públicos
- Público significa que el usuario que da Me gusta, el creador de la Publicación y la Publicación son públicos en la plataforma
- Los Me gusta son muy similares a los Retweets y representan una señal pública de interacción
- Los elementos de la carga útil incluyen:
- Objeto de la Publicación original
- Objeto actor que creó la Publicación original
- Objeto actor que realizó la acción de Me gusta
- Solo se puede dar Me gusta a contenido original
- No se puede dar Me gusta a Retweets. Un Me gusta de un Retweet se aplica a la Publicación original
- Los Tweets citados sí pueden recibir Me gusta
- Las actividades de Me gusta incluyen los Gnip Enrichments correspondientes (cuando se han adquirido/aplicado)
- Productos / funcionalidades compatibles
- Los streams de Me gusta son compatibles con Backfill (cuando se ha adquirido/aplicado)
- No hay compatibilidad con Replay para los streams de Me gusta
- No hay compatibilidad con Search ni Historical para los Me gusta
- No hay planes inmediatos para añadir compatibilidad de Me gusta a PowerTrack
- Para el 10% de Publicaciones de muestra entregadas en Decahose, el stream incluye el 100% de los Me gusta públicos correspondientes
- Particiones: 2
- Estructura de URL
- Para admitir múltiples entornos, podemos implementar Additional Streams para tu cuenta. Estos flujos son independientes entre sí y tienen un stream_label diferente para ayudar a diferenciarlos.
- Para ayudar a mantener una conexión, cada flujo de Decahose admite Redundant Connections. La arquitectura más común es que un flujo tenga dos conexiones y, en el lado del cliente, haya dos consumidores independientes, idealmente en redes diferentes. Con este diseño, puede haber redundancia entre las redes del lado del cliente, los servidores y las rutas hacia la base de datos. Ten en cuenta que se sirve una copia completa de los datos en cada conexión y que el lado del cliente debe ser tolerante a los datos duplicados y gestionarlos.
- Se proporcionará un “heartbeat” cada 10 segundos; sin embargo, con el flujo Decahose, el volumen de datos es lo suficientemente alto como para que incluso una breve duración (por ejemplo, unos pocos segundos) sin Publicaciones pueda indicar un problema de conexión. Por lo tanto, tanto un “silencio de datos” como la falta de un heartbeat pueden utilizarse para detectar una desconexión.
Connect to decahose partition=1
Connect to decahose partition=2 La situación anterior da como resultado un total de tres conexiones: dos conexiones a partition=1 y una conexión a partition=2. Normalmente, querrías tener la misma cantidad de conexiones en cada partición, así que este ejemplo resalta una situación en la que la conexión redundante a partition=2 se ha interrumpido y deseas investigarla más a fondo. Recuperación Recovery es una herramienta de recuperación de datos (no debe usarse para la recopilación principal de datos) que proporciona acceso de streaming a una ventana móvil de 5 días de datos históricos recientes de X. Debe utilizarse para recuperar datos en escenarios en los que tu aplicación cliente pierde datos del stream en tiempo real, ya sea debido a una desconexión durante un período corto o por cualquier otro escenario en el que dejes de ingerir datos en tiempo real durante un período de tiempo. Con el flujo Recovery, tu aplicación puede hacer solicitudes que funcionan de la misma manera que las solicitudes a los flujos en tiempo real. Sin embargo, tu aplicación debe especificar parámetros en la URL que indiquen la ventana de tiempo que estás solicitando. En otras palabras, una solicitud de Recovery le pide a la API “Publicaciones desde la hora A hasta la hora B”. Estas Publicaciones se entregan a través de tu conexión de streaming de una manera que imita al flujo en tiempo real, pero a una velocidad ligeramente inferior al tiempo real. Consulta el siguiente ejemplo: “https://stream-data-api.x.com/stream/powertrack/accounts/someAccountName/publishers/twitter/powertrack.json?startTime=2023-07-05T17:09:12.070Z” Las Publicaciones se entregan comenzando por el primer (más antiguo) minuto del periodo de tiempo especificado y continúan cronológicamente hasta que se entrega el último minuto. En ese momento, se envía a través de la conexión un mensaje Recovery Request Completed y, a continuación, el servidor cierra la conexión. Si tu solicitud comienza en una hora del día en la que hubo pocos o ningún resultado coincidente, es probable que transcurra un periodo de tiempo antes de que se entreguen los primeros resultados; los datos se entregarán cuando Recovery encuentre coincidencias en la parte del archivo que se esté procesando en ese momento. Cuando no haya resultados disponibles para entregar, el flujo seguirá enviando retornos de carro, o “heartbeats”, a través de la conexión para evitar que tu conexión agote el tiempo de espera. Recovery está pensado como una herramienta para recuperar fácilmente datos perdidos debido a desconexiones breves, no para periodos de tiempo muy largos como un día completo. Si surge la necesidad de recuperar datos durante periodos prolongados, recomendamos dividir las solicitudes más largas en ventanas de tiempo más cortas (por ejemplo, dos horas) para reducir la posibilidad de que se produzca una desconexión en mitad de la solicitud debido a la volatilidad de Internet u otros motivos, y para proporcionar una mayor visibilidad del progreso de las solicitudes largas. Puedes utilizar la función Recovery para recuperar datos perdidos en las últimas 24 horas si no puedes volver a conectarte dentro de la ventana de backfill de 5 minutos. La función de streaming recovery te permite disponer de una ventana de backfill ampliada de 24 horas. Recovery te permite “recuperar” el período de tiempo de datos perdidos. Un recovery stream se inicia cuando realizas una solicitud de conexión usando los parámetros de solicitud
start_time y end_time. Una vez conectado, Recovery volverá a transmitir el período de tiempo indicado y luego se desconectará.
Puedes realizar 2 solicitudes concurrentes a Recovery al mismo tiempo, es decir, “dos recovery jobs”. Recovery funciona técnicamente de la misma manera que backfill, excepto que se define una hora de inicio y una hora de finalización. Un período de Recovery corresponde a un único intervalo de tiempo.
Para solicitar relleno histórico, debes añadir un parámetro backfillMinutes=N a tu solicitud de conexión, donde N es el número de minutos (1-5, solo números enteros) que se rellenarán cuando se establezca la conexión. Por ejemplo, si te desconectas durante 90 segundos, deberías añadir backfillMinutes=2 a tu solicitud de conexión. Dado que esta solicitud proporcionará relleno histórico durante 2 minutos, incluido el periodo de 30 segundos anterior a tu desconexión, tu aplicación consumidora debe ser tolerante a los datos duplicados.
Un ejemplo de URL de solicitud de conexión de Decahose, que pide un relleno histórico de 5 minutos para la partición 1, es el siguiente:
https://gnip-stream.x.com/stream/sample10/accounts/:account_name/publishers/twitter/:stream_label.json?partition=1&backfillMinutes=5
NOTAS:
- Tienes la opción de usar siempre “backfillMinutes=5” cuando te conectes y luego gestionar cualquier dato duplicado que se proporcione.
- Si estás desconectado durante más de cinco minutos, puedes recuperar datos usando Recovery.
- Determinar la duración del periodo de desconexión.
- ¿5 minutos o menos?
- Si tienes Backfill habilitado para el stream, prepara la solicitud de conexión con el parámetro “backfillMinutes” apropiado.
- ¿Más de 5 minutos?
- Si tienes un stream de Recovery, haz una solicitud de Recovery para el periodo de tiempo desconectado (idealmente con tu conjunto de reglas de tiempo real actual, usando la Rules API si es necesario).
- ¿5 minutos o menos?
- Solicitar una nueva conexión.
-
Implementar backfill
Backfill te permite reconectarte desde un punto anterior a la desconexión de una conexión de stream y cubre desconexiones de hasta 5 minutos. Se implementa incluyendo un parámetro en la solicitud de conexión. -
Consumir un stream redundante desde otra ubicación
Si el stream redundante puede enviarse al mismo entorno en vivo, desduplicando los datos, eliminarás la necesidad de recuperación a menos que TANTO el stream normal como el stream redundante experimenten tiempo de inactividad o desconexiones simultáneas. Si el stream redundante no puede enviarse en vivo al entorno de producción, se puede escribir en un almacén de datos “de emergencia” separado. Entonces, en caso de desconexiones o tiempo de inactividad en la conexión del stream principal, tu sistema tendrá datos disponibles para completar tu base de datos principal durante el periodo de tiempo en el que falten datos. -
Implementar Recovery
Cuando las desconexiones o el tiempo de inactividad afecten tanto al stream principal como al stream redundante, utiliza Decahose Recovery para recuperar cualquier dato perdido. La API proporciona una ventana móvil que cubre 5 días del archivo, y se aprovecha mejor solicitando no más de una hora de esa ventana cada vez y transmitiéndola en streaming. Esto se hace en paralelo al stream en tiempo real. Ten en cuenta que no tenemos soluciones para recuperar datos de Decahose más allá de la ventana de 5 días proporcionada por Recovery, por lo que es importante que utilices un stream redundante para asegurarte de que dispones de una copia completa de los datos de tu lado en caso de un tiempo de inactividad significativo.
Posibles formas de detectar datos faltantes cuando no se han producido desconexiones ni tiempo de inactividad…
-
Contar Publicaciones entrantes
Tu sistema debería contar el número bruto de Publicaciones que recibes al inicio de tu aplicación de ingesta y luego proporcionar una forma de comparar esos números con el número de Publicaciones que llega a tu almacén de datos final. Cualquier diferencia puede supervisarse y servir para alertar a tu equipo sobre problemas que estén causando que los datos se pierdan después de ser recibidos. -
Analizar volúmenes almacenados anormales
También puedes analizar los volúmenes de datos almacenados en tu base de datos final para buscar caídas anormales. Esto también puede indicar problemas, aunque probablemente habrá circunstancias en las que las caídas de volumen sean normales (por ejemplo, si la plataforma de X no está disponible y las personas no pueden crear Publicaciones durante algún periodo de tiempo).
Decahose stream
Ir a en esta página Métodos Autenticación GET /{stream-type}/:stream Replay API
Todas las solicitudes a las Volume Stream APIs deben utilizar autenticación básica HTTP (HTTP Basic Authentication), construida a partir de una combinación válida de dirección de correo electrónico y contraseña usada para iniciar sesión en tu cuenta en console.gnip.com. Las credenciales deben enviarse en el encabezado Authorization en cada solicitud. Por lo tanto, confirma que tu cliente esté agregando el encabezado HTTP “Authentication: Basic” (con las credenciales codificadas a través de HTTPS) a todas las solicitudes a la API.
GET :stream
Establece una conexión persistente con el stream Firehose, mediante la cual se entregarán los datos en tiempo real.
Las siguientes respuestas pueden ser devueltas por la API para estas solicitudes. La mayoría de los códigos de error se devuelven con una cadena de texto con detalles adicionales en el cuerpo. Para respuestas distintas de 200, los clientes deben intentar reconectarse.
La siguiente solicitud de ejemplo se realiza usando cURL en la línea de comandos. Sin embargo, tenga en cuenta que estas solicitudes también se pueden enviar con el lenguaje de programación de su elección: