Este endpoint se ha actualizado para incluir metadatos sobre la edición de Publicaciones. Obtén más información sobre estos metadatos en la página de fundamentos de “Editar Publicaciones”.
Flujo de Decahose
- URL ampliadas y mejoradas: - expande por completo las URL acortadas y proporciona metadatos adicionales (título y descripción de la página)
- Particionado del flujo - 2 particiones, cada una con el 50% del volumen del flujo de Decahose
- Fiabilidad mejorada - diversidad geográfica de los sistemas de backend
ENTERPRISE
Transmisión de Me gusta
- Los Me gusta se entregan a través de un stream independiente y separado
- Históricamente, los Me gusta se denominan “Favorites”. La carga útil en formato nativo enriquecido mantiene esta nomenclatura
- Los streams incluyen solo Me gusta públicos
- Público significa que el usuario que da Me gusta, el creador de la Publicación y la Publicación son públicos en la plataforma
- Los Me gusta son muy similares a los Retweets y representan una señal pública de interacción
- Los elementos de la carga útil incluyen:
- Objeto de la Publicación original
- Objeto actor que creó la Publicación original
- Objeto actor que realizó la acción de Me gusta
- Solo se puede dar Me gusta a contenido original
- No se puede dar Me gusta a Retweets. Un Me gusta de un Retweet se aplica a la Publicación original
- Los Tweets citados sí pueden recibir Me gusta
- Las actividades de Me gusta incluyen los Gnip Enrichments correspondientes (cuando se han adquirido/aplicado)
- Productos / funcionalidades compatibles
- Los streams de Me gusta son compatibles con Backfill (cuando se ha adquirido/aplicado)
- No hay compatibilidad con Replay para los streams de Me gusta
- No hay compatibilidad con Search ni Historical para los Me gusta
- No hay planes inmediatos para añadir compatibilidad de Me gusta a PowerTrack
- Para el 10% de Publicaciones de muestra entregadas en Decahose, el stream incluye el 100% de los Me gusta públicos correspondientes
- Particiones: 2
- Estructura de URL
Guías
Recuperación y redundancia
- Para admitir múltiples entornos, podemos implementar Additional Streams para tu cuenta. Estos flujos son independientes entre sí y tienen un stream_label diferente para ayudar a diferenciarlos.
- Para ayudar a mantener una conexión, cada flujo de Decahose admite Redundant Connections. La arquitectura más común es que un flujo tenga dos conexiones y, en el lado del cliente, haya dos consumidores independientes, idealmente en redes diferentes. Con este diseño, puede haber redundancia entre las redes del lado del cliente, los servidores y las rutas hacia la base de datos. Ten en cuenta que se sirve una copia completa de los datos en cada conexión y que el lado del cliente debe ser tolerante a los datos duplicados y gestionarlos.
- Se proporcionará un “heartbeat” cada 10 segundos; sin embargo, con el flujo Decahose, el volumen de datos es lo suficientemente alto como para que incluso una breve duración (por ejemplo, unos pocos segundos) sin Publicaciones pueda indicar un problema de conexión. Por lo tanto, tanto un “silencio de datos” como la falta de un heartbeat pueden utilizarse para detectar una desconexión.
Streams adicionales
Connect to decahose partition=1
Connect to decahose partition=2 La situación anterior da como resultado un total de tres conexiones: dos conexiones a partition=1 y una conexión a partition=2. Normalmente, querrías tener la misma cantidad de conexiones en cada partición, así que este ejemplo resalta una situación en la que la conexión redundante a partition=2 se ha interrumpido y deseas investigarla más a fondo. Recuperación
Descripción general
Uso de Recovery
Disponibilidad de datos
start_time y end_time. Una vez conectado, Recovery volverá a transmitir el período de tiempo indicado y luego se desconectará.
Puedes realizar 2 solicitudes concurrentes a Recovery al mismo tiempo, es decir, “dos recovery jobs”. Recovery funciona técnicamente de la misma manera que backfill, excepto que se define una hora de inicio y una hora de finalización. Un período de Recovery corresponde a un único intervalo de tiempo.
Relleno histórico
- Tienes la opción de usar siempre “backfillMinutes=5” cuando te conectes y luego gestionar cualquier dato duplicado que se proporcione.
- Si estás desconectado durante más de cinco minutos, puedes recuperar datos usando Recovery.
- Determinar la duración del periodo de desconexión.
- ¿5 minutos o menos?
- Si tienes Backfill habilitado para el stream, prepara la solicitud de conexión con el parámetro “backfillMinutes” apropiado.
- ¿Más de 5 minutos?
- Si tienes un stream de Recovery, haz una solicitud de Recovery para el periodo de tiempo desconectado (idealmente con tu conjunto de reglas de tiempo real actual, usando la Rules API si es necesario).
- ¿5 minutos o menos?
- Solicitar una nueva conexión.
-
Implementar backfill
Backfill te permite reconectarte desde un punto anterior a la desconexión de una conexión de stream y cubre desconexiones de hasta 5 minutos. Se implementa incluyendo un parámetro en la solicitud de conexión. -
Consumir un stream redundante desde otra ubicación
Si el stream redundante puede enviarse al mismo entorno en vivo, desduplicando los datos, eliminarás la necesidad de recuperación a menos que TANTO el stream normal como el stream redundante experimenten tiempo de inactividad o desconexiones simultáneas. Si el stream redundante no puede enviarse en vivo al entorno de producción, se puede escribir en un almacén de datos “de emergencia” separado. Entonces, en caso de desconexiones o tiempo de inactividad en la conexión del stream principal, tu sistema tendrá datos disponibles para completar tu base de datos principal durante el periodo de tiempo en el que falten datos. -
Implementar Recovery
Cuando las desconexiones o el tiempo de inactividad afecten tanto al stream principal como al stream redundante, utiliza Decahose Recovery para recuperar cualquier dato perdido. La API proporciona una ventana móvil que cubre 5 días del archivo, y se aprovecha mejor solicitando no más de una hora de esa ventana cada vez y transmitiéndola en streaming. Esto se hace en paralelo al stream en tiempo real. Ten en cuenta que no tenemos soluciones para recuperar datos de Decahose más allá de la ventana de 5 días proporcionada por Recovery, por lo que es importante que utilices un stream redundante para asegurarte de que dispones de una copia completa de los datos de tu lado en caso de un tiempo de inactividad significativo.
Posibles formas de detectar datos faltantes cuando no se han producido desconexiones ni tiempo de inactividad…
-
Contar Publicaciones entrantes
Tu sistema debería contar el número bruto de Publicaciones que recibes al inicio de tu aplicación de ingesta y luego proporcionar una forma de comparar esos números con el número de Publicaciones que llega a tu almacén de datos final. Cualquier diferencia puede supervisarse y servir para alertar a tu equipo sobre problemas que estén causando que los datos se pierdan después de ser recibidos. -
Analizar volúmenes almacenados anormales
También puedes analizar los volúmenes de datos almacenados en tu base de datos final para buscar caídas anormales. Esto también puede indicar problemas, aunque probablemente habrá circunstancias en las que las caídas de volumen sean normales (por ejemplo, si la plataforma de X no está disponible y las personas no pueden crear Publicaciones durante algún periodo de tiempo).
Referencia de la API
Decahose stream
Ir a en esta página Métodos Autenticación GET /{stream-type}/:stream Replay APIMétodos
Todas las solicitudes a las Volume Stream APIs deben utilizar autenticación básica HTTP (HTTP Basic Authentication), construida a partir de una combinación válida de dirección de correo electrónico y contraseña usada para iniciar sesión en tu cuenta en console.gnip.com. Las credenciales deben enviarse en el encabezado Authorization en cada solicitud. Por lo tanto, confirma que tu cliente esté agregando el encabezado HTTP “Authentication: Basic” (con las credenciales codificadas a través de HTTPS) a todas las solicitudes a la API.