Passer au contenu principal

​
Comment se préparer aux événements de données sociales à fort volume

Les grands événements nationaux et mondiaux s’accompagnent souvent de pics spectaculaires d’activité des utilisateurs sur les plateformes de médias sociaux. Parfois, ces événements sont connus à l’avance, comme le Super Bowl, les élections et les célébrations du Nouvel An dans le monde entier. D’autres fois, les pics de volume sont dus à des événements inattendus tels que des catastrophes naturelles, des événements politiques imprévus, des moments marquants de la culture populaire ou des pandémies comme la COVID-19. Ces pics d’activité des utilisateurs peuvent parfois être de très courte durée (mesurés en secondes) ou se prolonger pendant plusieurs minutes. Quelle que soit leur origine, il est important de prendre en compte l’impact qu’ils peuvent avoir sur les applications qui consomment des données depuis X. Voici quelques bonnes pratiques pour aider votre équipe à se préparer aux événements de données sociales à fort volume.

​
Passez en revue vos règles actuelles du flux filtré

  • Certains mots-clés peuvent connaître un pic lors d’événements à fort volume, comme les mentions lorsque qu’une marque sponsorise un grand événement sportif.
  • Veillez à éviter les règles inutiles ou trop génériques susceptibles de générer des volumes d’activité superflus.
  • Envisagez de communiquer avec vos clients avant les événements prévus à fort volume afin de les aider à planifier en conséquence.  

​
Soumettez votre application à des tests de résistance

Prévoyez que les pics de volume puissent atteindre 5 à 10 fois la consommation quotidienne moyenne. Selon votre jeu de règles, l’augmentation peut être bien plus élevée.

​
Comprendre les plafonds de diffusion pour les connexions

Les plafonds de flux et de diffusion dépendent du niveau d’accès. Il en résulte un volume fixe de résultats délivrés pour les streams.
  • Academic: 250 Posts/seconde
  • Enterprise: Posts/seconde défini par le niveau d’accès

​
Optimiser pour rester connecté

Avec les streams, rester connecté est essentiel pour éviter toute perte de data. Votre application cliente doit pouvoir détecter une déconnexion et inclure une logique pour retenter immédiatement la connexion, en appliquant une temporisation exponentielle (exponential backoff) si la tentative de reconnexion échoue.  

​
Ajoutez une mise en mémoire tampon intégrée de votre côté

La création d’une application multithread est une stratégie clé pour gérer des streams à fort volume. À un niveau général, une bonne pratique pour gérer des streams de données consiste à disposer d’un thread/processus distinct qui établit la connexion de streaming, puis écrit les activités JSON reçues dans une structure en mémoire ou via un lecteur de stream avec tampon. Ce thread de traitement de stream « léger » est chargé de gérer les données entrantes, qui peuvent être mises en mémoire tampon, avec une taille qui s’ajuste selon les besoins. Ensuite, un autre thread consomme ce hash et effectue le « gros du travail » : analyser le JSON, préparer les écritures en base de données ou toute autre opération nécessaire à votre application.  

​
Événements mondiaux = fuseaux horaires mondiaux

Les événements peuvent survenir en dehors des heures ouvrables ou le week-end. Veillez donc à ce que votre équipe soit prête à gérer des pics en dehors de vos horaires habituels.
⌘I