Saltar al contenido principal

Trabajar con cargas reanudables

Al usar los endpoints de Batch compliance, los desarrolladores pueden cargar por lotes grandes volúmenes de datos de X y determinar qué acciones se requieren para que sus conjuntos de datos reflejen la intención del usuario y el estado actual del contenido en X. Cargar grandes cantidades de datos en un servidor remoto es una operación relativamente sencilla cuando los sistemas y la conectividad son estables y confiables. Sin embargo, no siempre es así. Algunos entornos pueden imponer un tiempo de espera de la conexión, lo que corta la conexión entre tu App y el servidor de carga después de un periodo determinado; también puedes tener problemas de conexión, por ejemplo, al intentar cargar un archivo grande desde tu portátil mediante una conexión wifi. En estas circunstancias, es preferible cargar porciones más pequeñas de ese archivo a la vez, en lugar de mantener una única conexión continua. Los endpoints de Batch compliance de X se basan en Google Cloud Storage para procesar archivos grandes. Este tipo de almacenamiento está optimizado para diversas aplicaciones; Cloud Storage admite una técnica para gestionar archivos grandes llamada cargas reanudables. Si la carga falla en algún momento, Google Cloud Storage puede reanudar la operación desde donde se interrumpió.

Creación de un trabajo reanudable

Paso uno:

Primero, deberás crear un job de cumplimiento y especificar si cargarás IDs de Post o IDs de usuario (usando el parámetro type). Además, añade resumable en el body y configúralo en true. Asegúrate de reemplazar $APP_ACCESS_TOKEN por tu App-only Access Token.
curl --request POST \
 'https://api.x.com/2/compliance/jobs' --header 'Authorization: Bearer $APP_ACCESS_TOKEN --header 'Content-Type: application/json' --data-raw '{
   "type": "tweets",
   "resumable": true
}'
Si la llamada a la API se realiza correctamente, recibirás una respuesta similar a la siguiente:
{
   "data": {
       "download_expires_at": "2021-08-18T19:42:55.000Z",
       "status": "created",
       "upload_url": "https://storage.googleapis.com/twttr-tweet-compliance/1425543269983784962/submission/1202726487847104512_1425543269983784962?X-Goog-Algorithm=GOOG4-RSA-SHA256&X-Goog-Credential=complianceapi-public-svc-acct%40twttr-compliance-public-prod.iam.gserviceaccount.com%2F20210811%2Fauto%2Fstorage%2Fgoog4_request&X-Goog-Date=20210811T194255Z&X-Goog-Expires=900&X-Goog-SignedHeaders=content-type%3Bhost&X-Goog-Signature=355e4c4739ae508304d3df15b4e13e64b6c7752d8d79d73676a4d8e60dc5241f83924ad2a1f8b7bddcc768062bb9c64d39b8e8f7cce7f66ffbea9f9ed33a4da975b3a2c127fb738c1c1ff3c3964bd4d9dc0706e6c8a70e67522160ea774e090d2793e06f890d1158ce86be3031c1c471b74f961b6f18743a28730611000336286ad0111b41fb5d14aa813ff00cf06b3572dc68d0b3c6fdc07f25c1b1196c1af4325a9ead68994944bbef0d2123585ea051deb9765aa7f5832446440bc9ba76af327b69df1fd7b1a99bd4419c128f1f697dbbacbc62bbc7c2c9aebc82a2128be0ed05d48a54d814162daad1232a0d13081e9543ab8557f567149af82281193f37",
       "created_at": "2021-08-11T19:42:55.000Z",
       "resumable": false,
       "id": "1425543269983784962",
       "type": "tweets",
       "download_url": "https://storage.googleapis.com/twttr-tweet-compliance/1425543269983784962/delivery/1202726487847104512_1425543269983784962?X-Goog-Algorithm=GOOG4-RSA-SHA256&X-Goog-Credential=complianceapi-public-svc-acct%40twttr-compliance-public-prod.iam.gserviceaccount.com%2F20210811%2Fauto%2Fstorage%2Fgoog4_request&X-Goog-Date=20210811T194255Z&X-Goog-Expires=604800&X-Goog-SignedHeaders=host&X-Goog-Signature=0a11dd5a3c5adb508f32ce904568abada863dc9499ba2adeafb3452ccee0dcb3dade17910dbc502dcbe54c130ac4d8638eb176c8b7344de068139b06c970794efa6312f0a5149f40da441eafcaf475f670c93ca73951999902a531d34dfab1e5490918929e5b06ae803b5604e0c0c26852255ccdbc79a2c1e2eefe924e5e6bf5b6603a7f287d1621333b9548ec6cc203716070528bebc2e67c12e92b1f4e54471db92c15a54799f2b855ae224250ca44c47993fd7d79a4940a0f68fe09f73fc8b291e88cfd10ade860b4b35c2b964d1777c1d93cd300c313138d9ca90aa8b3ecd3bf9dc73d3ebe32ba7634228fe07e1e4ecdda57cd94c802afc520162735d5a3",
       "upload_expires_at": "2021-08-11T19:57:55.000Z"
   }
}
Toma nota del valor de upload_url; lo necesitarás en los siguientes pasos.

Paso dos: 

A continuación, debes iniciar la carga reanudable. Para ello, realiza una llamada POST al upload_url del paso anterior y asegúrate de incluir los siguientes encabezados: Content-Type: text/plain Content-Length: 0 x-goog-resumable: start
curl --request POST \
'https://storage.googleapis.com/twttr-tweet-compliance/1430227686685757442/submission/1202726487847104512_1430227686685757442?X-Goog-Algorithm=GOOG4-RSA-SHA256&X-Goog-Credential=complianceapi-public-svc-acct%40twttr-compliance-public-prod.iam.gserviceaccount.com%2F20210824%2Fauto%2Fstorage%2Fgoog4_request&X-Goog-Date=20210824T175707Z&X-Goog-Expires=900&X-Goog-SignedHeaders=content-length%3Bcontent-type%3Bhost%3Bx-goog-resumable&X-Goog-Signature=890d958f9c7dcb7f238e4971b59da5afc5b8329fb197c67b5930fe0f9dfe180afe2d4bec341111809b88ccfab46ab1f81f4242abc1af7b67c6e8977c52e6d486f5f43ce6a37a7a6530d25f15e2bcd9bb54655fe4ee22b26f8886ba71b67b7b11afd1198d658d1b6f0c41260f55260a260e1be0239977feba43dce40bc0e8e6293a4a3a3f7ee0afc74d3d2f7f2d3d514f108d5887a52ac85760385e5b9bb67cd26bfcf6b1c19151ea8111e217a29407722dc0dc9ab373334e88c18159546237ec9334f9a1e33717dc82800c6a45bba82706d5aece84ecdf3fcac52b21c8a3085a639047cf2707a8b9e4c296fc7cf05edbb110f07b89e38f0f5ea77e8b313cade7' \
--header 'Content-Type: text/plain' --header \
 'Content-Length: 0' --header \
 'x-goog-resumable: start
Si esta llamada se realiza correctamente, recibirás un código de respuesta 201. Luego, en el encabezado de la respuesta, copia el valor del encabezado Location, que tendrá un aspecto similar a este:
https://storage.googleapis.com/twttr-tweet-compliance/1430227686685757442/submission/1202726487847104512_1430227686685757442?X-Goog-Algorithm=GOOG4-RSA-SHA256&X-Goog-Credential=complianceapi-public-svc-acct%40twttr-compliance-public-prod.iam.gserviceaccount.com%2F20210824%2Fauto%2Fstorage%2Fgoog4_request&X-Goog-Date=20210824T175707Z&X-Goog-Expires=900&X-Goog-SignedHeaders=content-length%3Bcontent-type%3Bhost%3Bx-goog-resumable&X-Goog-Signature=890d958f9c7dcb7f238e4971b59da5afc5b8329fb197c67b5930fe0f9dfe180afe2d4bec341111809b88ccfab46ab1f81f4242abc1af7b67c6e8977c52e6d486f5f43ce6a37a7a6530d25f15e2bcd9bb54655fe4ee22b26f8886ba71b67b7b11afd1198d658d1b6f0c41260f55260a260e1be0239977feba43dce40bc0e8e6293a4a3a3f7ee0afc74d3d2f7f2d3d514f108d5887a52ac85760385e5b9bb67cd26bfcf6b1c19151ea8111e217a29407722dc0dc9ab373334e88c18159546237ec9334f9a1e33717dc82800c6a45bba82706d5aece84ecdf3fcac52b21c8a3085a639047cf2707a8b9e4c296fc7cf05edbb110f07b89e38f0f5ea77e8b313cade7&upload_id=ADPycds-_Ow7aqcpbG4XguXSVAgd_2fy-XiDA2qm-It9PCwBlZhF4e2bfOAQzEmRJ4T_l6jU6LfYdfrKa_KlFFBOyx3PjYzrxQ
A continuación, puedes subir los IDs de Post o User a esta ubicación a partir del paso dos, de la guía de inicio rápido. Debido a su complejidad técnica, lo ideal es usar las cargas reanudables junto con código. En esta guía se usará Node.js con la biblioteca de solicitudes needle.

Instala las dependencias

Antes de continuar, debes tener un entorno de Node.js instalado; puedes obtener Node.js desde su sitio web. Una vez instalado, Node.js incluirá una utilidad llamada npm; asegúrate de que tanto Node como npm estén instalados ejecutando el siguiente comando y verifica que no genere un error. $ npm -v 6.4.1 Un número de versión similar a este indica que tu entorno está listo (ten en cuenta que tu número de versión puede variar). Usaremos npm para instalar la biblioteca de subida. Ejecuta este comando: $ npm install -g needle Listo; no se requiere configuración adicional.

Solicita un destino reanudable

Al crear un nuevo trabajo, establece el parámetro resumable en true para obtener un destino que admita cargas reanudables. En el cuerpo de la respuesta, recibirás un valor upload_url.
"upload_url":\
"https://storage.googleapis.com/compliance_tweet_ids/customer_test_object_12950882_GlYjiE?X-Goog-Algorithm=GOOG4-RSA-SHA256&X-Goog-Credential=193969463581-compute%40developer.gserviceaccount.com%2F20200618%2Fauto%2Fstorage%2Fgoog4_request&X-Goog-Date=20200618T184154Z&X-Goog-Expires=900&X-Goog-SignedHeaders=content-type%3Bhost&X-Goog-Signature=b7bdcf32479b08715be91ed47b06471b8acdcdb319f8e4f423bf3a3056dfa03ed83e47446f33338e292967a15c08fa5ba34395edaf057a2ac975b88e710ca994adb023a9e1673a7c58ce2fa0d73537f72812af78e92b708dfe6b907a7d75bd0f6cfa61fec867e80ac83ced0725d1ee59787c9dbca50d41f7b0f513dad63a7564136b1a70042a2ec6ba6b697cbe480a4405362f7a08255a5e8205aa7baa562f99e6a092f0420f33d67ffaeb132f877fbaf16c969630b5f173e8a3f31c473707241fa4e28f4bed13fb2ea01d3af1c449321a2e6ee9ec1e331b447cabcfc6f9d1f99f564d180f0cc1d28ea54972c996102c67c6501c6c16a00c13d17756f960e0e1"

Preparar el código para subir un archivo

De forma predeterminada, la biblioteca creará un nuevo destino de carga a partir de una ubicación de carga (llamada bucket) y el nombre del archivo que deseas subir. Como los endpoints de cumplimiento por lotes crean su propio destino, debemos indicarle a la biblioteca que ya contamos con una ubicación lista para recibir la carga. Debemos pasar este valor a la biblioteca de carga, junto con el nombre del archivo que contiene los datos que se van a subir. Crea un archivo y llámalo twitter-upload.js. Agrega el siguiente código:
const needle = require('needle');
const fs = require('fs');
const path = require('path');

const [, scriptName, filename, uploadURL] = process.argv;
if (!filename || !uploadURL) {
  console.error(`Uso: node ${path.basename(scriptName)} nombre_archivo url_carga`);
  process.exit(-1);
}

async function uploadFile(file, url) {
  // rangeEnd es el índice del último byte del archivo, es decir, el número de bytes del archivo
  const rangeEnd = (await fs.promises.stat(file)).size;

  let options = {
    headers: {
      'Content-Range': `bytes */${rangeEnd}`,
    },
  };

  const response = await needle('put', url, null, options);

  switch (response.statusCode) {
    case 200:
    case 201:
      console.log('Carga completada');
      return;
    case 308:
      return resumeUpload(response, file, url);
    default:
      console.log('Se recibió un código de respuesta inesperado: ', response.statusCode);
      return;
  }
}

async function resumeUpload(response, file, url) {
  console.log('Carga no completada, reanudando');
  if (response.headers.range) {
    let resumeOffset = Number(response.headers.range.split('-')[1]) + 1;

    let options = {
      headers: {
        'Content-Range': `bytes ${resumeOffset}-${rangeEnd-1}/${rangeEnd}`,
        'Content-Length': `${rangeEnd-resumeOffset}`,
      },
    };

    let readStream = fs.createReadStream(file, {start: resumeOffset});
    return needle('put', url, readStream, options);
  } else {
    console.log('Iniciando carga');
    let options = {
      headers: {
        'Content-Type': 'text/plain'
      }
    };

    let readStream = fs.createReadStream(file);
    return needle('put', url, readStream, options);
  }
}

// Solicitar URL de sesión reanudable
async function requestResumableSession(url) {
  const options = {
    headers: {
      'Content-Type': 'text/plain',
      'Content-Length': '0',
      'x-goog-resumable': 'start',
    },
  };

  const res = await needle('post', url, null, options);
  if (res.statusCode === 201) {
    const resumableSessionURL = res.headers['location'];
    console.log('Iniciando carga en: ', resumableSessionURL);

    await uploadFile(filename, resumableSessionURL);
  } else {
    console.log('No se pudo crear la URI de sesión reanudable');
  }

}

requestResumableSession(uploadURL).then(result => console.log('Carga completada'));
Guarda el archivo donde tenga más sentido. Luego, en la línea de comandos, ejecuta el script y proporciona dos parámetros:
  1. El primero será la ubicación del archivo (con los id de Post o de User) que deseas subir.
  2. El segundo será la URL de carga que recibimos en la respuesta del endpoint de cumplimiento.
Asegúrate de que la URL esté entre comillas dobles y haz lo mismo con el nombre del archivo si contiene espacios u otros caracteres:
node twitter-upload.js compliance_upload.txt\
"https://storage.googleapis.com/compliance_tweet_ids/customer_test_object_12950882_GlYjiE?X-Goog-Algorithm=GOOG4-RSA-SHA256&X-Goog-Credential=193969463581-compute%40developer.gserviceaccount.com%2F20200618%2Fauto%2Fstorage%2Fgoog4_request&X-Goog-Date=20200618T184154Z&X-Goog-Expires=900&X-Goog-SignedHeaders=content-type%3Bhost&X-Goog-Signature=b7bdcf32479b08715be91ed47b06471b8acdcdb319f8e4f423bf3a3056dfa03ed83e47446f33338e292967a15c08fa5ba34395edaf057a2ac975b88e710ca994adb023a9e1673a7c58ce2fa0d73537f72812af78e92b708dfe6b907a7d75bd0f6cfa61fec867e80ac83ced0725d1ee59787c9dbca50d41f7b0f513dad63a7564136b1a70042a2ec6ba6b697cbe480a4405362f7a08255a5e8205aa7baa562f99e6a092f0420f33d67ffaeb132f877fbaf16c969630b5f173e8a3f31c473707241fa4e28f4bed13fb2ea01d3af1c449321a2e6ee9ec1e331b447cabcfc6f9d1f99f564d180f0cc1d28ea54972c996102c67c6501c6c16a00c13d17756f960e0e1"
Verás una salida similar a esta: Starting upload to: https://storage.googleapis.com/twttr-tweet-compliance/<redacted> Upload not completed, resuming Initiating upload Puedes pausar la carga en cualquier momento presionando Ctrl + C o cerrando la terminal. Podrás reanudarla desde donde la dejaste cuando ejecutes el mismo comando más adelante. Una vez que el archivo se haya cargado por completo, verás el siguiente mensaje: Upload complete En este punto, podrás usar el endpoint de estado de cumplimiento para comprobar el estado de tu tarea de cumplimiento y descargar el resultado cuando esté listo.