Saltar al contenido principal

​
Trabajo con cargas reanudables

Al usar los endpoints de cumplimiento por lotes, los desarrolladores pueden cargar grandes volúmenes de datos de X en lotes y determinar qué acciones se requieren para asegurarse de que sus conjuntos de datos reflejen la intención del usuario y el estado actual del contenido en X. Cargar grandes cantidades de datos en un servidor remoto es una operación relativamente sencilla cuando los sistemas y la conectividad son estables y confiables. Sin embargo, no siempre es así. Algunos entornos pueden imponer un tiempo de espera de la conexión, cortando efectivamente la comunicación entre tu App y el servidor de carga después de un periodo determinado; también puedes encontrarte con problemas de conexión, por ejemplo, al intentar cargar un archivo grande desde tu portátil a través de una conexión Wi‑Fi. En estas circunstancias, es preferible cargar porciones más pequeñas de ese archivo por vez, en lugar de mantener una única conexión continua. Los endpoints de cumplimiento por lotes de X se basan en Google Cloud Storage para procesar archivos grandes. Este tipo de almacenamiento está optimizado para varios usos; Cloud Storage admite una técnica para gestionar archivos grandes llamada cargas reanudables. Si la carga falla en algún momento, Google Cloud Storage puede reanudar la operación desde donde se interrumpió.

​
Creación de un trabajo reanudable

​
Paso uno:

Primero, deberás crear un trabajo de cumplimiento y especificar si vas a cargar ID de Post o ID de usuario (usando el parámetro type). Además, añade resumable al cuerpo y configúralo en true. Asegúrate de reemplazar $APP_ACCESS_TOKEN a continuación por tu App only Access Token. 
curl --request POST \
 'https://api.x.com/2/compliance/jobs' --header 'Authorization: Bearer $APP_ACCESS_TOKEN --header 'Content-Type: application/json' --data-raw '{
   "type": "tweets",
   "resumable": true
}'
Si la llamada a la API se realiza correctamente, recibirás una respuesta similar a la siguiente: 
{
   "data": {
       "download_expires_at": "2021-08-18T19:42:55.000Z",
       "status": "created",
       "upload_url": "https://storage.googleapis.com/twttr-tweet-compliance/1425543269983784962/submission/1202726487847104512_1425543269983784962?X-Goog-Algorithm=GOOG4-RSA-SHA256&X-Goog-Credential=complianceapi-public-svc-acct%40twttr-compliance-public-prod.iam.gserviceaccount.com%2F20210811%2Fauto%2Fstorage%2Fgoog4_request&X-Goog-Date=20210811T194255Z&X-Goog-Expires=900&X-Goog-SignedHeaders=content-type%3Bhost&X-Goog-Signature=355e4c4739ae508304d3df15b4e13e64b6c7752d8d79d73676a4d8e60dc5241f83924ad2a1f8b7bddcc768062bb9c64d39b8e8f7cce7f66ffbea9f9ed33a4da975b3a2c127fb738c1c1ff3c3964bd4d9dc0706e6c8a70e67522160ea774e090d2793e06f890d1158ce86be3031c1c471b74f961b6f18743a28730611000336286ad0111b41fb5d14aa813ff00cf06b3572dc68d0b3c6fdc07f25c1b1196c1af4325a9ead68994944bbef0d2123585ea051deb9765aa7f5832446440bc9ba76af327b69df1fd7b1a99bd4419c128f1f697dbbacbc62bbc7c2c9aebc82a2128be0ed05d48a54d814162daad1232a0d13081e9543ab8557f567149af82281193f37",
       "created_at": "2021-08-11T19:42:55.000Z",
       "resumable": false,
       "id": "1425543269983784962",
       "type": "tweets",
       "download_url": "https://storage.googleapis.com/twttr-tweet-compliance/1425543269983784962/delivery/1202726487847104512_1425543269983784962?X-Goog-Algorithm=GOOG4-RSA-SHA256&X-Goog-Credential=complianceapi-public-svc-acct%40twttr-compliance-public-prod.iam.gserviceaccount.com%2F20210811%2Fauto%2Fstorage%2Fgoog4_request&X-Goog-Date=20210811T194255Z&X-Goog-Expires=604800&X-Goog-SignedHeaders=host&X-Goog-Signature=0a11dd5a3c5adb508f32ce904568abada863dc9499ba2adeafb3452ccee0dcb3dade17910dbc502dcbe54c130ac4d8638eb176c8b7344de068139b06c970794efa6312f0a5149f40da441eafcaf475f670c93ca73951999902a531d34dfab1e5490918929e5b06ae803b5604e0c0c26852255ccdbc79a2c1e2eefe924e5e6bf5b6603a7f287d1621333b9548ec6cc203716070528bebc2e67c12e92b1f4e54471db92c15a54799f2b855ae224250ca44c47993fd7d79a4940a0f68fe09f73fc8b291e88cfd10ade860b4b35c2b964d1777c1d93cd300c313138d9ca90aa8b3ecd3bf9dc73d3ebe32ba7634228fe07e1e4ecdda57cd94c802afc520162735d5a3",
       "upload_expires_at": "2021-08-11T19:57:55.000Z"
   }
}
Toma nota del valor de upload_url; lo necesitarás en los pasos siguientes.

​
Paso dos: 

A continuación, deberá iniciar la carga reanudable. Para hacerlo, realice una llamada POST a la upload_url del paso anterior y asegúrese de incluir los siguientes encabezados: Content-Type: text/plain Content-Length: 0 x-goog-resumable: start 
curl --request POST \
'https://storage.googleapis.com/twttr-tweet-compliance/1430227686685757442/submission/1202726487847104512_1430227686685757442?X-Goog-Algorithm=GOOG4-RSA-SHA256&X-Goog-Credential=complianceapi-public-svc-acct%40twttr-compliance-public-prod.iam.gserviceaccount.com%2F20210824%2Fauto%2Fstorage%2Fgoog4_request&X-Goog-Date=20210824T175707Z&X-Goog-Expires=900&X-Goog-SignedHeaders=content-length%3Bcontent-type%3Bhost%3Bx-goog-resumable&X-Goog-Signature=890d958f9c7dcb7f238e4971b59da5afc5b8329fb197c67b5930fe0f9dfe180afe2d4bec341111809b88ccfab46ab1f81f4242abc1af7b67c6e8977c52e6d486f5f43ce6a37a7a6530d25f15e2bcd9bb54655fe4ee22b26f8886ba71b67b7b11afd1198d658d1b6f0c41260f55260a260e1be0239977feba43dce40bc0e8e6293a4a3a3f7ee0afc74d3d2f7f2d3d514f108d5887a52ac85760385e5b9bb67cd26bfcf6b1c19151ea8111e217a29407722dc0dc9ab373334e88c18159546237ec9334f9a1e33717dc82800c6a45bba82706d5aece84ecdf3fcac52b21c8a3085a639047cf2707a8b9e4c296fc7cf05edbb110f07b89e38f0f5ea77e8b313cade7' \
--header 'Content-Type: text/plain' --header \
 'Content-Length: 0' --header \
 'x-goog-resumable: start
Si esta llamada se realiza correctamente, recibirá un código de respuesta 201. Luego, en el encabezado de la respuesta, copie el valor del encabezado Location, que se verá algo como esto: 
https://storage.googleapis.com/twttr-tweet-compliance/1430227686685757442/submission/1202726487847104512_1430227686685757442?X-Goog-Algorithm=GOOG4-RSA-SHA256&X-Goog-Credential=complianceapi-public-svc-acct%40twttr-compliance-public-prod.iam.gserviceaccount.com%2F20210824%2Fauto%2Fstorage%2Fgoog4_request&X-Goog-Date=20210824T175707Z&X-Goog-Expires=900&X-Goog-SignedHeaders=content-length%3Bcontent-type%3Bhost%3Bx-goog-resumable&X-Goog-Signature=890d958f9c7dcb7f238e4971b59da5afc5b8329fb197c67b5930fe0f9dfe180afe2d4bec341111809b88ccfab46ab1f81f4242abc1af7b67c6e8977c52e6d486f5f43ce6a37a7a6530d25f15e2bcd9bb54655fe4ee22b26f8886ba71b67b7b11afd1198d658d1b6f0c41260f55260a260e1be0239977feba43dce40bc0e8e6293a4a3a3f7ee0afc74d3d2f7f2d3d514f108d5887a52ac85760385e5b9bb67cd26bfcf6b1c19151ea8111e217a29407722dc0dc9ab373334e88c18159546237ec9334f9a1e33717dc82800c6a45bba82706d5aece84ecdf3fcac52b21c8a3085a639047cf2707a8b9e4c296fc7cf05edbb110f07b89e38f0f5ea77e8b313cade7&upload_id=ADPycds-_Ow7aqcpbG4XguXSVAgd_2fy-XiDA2qm-It9PCwBlZhF4e2bfOAQzEmRJ4T_l6jU6LfYdfrKa_KlFFBOyx3PjYzrxQ
Luego puedes subir tus IDs de Post o de User a esta ubicación siguiendo desde el paso dos en adelante, en la Guía rápida. Debido a su complejidad técnica, las cargas reanudables se recomiendan en conjunto con código. Esta guía usará Node.js con la biblioteca de solicitudes needle.

​
Instala las dependencias

Antes de continuar, debes tener instalado un entorno de Node.js; puedes obtener Node.js desde su sitio web. Una vez instalado, Node.js incluye una utilidad llamada npm; asegúrate de que tanto Node como npm estén instalados ejecutando el siguiente comando y verifica que no arroje errores. $ npm -v 6.4.1 Un número de versión similar a este indica que tu entorno está listo (ten en cuenta que tu número de versión puede diferir). Usaremos npm para instalar la biblioteca de carga. Ejecuta este comando: $ npm install -g needle Todo listo; no se requiere configuración adicional.

​
Solicitar un destino reanudable

Al crear un nuevo job, establezca el parámetro resumable en true para obtener un destino que admita una carga reanudable. En el payload de la respuesta, recibirá un valor upload_url. 
"upload_url":\
"https://storage.googleapis.com/compliance_tweet_ids/customer_test_object_12950882_GlYjiE?X-Goog-Algorithm=GOOG4-RSA-SHA256&X-Goog-Credential=193969463581-compute%40developer.gserviceaccount.com%2F20200618%2Fauto%2Fstorage%2Fgoog4_request&X-Goog-Date=20200618T184154Z&X-Goog-Expires=900&X-Goog-SignedHeaders=content-type%3Bhost&X-Goog-Signature=b7bdcf32479b08715be91ed47b06471b8acdcdb319f8e4f423bf3a3056dfa03ed83e47446f33338e292967a15c08fa5ba34395edaf057a2ac975b88e710ca994adb023a9e1673a7c58ce2fa0d73537f72812af78e92b708dfe6b907a7d75bd0f6cfa61fec867e80ac83ced0725d1ee59787c9dbca50d41f7b0f513dad63a7564136b1a70042a2ec6ba6b697cbe480a4405362f7a08255a5e8205aa7baa562f99e6a092f0420f33d67ffaeb132f877fbaf16c969630b5f173e8a3f31c473707241fa4e28f4bed13fb2ea01d3af1c449321a2e6ee9ec1e331b447cabcfc6f9d1f99f564d180f0cc1d28ea54972c996102c67c6501c6c16a00c13d17756f960e0e1"

​
Prepare el código para cargar un archivo

De forma predeterminada, la biblioteca creará un nuevo destino de carga al recibir una ubicación de carga (llamada bucket) y el nombre del archivo que desea cargar. Dado que los endpoints de cumplimiento por lotes crean su propio destino, debemos indicarle a la biblioteca que ya contamos con una ubicación lista para aceptar nuestra carga. Debemos pasar este valor a la biblioteca de carga, junto con el nombre del archivo que contiene los datos que se cargarán. Cree un archivo y asígnele el nombre twitter-upload.js. Agregue el siguiente código: 
const needle = require('needle');
const fs = require('fs');
const path = require('path');

const [, scriptName, filename, uploadURL] = process.argv;
if (!filename || !uploadURL) {
  console.error(`Uso: node ${path.basename(scriptName)} nombre_archivo url_subida`);
  process.exit(-1);
}

async function uploadFile(file, url) {
  // rangeEnd es el índice del último byte en el archivo, es decir, número de bytes en el archivo
  const rangeEnd = (await fs.promises.stat(file)).size;

  let options = {
    headers: {
      'Content-Range': `bytes */${rangeEnd}`,
    },
  };

  const response = await needle('put', url, null, options);

  switch (response.statusCode) {
    case 200:
    case 201:
      console.log('Subida completada');
      return;
    case 308:
      return resumeUpload(response, file, url);
    default:
      console.log('Se obtuvo un código de respuesta inesperado: ', response.statusCode);
      return;
  }
}

async function resumeUpload(response, file, url) {
  console.log('Subida no completada, reanudando');
  if (response.headers.range) {
    let resumeOffset = Number(response.headers.range.split('-')[1]) + 1;

    let options = {
      headers: {
        'Content-Range': `bytes ${resumeOffset}-${rangeEnd-1}/${rangeEnd}`,
        'Content-Length': `${rangeEnd-resumeOffset}`,
      },
    };

    let readStream = fs.createReadStream(file, {start: resumeOffset});
    return needle('put', url, readStream, options);
  } else {
    console.log('Iniciando subida');
    let options = {
      headers: {
        'Content-Type': 'text/plain'
      }
    };

    let readStream = fs.createReadStream(file);
    return needle('put', url, readStream, options);
  }
}

// Solicitar URL de sesión reanudable
async function requestResumableSession(url) {
  const options = {
    headers: {
      'Content-Type': 'text/plain',
      'Content-Length': '0',
      'x-goog-resumable': 'start',
    },
  };

  const res = await needle('post', url, null, options);
  if (res.statusCode === 201) {
    const resumableSessionURL = res.headers['location'];
    console.log('Iniciando subida a: ', resumableSessionURL);

    await uploadFile(filename, resumableSessionURL);
  } else {
    console.log('Error al crear URI de sesión reanudable');
  }

}

requestResumableSession(uploadURL).then(result => console.log('Subida completada'));
Guarde el archivo donde resulte más adecuado. A continuación, en su línea de comandos, ejecute el script y pase dos parámetros:
  1. El primero será la ruta del archivo (con los Post o los User IDs) que desea cargar.
  2. El segundo será la URL de carga que recibimos en la respuesta del endpoint de compliance.
Asegúrese de que la URL esté entre comillas dobles y haga lo mismo con el nombre del archivo si contiene espacios u otros caracteres: 
node twitter-upload.js compliance_upload.txt\
"https://storage.googleapis.com/compliance_tweet_ids/customer_test_object_12950882_GlYjiE?X-Goog-Algorithm=GOOG4-RSA-SHA256&X-Goog-Credential=193969463581-compute%40developer.gserviceaccount.com%2F20200618%2Fauto%2Fstorage%2Fgoog4_request&X-Goog-Date=20200618T184154Z&X-Goog-Expires=900&X-Goog-SignedHeaders=content-type%3Bhost&X-Goog-Signature=b7bdcf32479b08715be91ed47b06471b8acdcdb319f8e4f423bf3a3056dfa03ed83e47446f33338e292967a15c08fa5ba34395edaf057a2ac975b88e710ca994adb023a9e1673a7c58ce2fa0d73537f72812af78e92b708dfe6b907a7d75bd0f6cfa61fec867e80ac83ced0725d1ee59787c9dbca50d41f7b0f513dad63a7564136b1a70042a2ec6ba6b697cbe480a4405362f7a08255a5e8205aa7baa562f99e6a092f0420f33d67ffaeb132f877fbaf16c969630b5f173e8a3f31c473707241fa4e28f4bed13fb2ea01d3af1c449321a2e6ee9ec1e331b447cabcfc6f9d1f99f564d180f0cc1d28ea54972c996102c67c6501c6c16a00c13d17756f960e0e1"
Verás una salida similar a la siguiente: Starting upload to: https://storage.googleapis.com/twttr-tweet-compliance/<redacted> Upload not completed, resuming Initiating upload Puedes pausar la carga en cualquier momento presionando Ctrl + C o cerrando la terminal. Podrás reanudar la carga desde donde la dejaste al ejecutar el mismo comando más adelante. Una vez que el archivo se haya cargado por completo, verás el siguiente mensaje: Upload complete En este punto, podrás usar el endpoint de estado de cumplimiento para consultar el estado de tu tarea de cumplimiento y descargar el resultado de cumplimiento cuando esté listo.
⌘I