Pular para o conteúdo principal

​
Trabalhando com uploads retomáveis

Ao usar os endpoints de conformidade em lote, desenvolvedores podem enviar em lote grandes volumes de dados do X e entender quais ações são necessárias para garantir que seus conjuntos de dados reflitam a intenção dos usuários e o estado atual do conteúdo no X. Enviar grandes volumes de dados para um servidor remoto é uma operação relativamente simples quando os sistemas e a conectividade são estáveis e confiáveis. No entanto, isso nem sempre é o caso. Alguns ambientes podem impor um tempo limite de conexão, efetivamente encerrando a conexão entre sua App e o servidor de upload após um período definido; você também pode enfrentar problemas de conexão, por exemplo, ao tentar enviar um arquivo grande do seu laptop por uma conexão wi‑fi. Nessas circunstâncias, é preferível enviar partes menores desse arquivo por vez, em vez de manter uma única conexão contínua. Os endpoints de conformidade em lote do X contam com o Google Cloud Storage para processar arquivos grandes. Esse tipo de armazenamento é otimizado para várias aplicações; o Cloud Storage oferece suporte a uma técnica para gerenciar arquivos grandes chamada upload retomável. Se o upload falhar em qualquer ponto, o Google Cloud Storage consegue retomar a operação de onde parou.

​
Criando um trabalho retomável

​
Etapa um:

Primeiro, você precisará criar um job de conformidade e especificar se fará upload de IDs de Post ou IDs de usuário (usando o parâmetro type). Além disso, adicione resumable ao corpo e defina-o como true. Certifique-se de substituir $APP_ACCESS_TOKEN abaixo pelo seu App only Access Token. 
curl --request POST \
 'https://api.x.com/2/compliance/jobs' --header 'Authorization: Bearer $APP_ACCESS_TOKEN --header 'Content-Type: application/json' --data-raw '{
   "type": "tweets",
   "resumable": true
}'
Se sua chamada à API for bem-sucedida, você receberá uma resposta semelhante à seguinte: 
{
   "data": {
       "download_expires_at": "2021-08-18T19:42:55.000Z",
       "status": "created",
       "upload_url": "https://storage.googleapis.com/twttr-tweet-compliance/1425543269983784962/submission/1202726487847104512_1425543269983784962?X-Goog-Algorithm=GOOG4-RSA-SHA256&X-Goog-Credential=complianceapi-public-svc-acct%40twttr-compliance-public-prod.iam.gserviceaccount.com%2F20210811%2Fauto%2Fstorage%2Fgoog4_request&X-Goog-Date=20210811T194255Z&X-Goog-Expires=900&X-Goog-SignedHeaders=content-type%3Bhost&X-Goog-Signature=355e4c4739ae508304d3df15b4e13e64b6c7752d8d79d73676a4d8e60dc5241f83924ad2a1f8b7bddcc768062bb9c64d39b8e8f7cce7f66ffbea9f9ed33a4da975b3a2c127fb738c1c1ff3c3964bd4d9dc0706e6c8a70e67522160ea774e090d2793e06f890d1158ce86be3031c1c471b74f961b6f18743a28730611000336286ad0111b41fb5d14aa813ff00cf06b3572dc68d0b3c6fdc07f25c1b1196c1af4325a9ead68994944bbef0d2123585ea051deb9765aa7f5832446440bc9ba76af327b69df1fd7b1a99bd4419c128f1f697dbbacbc62bbc7c2c9aebc82a2128be0ed05d48a54d814162daad1232a0d13081e9543ab8557f567149af82281193f37",
       "created_at": "2021-08-11T19:42:55.000Z",
       "resumable": false,
       "id": "1425543269983784962",
       "type": "tweets",
       "download_url": "https://storage.googleapis.com/twttr-tweet-compliance/1425543269983784962/delivery/1202726487847104512_1425543269983784962?X-Goog-Algorithm=GOOG4-RSA-SHA256&X-Goog-Credential=complianceapi-public-svc-acct%40twttr-compliance-public-prod.iam.gserviceaccount.com%2F20210811%2Fauto%2Fstorage%2Fgoog4_request&X-Goog-Date=20210811T194255Z&X-Goog-Expires=604800&X-Goog-SignedHeaders=host&X-Goog-Signature=0a11dd5a3c5adb508f32ce904568abada863dc9499ba2adeafb3452ccee0dcb3dade17910dbc502dcbe54c130ac4d8638eb176c8b7344de068139b06c970794efa6312f0a5149f40da441eafcaf475f670c93ca73951999902a531d34dfab1e5490918929e5b06ae803b5604e0c0c26852255ccdbc79a2c1e2eefe924e5e6bf5b6603a7f287d1621333b9548ec6cc203716070528bebc2e67c12e92b1f4e54471db92c15a54799f2b855ae224250ca44c47993fd7d79a4940a0f68fe09f73fc8b291e88cfd10ade860b4b35c2b964d1777c1d93cd300c313138d9ca90aa8b3ecd3bf9dc73d3ebe32ba7634228fe07e1e4ecdda57cd94c802afc520162735d5a3",
       "upload_expires_at": "2021-08-11T19:57:55.000Z"
   }
}
Anote o valor de upload_url; você precisará dele nas próximas etapas.

​
Etapa dois: 

Em seguida, você precisará iniciar o upload retomável. Para isso, faça uma chamada POST para o upload_url da etapa anterior e certifique-se de incluir os seguintes cabeçalhos: Content-Type: text/plain Content-Length: 0 x-goog-resumable: start 
curl --request POST \
'https://storage.googleapis.com/twttr-tweet-compliance/1430227686685757442/submission/1202726487847104512_1430227686685757442?X-Goog-Algorithm=GOOG4-RSA-SHA256&X-Goog-Credential=complianceapi-public-svc-acct%40twttr-compliance-public-prod.iam.gserviceaccount.com%2F20210824%2Fauto%2Fstorage%2Fgoog4_request&X-Goog-Date=20210824T175707Z&X-Goog-Expires=900&X-Goog-SignedHeaders=content-length%3Bcontent-type%3Bhost%3Bx-goog-resumable&X-Goog-Signature=890d958f9c7dcb7f238e4971b59da5afc5b8329fb197c67b5930fe0f9dfe180afe2d4bec341111809b88ccfab46ab1f81f4242abc1af7b67c6e8977c52e6d486f5f43ce6a37a7a6530d25f15e2bcd9bb54655fe4ee22b26f8886ba71b67b7b11afd1198d658d1b6f0c41260f55260a260e1be0239977feba43dce40bc0e8e6293a4a3a3f7ee0afc74d3d2f7f2d3d514f108d5887a52ac85760385e5b9bb67cd26bfcf6b1c19151ea8111e217a29407722dc0dc9ab373334e88c18159546237ec9334f9a1e33717dc82800c6a45bba82706d5aece84ecdf3fcac52b21c8a3085a639047cf2707a8b9e4c296fc7cf05edbb110f07b89e38f0f5ea77e8b313cade7' \
--header 'Content-Type: text/plain' --header \
 'Content-Length: 0' --header \
 'x-goog-resumable: start
Se essa chamada for bem-sucedida, você receberá um código de resposta 201. Em seguida, no cabeçalho da resposta, copie o valor do cabeçalho Location, que terá um formato semelhante a este: 
https://storage.googleapis.com/twttr-tweet-compliance/1430227686685757442/submission/1202726487847104512_1430227686685757442?X-Goog-Algorithm=GOOG4-RSA-SHA256&X-Goog-Credential=complianceapi-public-svc-acct%40twttr-compliance-public-prod.iam.gserviceaccount.com%2F20210824%2Fauto%2Fstorage%2Fgoog4_request&X-Goog-Date=20210824T175707Z&X-Goog-Expires=900&X-Goog-SignedHeaders=content-length%3Bcontent-type%3Bhost%3Bx-goog-resumable&X-Goog-Signature=890d958f9c7dcb7f238e4971b59da5afc5b8329fb197c67b5930fe0f9dfe180afe2d4bec341111809b88ccfab46ab1f81f4242abc1af7b67c6e8977c52e6d486f5f43ce6a37a7a6530d25f15e2bcd9bb54655fe4ee22b26f8886ba71b67b7b11afd1198d658d1b6f0c41260f55260a260e1be0239977feba43dce40bc0e8e6293a4a3a3f7ee0afc74d3d2f7f2d3d514f108d5887a52ac85760385e5b9bb67cd26bfcf6b1c19151ea8111e217a29407722dc0dc9ab373334e88c18159546237ec9334f9a1e33717dc82800c6a45bba82706d5aece84ecdf3fcac52b21c8a3085a639047cf2707a8b9e4c296fc7cf05edbb110f07b89e38f0f5ea77e8b313cade7&upload_id=ADPycds-_Ow7aqcpbG4XguXSVAgd_2fy-XiDA2qm-It9PCwBlZhF4e2bfOAQzEmRJ4T_l6jU6LfYdfrKa_KlFFBOyx3PjYzrxQ
Você pode então enviar seus IDs de Post ou de Usuário para este local a partir da etapa dois, no guia de Introdução rápida. Devido à sua complexidade técnica, uploads retomáveis são mais adequados quando usados junto com código. Este guia usará Node.js com a biblioteca de requisições needle.

​
Instale as dependências

Antes de prosseguir, é necessário ter um ambiente Node.js instalado; você pode obter o Node.js no site oficial. Após a instalação, o Node.js incluirá um utilitário chamado npm. Verifique se tanto o Node quanto o npm estão instalados executando o comando a seguir e certifique-se de que ele não resulte em erro. $ npm -v 6.4.1 Um número de versão semelhante a esse indica que seu ambiente está pronto (observe que seu número de versão pode variar). Usaremos o npm para instalar a biblioteca de upload. Execute este comando: $ npm install -g needle Pronto; nenhuma configuração adicional é necessária.

​
Solicitar um destino com retomada

Ao criar um novo job, defina o parâmetro resumable como true para obter um destino que ofereça suporte a upload com retomada. No payload da resposta, você receberá um valor em upload_url. 
"upload_url":\
"https://storage.googleapis.com/compliance_tweet_ids/customer_test_object_12950882_GlYjiE?X-Goog-Algorithm=GOOG4-RSA-SHA256&X-Goog-Credential=193969463581-compute%40developer.gserviceaccount.com%2F20200618%2Fauto%2Fstorage%2Fgoog4_request&X-Goog-Date=20200618T184154Z&X-Goog-Expires=900&X-Goog-SignedHeaders=content-type%3Bhost&X-Goog-Signature=b7bdcf32479b08715be91ed47b06471b8acdcdb319f8e4f423bf3a3056dfa03ed83e47446f33338e292967a15c08fa5ba34395edaf057a2ac975b88e710ca994adb023a9e1673a7c58ce2fa0d73537f72812af78e92b708dfe6b907a7d75bd0f6cfa61fec867e80ac83ced0725d1ee59787c9dbca50d41f7b0f513dad63a7564136b1a70042a2ec6ba6b697cbe480a4405362f7a08255a5e8205aa7baa562f99e6a092f0420f33d67ffaeb132f877fbaf16c969630b5f173e8a3f31c473707241fa4e28f4bed13fb2ea01d3af1c449321a2e6ee9ec1e331b447cabcfc6f9d1f99f564d180f0cc1d28ea54972c996102c67c6501c6c16a00c13d17756f960e0e1"

​
Prepare o código para enviar um arquivo

Por padrão, a biblioteca criará um novo destino de upload ao receber um local de upload (chamado bucket) e o nome do arquivo que você deseja enviar. Como os endpoints de conformidade em lote criam seu próprio destino, precisamos informar à biblioteca que já temos um local pronto para receber nosso upload. Precisamos passar esse valor para a biblioteca de upload, juntamente com o nome do arquivo que contém os data a serem enviados. Crie um arquivo chamado twitter-upload.js. Adicione o seguinte código: 
const needle = require('needle');
const fs = require('fs');
const path = require('path');

const [, scriptName, filename, uploadURL] = process.argv;
if (!filename || !uploadURL) {
  console.error(`Uso: node ${path.basename(scriptName)} nome_do_arquivo url_de_upload`);
  process.exit(-1);
}

async function uploadFile(file, url) {
  // rangeEnd é o índice do último byte no arquivo, ou seja, número de bytes no arquivo
  const rangeEnd = (await fs.promises.stat(file)).size;

  let options = {
    headers: {
      'Content-Range': `bytes */${rangeEnd}`,
    },
  };

  const response = await needle('put', url, null, options);

  switch (response.statusCode) {
    case 200:
    case 201:
      console.log('Upload concluído');
      return;
    case 308:
      return resumeUpload(response, file, url);
    default:
      console.log('Código de resposta inesperado: ', response.statusCode);
      return;
  }
}

async function resumeUpload(response, file, url) {
  console.log('Upload não concluído, retomando');
  if (response.headers.range) {
    let resumeOffset = Number(response.headers.range.split('-')[1]) + 1;

    let options = {
      headers: {
        'Content-Range': `bytes ${resumeOffset}-${rangeEnd-1}/${rangeEnd}`,
        'Content-Length': `${rangeEnd-resumeOffset}`,
      },
    };

    let readStream = fs.createReadStream(file, {start: resumeOffset});
    return needle('put', url, readStream, options);
  } else {
    console.log('Iniciando upload');
    let options = {
      headers: {
        'Content-Type': 'text/plain'
      }
    };

    let readStream = fs.createReadStream(file);
    return needle('put', url, readStream, options);
  }
}

// Solicitar URL de sessão retomável
async function requestResumableSession(url) {
  const options = {
    headers: {
      'Content-Type': 'text/plain',
      'Content-Length': '0',
      'x-goog-resumable': 'start',
    },
  };

  const res = await needle('post', url, null, options);
  if (res.statusCode === 201) {
    const resumableSessionURL = res.headers['location'];
    console.log('Iniciando upload para: ', resumableSessionURL);

    await uploadFile(filename, resumableSessionURL);
  } else {
    console.log('Falha ao criar URI de sessão retomável');
  }

}

requestResumableSession(uploadURL).then(result => console.log('Upload concluído'));
Salve o arquivo onde fizer mais sentido. Em seguida, no seu terminal, execute o script e passe dois parâmetros:
  1. O primeiro será o caminho do arquivo (com os IDs de Post ou de User) que você deseja enviar.
  2. O segundo será a URL de upload que recebemos da resposta do endpoint de compliance.
Certifique-se de que a URL esteja entre aspas duplas e faça o mesmo com o nome do arquivo se ele contiver espaços ou outros caracteres: 
node twitter-upload.js compliance_upload.txt\
"https://storage.googleapis.com/compliance_tweet_ids/customer_test_object_12950882_GlYjiE?X-Goog-Algorithm=GOOG4-RSA-SHA256&X-Goog-Credential=193969463581-compute%40developer.gserviceaccount.com%2F20200618%2Fauto%2Fstorage%2Fgoog4_request&X-Goog-Date=20200618T184154Z&X-Goog-Expires=900&X-Goog-SignedHeaders=content-type%3Bhost&X-Goog-Signature=b7bdcf32479b08715be91ed47b06471b8acdcdb319f8e4f423bf3a3056dfa03ed83e47446f33338e292967a15c08fa5ba34395edaf057a2ac975b88e710ca994adb023a9e1673a7c58ce2fa0d73537f72812af78e92b708dfe6b907a7d75bd0f6cfa61fec867e80ac83ced0725d1ee59787c9dbca50d41f7b0f513dad63a7564136b1a70042a2ec6ba6b697cbe480a4405362f7a08255a5e8205aa7baa562f99e6a092f0420f33d67ffaeb132f877fbaf16c969630b5f173e8a3f31c473707241fa4e28f4bed13fb2ea01d3af1c449321a2e6ee9ec1e331b447cabcfc6f9d1f99f564d180f0cc1d28ea54972c996102c67c6501c6c16a00c13d17756f960e0e1"
Você verá uma saída semelhante a esta: Starting upload to: https://storage.googleapis.com/twttr-tweet-compliance/<redacted> Upload not completed, resuming Initiating upload Você pode pausar o upload a qualquer momento pressionando Ctrl + C ou fechando o terminal. Será possível retomar o upload de onde parou executando o mesmo comando posteriormente. Quando o arquivo for totalmente enviado, você verá a seguinte mensagem: Upload complete Neste ponto, você poderá usar o endpoint de status de conformidade para verificar o status do seu job de conformidade e poderá baixar o resultado de conformidade quando for concluído.
⌘I