Save all tweet page responses

[poludnev]

listen to all the requests/responses those the puppeteer calls and those related to media files that the tweet contains (exclude chunks of the bundle). At the moment, as we save only the tweet without a full timeline it will require filtering the required responses.

[poludnev]

Сейчас при получении реквеста POST /send от фронтенда адаптер запускает контроллер, который:

1. Инициализирует puppeteer
2. Puppeteer загружает страницу и делает ее скриншот.
3. Отправляет респонс со скриншотом на фронт.
   В процессе загрузки страницы puppeteer отправляет пачку http - реквестов, из которых мы слушаем респонсы:

• pupperTerresponse.url === tweetUrl
  Этот респонс мы слушаем потому, что точно такой же респонс будет получен, если пользователь перейдет по URL твита в обычном браузере. Если приходит этот респонс, мы сохраняем его хэдэры, а так же делаем запрос dns данных хоста при помощи dig утилиты. Хэдэры и dns запрос сохраняем как метаднные в папку /data. (индентификатор - tweeId)

• responseUrl.match(/TweetDetail/g
  Этот респонс мы слушаем потому, что в нем приходят данные содержимого самого твита, а так же связанных с ним других твитов. Для того, чтобы обрабатывать данные только этого конкретного твита, фильтруем респонсы по наличию в них данных конкретного tweetId:

responseDataString.includes(`tweet-${request.body.tweetId}`)

Таким образом, значительная часть реквестов/респонсов, которые отправляет puppeteer игнорируются. Среди них есть:

1. TweetDetail - респонсы других твитов, имеющих отношение к главном.
2. Запросы медиа-файлов
3. Запросы на куски бандлов JS

Нужно ли сохранять хэдэры и другую мету всех респонсов? или ограничимся tweetDetail и медиа-файлами?
Смысл "нотариального скриншота" в том, что пользователь хочет зафиксировать определенных контент, а не его содержимое. Например, если та же картинка и тот же текст получены другим скриптом на фронтенде - контент ведь тот же, и это и есть цель пользователя.

[Elizavetta]

We have to save everything that we can't recognize as only related to other tweets