Использовать UA по умолчанию из ботовского браузера, не очень хорошо при мульти-аккаунинге.
И чтобы не применять плагины (часто "сломанные") для смены UA, в боты BitcoinAuto.ru по умолчанию добавлена новая настройка для универсальной смены UserAgent
useragent: <объект>,
Выберите ТОЛЬКО ОДИН из вариантов generation_method:
1) использовать один из популярных на данный момент агентов Firefox. Самый безопасный метод!
Набор браузеров включает разные платформы Windows
generation_method: "popular-firefox",
2) кроме firefox использовать и другие браузеры для ПК (Chrome, Opera, Safari итп).
generation_method: "popular-desktop",
Набор браузеров включает разные платформы (Linux, Mac, Windows...).
3) скрипт бота не будет трогать useragent браузера.
Выберите эту опцию, если UA у вас устанавливается плагином, или через изменение дистрибутива браузера.
generation_method: "disable-useragent-control",
4) Устанавливать UA из строки, прописанной в поле "string", которое находиться ниже.
Эта опция, как и предыдущая - для продвинутых пользователей, которые понимают, зачем они нужны.
generation_method: "custom-string", string: "<пропишите свой UA>",
Опции обновления UserAgent:
Если опция включена, то UA браузера будет обновлен, когда он перестанет быть популярным.
is_update_stale: true,
Работает для методов генерации "popular-firefox" и "popular-desktop".
Обновление происходит не чаще, чем раз в 3 месяца.
Если настройка присутствует - то скрипт будет периодически обновлять ЮА браузера независимо от того,перестал ли он быть популярным. Нельзя установить меньше 90 дней, и не рекомендуется меньше 180.
Можно включить как обе настройки, так и по отдельности.
update_interval: 180, // дней
Пример, как это может выглядеть в вашем файле настроек:
SETTINGS = { useragent: { generation_method: "popular-firefox", is_update_stale: true, }, }
Важная информация и ответы на вопросы от главного разработчика BitcoinAuto.ru
Useragent - это всего лишь текстовая строка, которая описывает версию браузера. Если перевести её на русский язык - то там будет написано что-то типа "это браузер Firefox, 85й версии, на windows-64" (или Edge/Chrome/Safari - смотря, чем вы пользуетесь). Сайты используют его чтобы анализировать трафик, и некоторые админы могут банить, если видят, что у них на сайте много пользователей с одинаковыми ЮА. Другие могут с подозрением относиться к определенным версиям браузеров, или вообще никак не использовать ЮА, и определять ботов по другим критериям.
Рекомендуется для каждого вашего бота прописать настройку useragent, с методом генерации "popular-firefox", но перед тем, как вы это сделаете - вам стоит знать о возможных проблемах при подмене ЮА:
а) если ЮА устарел - то перестанет решаться рекапча. Вместо галочки у вас будет большое сообщение "ваш браузер устарел" - вы увидите его на скриншотах дампов. Сейчас все юзерагенты в базе актуальные, так что такого быть не должно, но в будущем это возможно. Очень редко бывает, что рекапча глючит, и иногда отображает эту ошибку даже на валидных ЮА (!), так что если вы случайно увидели такое на скриншоте в логах - то перед тем, как сообщать в поддержку - просмотрите предыдущие скриншоты из папки Debug, чтобы убедиться, что рекапча действительно стабильно не работает. Или вручную зайдите на любой сайт с рекапчей.
б) программист допускает, что может перестать работать cloudflare. Например, страница будет постоянно перезагружаться, и на фасет бот не зайдет. Такие случаи пока что предполагаются только в теории, и на практике еще не изучены, но программист считает, что стоит предупредить заранее. Так что просьба сообщать о подобных проблемах, но перед этим, пожалуйста, синхронизируйте время компьютера с интернетом, и почистите куки и кэш в браузере, а потом еще раз зайдите на проблемный сайт - чтобы убедиться, что такое поведение вызвано именно сменой ЮА.
в) на каких-нибудь фасетах могут сломаться скрипты, и фасет перестанет корректно работать. Другими словами, если у вас есть конкретный бот, в котором один конкретный фасет не работает, а в остальных ботах всё хорошо - то проблема может быть именно в ЮА.
г) еще некоторые фасеты могут банить определенные ЮА, и даже не открываться. Например, если зайти на один из payeer кранов из старого Internet Explorer - получим Forbidden.
д) если ЮА не соответствует браузеру, например если прописать в Firefox агент от Хрома или Internet Explorer - то сайты могут определить это несоответствие, и админ это увидит. Поэтому, если прописывать в бота агенты от других браузеров - то на некоторых фасетах за это можно получить бан. Но если прописана другая версия одного и того же браузера - то несоответствие определить становиться намного сложнее и трудозатратнее. Поэтому, самый безопасный generation_method - это "popular-firefox".
Что еще вам нужно знать:
1) на момент написания этой инструкции - наша база данных ЮА содержит почти 500 агентов Firefox, и еще около 2500 других браузеров. База периодически обновляется (раз в 1-3 месяца).
2) Если вы пропишете настройку useragent в существующего бота - куки и кэш будут очищены (другими словами, вам не нужно об этом беспокоиться).
3) Чтобы сгенерировать новый ЮА - удалите файл _bot_config_cache.json в папке бота. При этом куки и кэш браузера тоже будут очищены.