Безпечне та відповідальне використання проксі

Проксі — це мережевий інструмент, і, як і будь-який інструмент, його слід використовувати відповідально. Ці практики допомагають працювати законно, захищати акаунти й підтримувати добрі стосунки із сайтами, з якими ви працюєте.

Цей посібник перетворює ці принципи на кроки: що означає законне використання, що проксі захищає, а що ні, як берегти облікові дані, як ставитися до сайтів, з якими ви працюєте, як поводитися з даними та що робити, коли щось іде не так. Чек-лист наприкінці готовий для копіювання в регламент вашої команди.

1.Використовуйте проксі в законних цілях

Використовуйте проксі для законної ділової діяльності: тестування, моніторингу та збору публічно доступних даних. Переконайтеся, що маєте право доступу до зібраних даних і права їх використовувати, і ніколи не застосовуйте проксі для шахрайства, шкідливого ПЗ чи несанкціонованого доступу.

Наша політика допустимого використання проводить межу двома переліками. Ось дозволені види використання:

• Веб-скрейпінг публічно доступних даних відповідно до robots.txt і умов сайту
• SEO-моніторингу та відстеження SERP
• верифікації реклами та захисту бренду
• керування соцмережами для легітимних бізнес-акаунтів
• моніторингу цін в e-commerce
• Дослідження, тестування та розробка, а також безпечний вебдоступ для бізнес-операцій

А це заборонено в усіх випадках:

• Будь-яка незаконна діяльність, а також шахрайство, видавання себе за іншого чи інші оманливі практики
• Фішинг, шкідливе ПЗ, спам і небажані масові повідомлення
• Атаки типу «відмова в обслуговуванні», вторгнення в мережу та сканування портів без дозволу
• Підбір облікових даних і перебір паролів із використанням украдених, злитих чи вгаданих облікових даних
• Будь-який доступ до систем, акаунтів чи даних без дозволу та будь-який контент, що експлуатує неповнолітніх

Облікові записи, що порушують ці правила, можуть бути призупинені або закриті без попередження, а кошти в такому разі не повертаються.

2.Знайте, що проксі захищає, а що ні

Проксі змінює IP-адресу, яку бачить сайт. Це не інструмент шифрування, і він не робить вашу активність приватною. Таблиця показує, хто що може бачити:

Xameleon зберігає журнали запитів 90 днів, як описано в Політиці конфіденційності. Для будь-чого чутливого використовуйте HTTPS, який би проксі ви не застосовували.

3.Захищайте облікові дані

Тримайте логіни й паролі проксі в таємниці. Ніколи не публікуйте облікові дані в публічних репозиторіях, зберігайте їх у змінних середовища чи менеджері секретів і змінюйте, якщо підозрюєте, що вони потрапили в чужі руки.

Доступ до проксі відбувається лише за логіном і паролем, тож той, хто їх має, може користуватися вашим проксі та вашим обсягом трафіку. Мінімум для проєкту — файл .env, який не потрапляє в систему контролю версій:

# .env  (never commit this file)
PROXY_USER=your-username
PROXY_PASS=your-password
PROXY_HOST=host:port

# .gitignore
.env

Паролі також витікають через журнали. Ця функція маскує пароль у будь-якій URL проксі, перш ніж рядок буде виведено чи збережено:

import re

def redact(text):
    """Masks the password of any proxy URL in a log line."""
    return re.sub(r"(://[^:/@\s]+:)[^@\s]+@", r"\1***@", text)

print(redact("failed via http://user:secret@host:8080 after 3 tries"))
# failed via http://user:***@host:8080 after 3 tries

Якщо підозрюєте, що облікові дані потрапили в чужі руки, дійте в такому порядку: змініть пароль, перевірте використання на щось незнайоме, приберіть секрет із коду та його історії й напишіть на [email protected], якщо щось виглядає підозріло.

4.Використовуйте захищені з’єднання

• Віддавайте перевагу HTTPS для кожного сайту, який його пропонує. Тоді проксі передає зашифрований трафік, який не може прочитати.
• Не вимикайте перевірку сертифікатів. Помилка сертифіката — це попередження, а не перешкода, яку треба вимкнути.
• Використовуйте socks5h:// із SOCKS5, щоб імена розв’язував проксі, а ваш комп’ютер не надсилав їх на локальний DNS-сервер.
• Ніколи не надсилайте паролі чи токени через незахищений HTTP, через жодний проксі.
• Оновлюйте свої інструменти. Браузери, бібліотеки та операційна система регулярно отримують виправлення безпеки.

import requests

# Do not do this: it switches the certificate check off
# requests.get(url, proxies=proxies, verify=False)

# Do this: keep the default check and fix your certificate store if it fails
r = requests.get(url, proxies=proxies, timeout=(5, 20))

5.Поважайте правила сайтів

Прочитайте умови використання та robots.txt кожного сайту, з яким працюєте. Тримайте розумну частоту запитів, не перевантажуйте сервери та припиняйте роботу, якщо сайт цього вимагає.

• Позначайте свій інструмент зрозумілим User-Agent і контактною адресою, щоб власник сайту міг до вас звернутися.
• Враховуйте 429 і Retry-After. Вони кажуть, що треба сповільнитися і як надовго.
• Віддавайте перевагу офіційним API та стрічкам, якщо сайт їх пропонує.
• Зупиняйтеся на прохання. Якщо власник сайту просить припинити, припиніть і поговоріть із ним.

У посібнику зі скрейпінгу у великому масштабі показано бюджети запитів, обмеження темпу та повтори в коді.

6.Поводьтеся з даними відповідально

Збирайте лише потрібні дані, зберігайте їх безпечно та видаляйте, коли вони більше не потрібні. Якщо йдеться про персональні дані, дотримуйтесь законів про захист даних, зокрема GDPR.

• Мінімізуйте. Визначте потрібні поля до збору й залиште решту.
• Захищайте збережене. Обмежте доступ тими, кому він потрібен, і шифруйте сховище, де це можливо.
• Задайте строк зберігання і видаляйте дані по його завершенні, а також коли цього вимагає закон чи суб’єкт даних.
• Знайте свою мету. Якщо ви не можете сказати, навіщо тримаєте певні персональні дані, ймовірно, не варто.

Це загальна інформація, а не юридична консультація. Для проєкту, що стосується даних людей, зверніться до юриста.

7.Безпечно користуйтеся проксі в команді

• Один проксі на проєкт чи клієнта, кожен зі своїми даними підключення в кабінеті, щоб ви могли точно бачити доступ і припиняти його.
• Реєстр того, хто яким проксі користується і навіщо. Достатньо таблиці.
• Менеджер паролів для передавання облікових даних, ніколи не чати чи електронна пошта.
• Звільнення з команди. Коли хтось іде, змініть облікові дані, які він знав, і оновіть реєстр.
• Регулярний перегляд, наприклад щокварталу: приберіть проксі, якими ніхто не користується, і звірте трафік із тарифом.

8.Знайте наші правила

Наша Політика допустимого використання перелічує заборонену діяльність, зокрема шахрайство, фішинг, шкідливе ПЗ, спам і несанкціонований доступ. Облікові записи, що порушують ці правила, можуть бути призупинені.

• Повідомлення про зловживання. Напишіть на [email protected] із темою «Abuse Report». Ми розглядаємо кожне повідомлення й реагуємо на підтверджені порушення.
• Верифікація. Ми можемо запросити інформацію, щоб підтвердити особу клієнта чи цільове використання сервісу.
• Журнали. Журнали запитів зберігаються 90 днів, як описано в Політиці конфіденційності.
• Чесне використання. Надмірний трафік, що погіршує сервіс для інших користувачів, може призвести до обмеження швидкості чи призупинення.

9.Якщо щось пішло не так

10.Чек-лист для копіювання

Перш ніж почати

• Мета законна, і я маю право користуватися даними, які збиратиму.
• Я прочитав умови сайту та robots.txt, і немає офіційного API, що виконує завдання.
• Облікові дані лежать у змінних середовища чи менеджері секретів.

Під час роботи

• HTTPS увімкнено, перевірку сертифікатів не вимкнено.
• Частота запитів низька, інструмент себе позначає, а 429 враховується.
• У журналах ніколи немає пароля.

Після завершення

• Дані, які мені більше не потрібні, видалено.
• Доступ тих, хто пішов, прибрано, а реєстр актуальний.

11.Часті запитання

Чи законно користуватися проксі?

Користуватися проксі законно в більшості країн. Законність визначають ваша мета й поведінка: дотримуйтесь закону, умов сайтів і нашої політики допустимого використання.

Чи захищає проксі мої дані?

Сам по собі ні. Проксі змінює адресу, яку бачить сайт. Вміст вашого трафіку захищає HTTPS, а дані ви захищаєте тим, що обережно їх зберігаєте та обробляєте.

Як часто змінювати пароль проксі?

Щоразу, коли підозрюєте витік, коли йде той, хто його знав, і за графіком вашої політики безпеки. Якщо не можете змінити його самостійно, зверніться до нашої підтримки.

Що робити, якщо сайт просить мене припинити?

Припиніть запити до цього сайту та поговоріть з його власником. Продовжувати всупереч чіткому проханню — це недопустиме використання.

Як повідомити про зловживання?

Напишіть на [email protected] із темою «Abuse Report». Ми розглядаємо кожне повідомлення й реагуємо на підтверджені порушення.

Лишилися запитання про мобільні проксі? Відвідайте нашу сторінку FAQ щоб отримати детальні відповіді, або зверніться до нашої підтримки — ми допоможемо.