Логотип «2Captcha»Перейти на главную страницу
Туториалы по обходу капчи

Эта статья была полезной?

Как парсить Catawiki

Грегори Фишер
Грегори Фишер

Технический специалист

Catawiki — европейский онлайн-аукцион, где продают часы, искусство, украшения, предметы коллекционирования, классические автомобили и другие необычные вещи. По каждому лоту видно текущую ставку, оценку эксперта, рейтинг продавца и то, есть ли резервная цена. Если вы следите за тем, за сколько на самом деле уходит определённая модель часов, или хотите собрать историю цен продажи в сравнении с оценками, данные нужно брать отсюда.

У Catawiki две особенности. Во-первых, сайт не пускает headless-браузеры, и прокси тут не помогают. Обычный браузер с окном получает страницу целиком, даже с сервера в дата-центре. Во-вторых, аукцион устроен не так, как магазин. Цена может быть текущей ставкой, последней ставкой по лоту, который так и не продался, или просто стартовой суммой. Пустая цена означает резерв, а не ошибку разбора. А на странице каталога нет ни одного точного времени.

Разберём открытый парсер Catawiki из проекта 2scraper. Он читает категории, поиск, аукционы целиком и страницы отдельных лотов и записывает каждый лот строкой в JSON или CSV. Все цифры в статье взяты из README, changelog и раздела с типичными проблемами в репозитории, рядом указана дата замера.

Что вы получите

У парсера три режима:

Режим Что передаёте Что получаете
listing Категорию (/en/c/333-watches), поиск (/en/s?q=rolex) или один аукцион (/en/a/{id}-{slug}) По строке на лот. На странице категории или поиска 24 лота, на странице аукциона — сразу все его лоты
lot Страницу одного лота (/en/l/{id}-{slug}) Полную строку: оценку, продавца, бренд, число ставок и точное время торгов
auctions Список аукционов (/en/a) По короткой строке на аукцион: ID, ссылка, название и текст «закончится через…». Ссылки потом можно передать в режим listing

В строке лота 44 колонки. Вот те, которыми вы будете пользоваться:

Поле Что в нём
sku ID лота на Catawiki
title, subtitle Название лота и короткая строка под ним, например «Automatic - Steel»
price, currency Сумма в евро. Что она означает, зависит от bid_kind
bid_kind current (текущая максимальная ставка), final (последняя ставка по закрытому лоту), starting (ставок ещё нет) или пусто
reserve_price_set, reserve_price_met Есть ли у лота резервная цена и достигнута ли она
sold Продан ли закрытый лот на самом деле
buy_now Цена «купить сейчас», если она есть
bid_count, bid_count_is_floor Число ставок и признак того, что это только нижняя граница (подробнее ниже)
next_min_bid Минимальная следующая ставка, которую примет сайт (режим lot)
estimate_min, estimate_max Диапазон оценки эксперта (режим lot)
favorite_count Сколько человек добавили лот в избранное
time_left_text Текст с карточки вроде «8 hours left», без изменений
bidding_start_at, bidding_end_at Точное время начала и конца торгов (режим lot)
auction_id, auction_title, auction_close_at Аукцион, к которому относится лот; время закрытия берётся со страницы аукциона
brand Бренд из характеристик лота (только режим lot)
seller_id, seller_country, seller_score, seller_feedback_count Продавец и его отзывы (режим lot)

rating, review_count, original_price и discount_pct всегда пустые: рейтингов лотов и старых цен на Catawiki нет. Колонки оставлены, чтобы один и тот же код читал результаты всех парсеров 2scraper.

Что понадобится

  • Python от 3.9 до 3.13.
  • Playwright с Chromium — рекомендуемый вариант. Есть также версии на Selenium и pyppeteer с теми же флагами.
  • Отдельное виртуальное окружение для каждого движка: Playwright и pyppeteer требуют несовместимых версий pyee, а pyppeteer и Selenium — urllib3.
  • Экран. По умолчанию парсер запускает браузер с окном. На обычном компьютере это просто работает, а на сервере запускайте его через xvfb-run, который даёт браузеру виртуальный экран. В Docker-образе из репозитория это уже настроено.
  • Платить ни за что не нужно. Браузер с окном на обычном подключении открывает все разделы сайта.

Установка

bash Copy
git clone https://github.com/2scraper/catawiki-scraper.git
cd catawiki-scraper
python3 -m venv .venv
source .venv/bin/activate  # Windows: .venv\Scripts\activate

pip install -r requirements.txt -r requirements-playwright.txt
python -m playwright install chromium

cp .env.example .env
python3 env_config.py   # покажет, какие настройки подхватились, без вывода секретов

Для первого запуска .env можно не заполнять. Ключи и прокси потом записывайте туда, а не в командную строку.

Первый запуск

bash Copy
# Категория, три страницы, JSON и CSV
python3 playwright_scraper.py \
  --url 'https://www.catawiki.com/en/c/333-watches' --pages 3 --out watches

# Поиск
python3 playwright_scraper.py --url 'https://www.catawiki.com/en/s?q=rolex' --pages 2

# Аукцион целиком, все лоты за один запрос
python3 playwright_scraper.py \
  --url 'https://www.catawiki.com/en/a/1243988-figures-figurines-auction'

# Один лот полностью: оценка, продавец, характеристики, точное время
python3 playwright_scraper.py --mode lot \
  --url 'https://www.catawiki.com/en/l/106583855-omega-de-ville-prestige'

# Список аукционов как список задач
python3 playwright_scraper.py --mode auctions --url 'https://www.catawiki.com/en/a'

На сервере без экрана добавьте перед командой xvfb-run:

bash Copy
xvfb-run -a python3 playwright_scraper.py --url 'https://www.catawiki.com/en/c/333-watches'

Значения по умолчанию: --pages 1, --delay 2 (пауза между страницами в секундах), --retries 3, --format both и --out catawiki_products. Флаг --headless не передавайте: сейчас с ним запуск заканчивается кодом 3.

Как работает парсер

Строки из встроенных данных, цены со страницы

Страницы Catawiki сделаны на Next.js, и сервер кладёт данные о лотах в JSON-блок NEXT_DATA прямо в первом ответе. Оттуда берутся ID, названия, ссылки, фотографии, аукцион и признак резерва, JavaScript для этого не нужен.

С ценами иначе. Сервер присылает 24 пустые заготовки карточек с пустыми полями цены, а суммы, статус ставки и число добавлений в избранное появляются только после того, как отработает JavaScript страницы, в тестах через 1,9–2,4 секунды. Поэтому парсер ждёт, пока в поле цены что-то появится, а не пока на странице будет 24 карточки: они видны сразу, но все цены в них ещё пустые. У строк из каталога в price_source стоит next_data+dom. Если во всех строках просто next_data, значит, цены не успели загрузиться.

Встроенным данным тоже не всегда можно верить. Например, поле favoriteCount в них показало 0 у всех 288 лотов в 12 снимках, хотя на карточках были настоящие числа. Поэтому favorite_count парсер берёт с карточки.

Страницы аукционов лучше страниц категорий

На странице аукциона сразу все его лоты (130 из 130 на проверенной странице), а рядом время закрытия и статус аукциона. Страница категории или поиска даёт по 24 лота и ни одного точного времени, только «3 days left». В наборе данных, который вы откроете завтра, такая надпись ничего не значит. Если вы следите за ценами, берите список аукционов, а затем собирайте каждый аукцион по отдельности.

На страницах лотов парсер читает только встроенные данные, а не то, что видно на экране. На странице лота есть карусель «похожие лоты» на 20–40 позиций, где цены оформлены так же, как в каталоге, и «первая сумма в евро на странице» легко окажется ценой чужого лота.

Пагинация заканчивается на 100 страницах

Номер страницы передаётся через ?page=N, а первая страница сообщает общее число лотов и размер страницы, так что парсер заранее знает, сколько всего страниц. Но Catawiki ограничивает любой каталог сотней страниц и дальше не выдаёт ошибку: запрос ?page=99999 к категории на 11 681 лот вернул HTTP 200 и 24 лота сотой страницы. Парсер, который не знает об ограничении, будет снова и снова загружать сотую страницу и в итоге отчитается о завершённом запуске, где 2400 лотов из 11 681.

Этот парсер останавливается на сотой странице и записывает в .meta.json, сколько страниц каталога осталось за ней. --pages считается от той страницы, с которой начинается ваша ссылка: --pages 3 с ?page=99 загрузит страницы 99 и 100 и остановится, а в .meta.json появится pages_capped_by_site. Начать дальше сотой страницы нельзя, это ошибка в команде. Чтобы собрать больше, сужайте каталог фильтрами сайта или собирайте аукционы, у них такого ограничения нет.

Если страница пришла пустой, хотя по числу лотов она должна существовать, парсер загрузит её ещё раз. Если она снова пустая, запуск остановится как частичный со stop_reason listing_ended_early, а не будет считать, что каталог закончился.

Пустой поиск всё равно показывает 24 лота

Если поискать то, чего на сайте нет, Catawiki ответит HTTP 200, напишет «No results» и заполнит страницу 24 рекомендованными лотами, указав total: 24. Парсер узнаёт эту ситуацию по флагу во встроенных данных и ничего не записывает, код выхода 4. Два десятка правдоподобных строк по запросу, который ничего не нашёл, хуже, чем пустой результат. Страница «Page Not Found» у снятого лота обрабатывается так же: это ответ сайта, а не блокировка.

Языковые версии

У Catawiki 18 языковых версий, все на www.catawiki.com с префиксом в адресе: /en/, /nl/, /de/, /ja/, /zh-Hant/ и так далее. Вживую проверили шесть. Название категории в адресе переводится (333-watches, 333-horloges, 333-armbanduhren), а номер остаётся тем же, поэтому ключом служит номер. Цены везде в евро, в японской и китайской версиях тоже, меняется только запись: €1,535, € 1.535 или 1.535 €. Парсер понимает все варианты. Общее число лотов в разных версиях немного различается: 10 сентября 2026 года было 11 681 на en/nl/de/pl и 11 675 на ja/zh-Hant. Так фильтрует сам сайт.

Блокировки, капча и платные инструменты

Отказывают именно headless-браузеру

Catawiki работает через Akamai, и 10 сентября 2026 года результат зависел от типа клиента, а не от IP:

Клиент IP Результат
curl с полным набором браузерных заголовков дата-центр 403, 394 байта
curl с полным набором браузерных заголовков резидентный, Нидерланды 403
Headless Chromium дата-центр 403, 308 байт
Headless Chromium резидентный, Нидерланды (3 IP) 403
Chrome с окном дата-центр 200, 633 КБ, 24 лота
Chrome с окном резидентный, Нидерланды (2 IP) 200, 24 лота
2Captcha Browser API резидентный, Нидерланды 200, 637 КБ, 24 лота

Смена IP ничего не меняет, а отказ от headless меняет всё. Поэтому парсер по умолчанию запускает браузер с окном, а сообщение о блокировке советует проверить флаг --headless, а не покупать прокси. Отклонённую страницу парсер даже не пробует загрузить через другой IP, потому что это не поможет.

5 ноября 2026 года все разделы проверили ещё раз с сервера в дата-центре в Финляндии, без ключа и прокси, в Playwright с окном под xvfb-run. Категория вернула 24 из 24 лотов с ценами, список аукционов — 24 аукциона, один аукцион — 350 лотов, страница лота — полную строку. Headless с того же адреса получил 403 на странице категории. Раз в неделю, по понедельникам, то же самое проверяет контрольный запуск на обычном раннере GitHub с виртуальным экраном и без секретов.

Капчи нет

В 19 снимках на 6 языках Catawiki не показала анонимному посетителю ни reCAPTCHA, ни hCaptcha, ни Turnstile, ни PerimeterX, и ключей капчи в коде страниц тоже нет. В заголовке Content-Security-Policy сайта серверы PerimeterX разрешены, но ни на одной проверенной странице с них ничего не загружалось. Решатель в парсере оставлен, чтобы капчу можно было распознать, если она появится, но сейчас --solve-captcha делать нечего.

Что дают платные инструменты

2Captcha Browser API (--cdp-endpoint) подходит для сервера, где нельзя или не хочется запускать браузер с экраном. Это удалённый браузер со страной выхода на выбор. Его проверили во всех трёх режимах через резидентный IP в Нидерландах. К одному профилю можно подключиться только одним соединением, поэтому --concurrency с ним игнорируется с предупреждением: для параллельной работы используйте несколько профилей. Если запустить сбор сразу после предыдущего, профиль может быть ещё занят и ответить HTTP 500. Парсер повторит подключение четыре раза с интервалом в десять секунд и напишет в логе, в чём дело. Отпечаток, user agent и прокси поверх него не добавляйте: у удалённого браузера всё это своё.

Прокси (--proxy, --proxy-file) нужны для больших объёмов и разных адресов. Headless-браузеру они не помогут. Есть и ещё одна сложность: Chromium не умеет авторизоваться на SOCKS5-прокси, а Selenium не умеет авторизоваться ни на каких. Обойти обе проблемы помогает режим белого списка IP в резидентных прокси 2Captcha: вы добавляете свой IP в белый список и получаете подключения без логина и пароля.

bash Copy
curl "https://api.2captcha.com/proxy/generate_white_list_connections\
?key=$TWOCAPTCHA_KEY&ip=YOUR.IP.HERE&protocol=socks5&connection_count=3&country=nl"

Сохраните полученные строки host:port в файл и передайте его через --proxy-file. 11 сентября 2026 года так получили три порта с тремя разными резидентными IP в Нидерландах, и они сразу заработали в Playwright, Selenium и pyppeteer. HTTP-подключения, созданные тем же способом, так и не ответили. Другие параметры описаны в документации Proxy API.

Scraper API (scraper_api_client.py) загружает страницы без браузера, 11 сентября 2026 года это стоило $0,0005 за запрос. Он получает ID, название, ссылку, фотографии, аукцион и признак резерва каждого лота, но цена, статус ставки и число добавлений в избранное пустые во всех строках: они появляются только после выполнения JavaScript. Этот способ подходит, чтобы дёшево составить список лотов или проверить, на месте ли они, а для ставок нужен браузерный движок.

Отпечатки браузера (--fingerprint) дают устойчивый «профиль» устройства. В --fp-tags передавайте один тег операционной системы: Windows, Microsoft Windows или Android. На список тегов или теги вроде Chrome и Desktop API отвечает ошибкой HTTP 400.

Выходные файлы и коды выхода

Каждый запуск сохраняет результаты и файл .meta.json со статусом, stop_reason и номерами страниц, которые не загрузились. Если ничего не найдено, предыдущий файл не перезаписывается, пока вы не передадите --allow-empty. В CSV текстовые ячейки, которые начинаются с =, +, -, @, табуляции или перевода строки, получают апостроф в начале, чтобы Excel не принял их за формулы. В JSON текст сохраняется как есть.

Код Значение
0 Лоты сохранены
1 Сбой
2 Ошибка в команде, например стартовая страница дальше сотой или Selenium с прокси, которому нужен пароль
3 Блокировка — здесь почти всегда из-за headless
4 Лотов нет: пустой поиск, снятый лот, страница за концом каталога
5 Страницы не удалось получить: таймаут, нерабочий прокси, удалённый браузер отказал в подключении
6 Частичный результат

Ловушки, которые выглядят как баги

  • В некоторых строках нет цены. Это лоты, у которых не достигнута резервная цена. Все 57 пустых цен в 13 снимках были у лотов с reserve_price_set true, и шли они вперемешку с остальными, а не в конце страницы. Поэтому не оценивайте запуск по доле заполненных цен (87–100% на страницах категорий и 68% на одном аукционе, где много резервов). Проверяйте правило: пустая цена всегда должна идти вместе с резервом. Контрольный запуск проверяет именно это.
  • Финальная цена ещё не цена продажи. bid_kind final означает последнюю ставку по закрытому лоту. Один лот в снимках дошёл до €1300, но резерв достигнут не был и sold стоял false — его никто не купил. Прежде чем заносить цену в историю, посмотрите на sold.
  • bid_count у всех лотов равен 10. Сайт отдаёт только десять последних ставок и не сообщает общее число. bid_count_is_floor true означает «не меньше 10».
  • В строках каталога пустой brand. Название вроде «Cartier - Tank Must de Cartier PM - No reserve price - …» можно было бы разрезать по дефису, но это была бы догадка. В режиме lot бренд берётся из характеристик самого лота.
  • time_left_text не превращается в дату. На странице каталога нет точного времени, от которого можно отсчитать, и такая дата была бы вашим временем, а не данными сайта. Точное время берите со страниц лотов и аукционов.
  • В поле цены стоит невидимый символ. Это пробел нулевой ширины, которым сайт заполняет пустое поле. Парсер считает такую цену пустой. Простая проверка на «не пусто» посчитала бы поле заполненным и записала бы невидимый символ в каждую строку.

Сравнение запусков

bash Copy
python3 diff_runs.py --old watches_mon.json --new watches_tue.json --fail-on-change

diff_runs.py сопоставляет два запуска по sku и показывает, какие лоты появились, пропали или изменились. Он следит за ценой, статусом ставки, резервом, продажей, ценой «купить сейчас» и статусом аукциона. На аукционе большая часть изменений — это просто торги, которые идут своим чередом. Поэтому лоты, у которых bid_kind сменился с current на final, попадают в отдельную группу lifecycle, и --fail-on-change её не учитывает. То, что осталось в группе изменённых, стоит посмотреть внимательно. Сравнивать незавершённые запуски, запуски в разных режимах и запуски по разным каталогам (например, категорию с поиском) инструмент отказывается. Для этого он сверяет стартовые адреса, записанные в .meta.json.

Пример строки

Один и тот же лот из sample_output.json в репозитории, снятый 10 ноября 2026 года сначала из каталога, а потом в режиме lot (часть полей):

json Copy
{
  "url": "https://www.catawiki.com/en/l/108247673-tecnotempo-automatic-reborn-no-reserve-price-tt-re-ggr-men-2025",
  "sku": "108247673",
  "title": "Tecnotempo - Automatic - \"Reborn\" - - No reserve price - TT.RE.GGR - Men - 2025+",
  "brand": "Tecnotempo",
  "price": 97.0,
  "currency": "EUR",
  "price_source": "next_data",
  "bid_kind": "current",
  "bid_count": 10,
  "bid_count_is_floor": true,
  "next_min_bid": 100.0,
  "bidding_start_at": "2026-11-03T15:00:00+00:00",
  "bidding_end_at": "2026-11-10T18:02:05+00:00",
  "reserve_price_set": false,
  "sold": false,
  "favorite_count": 41,
  "subtitle": "Automatic - Steel",
  "estimate_min": 800.0,
  "estimate_max": 900.0,
  "auction_id": "1297161",
  "auction_title": "Unused Watches Auction",
  "seller_id": "1818461",
  "seller_country": "Italy",
  "seller_score": 100.0,
  "seller_feedback_count": 13706,
  "listing_kind": "lot"
}

В каталоге у этого лота было «8 hours left», пустой brand и цена «купить сейчас» €700. Режим lot добавил точное время окончания, оценку и продавца. Обратите внимание на разрыв: текущая ставка €97 при оценке €800–900, без резерва, за восемь часов до конца торгов. Как раз такие лоты и помогают находить эти данные.

Что делать с результатами: цены продажи и оценки

Полезно посмотреть, как итоговая цена проданных лотов соотносится с оценкой эксперта. Соберите строки в режиме lot по интересующим лотам, лучше из уже закрытых аукционов, и запустите:

python Copy
import json
from statistics import median

rows = json.load(open("lots.json", encoding="utf-8"))

ratios = []
for r in rows:
    if r.get("bid_kind") != "final" or r.get("sold") is not True:
        continue  # не продан или торги ещё идут — это не цена продажи
    lo, hi = r.get("estimate_min"), r.get("estimate_max")
    if not (r.get("price") and lo and hi):
        continue
    ratio = r["price"] / ((lo + hi) / 2)
    ratios.append(ratio)
    print(f"€{r['price']:>8,.0f}  оценка €{lo:,.0f}–{hi:,.0f}  {ratio:>5.0%}  {r['title'][:50]}")

if ratios:
    print(f"\nПродано лотов: {len(ratios)}, медиана — {median(ratios):.0%} от середины оценки")

Фильтр здесь важнее арифметики. Без проверки sold в историю цен попал бы и тот лот за €1300, который никто не купил.

Ограничения

  • Не больше 100 страниц на каталог. Чтобы собрать больше, используйте фильтры или собирайте аукционы.
  • bid_count ограничен десятью последними ставками.
  • На страницах каталога нет точного времени, для него нужны страницы лотов или аукционов.
  • Scraper API собирает каталог, но без цен.
  • Headless-браузер не пускают, поэтому на сервере нужен xvfb-run или Browser API.
  • Рейтингов и старых цен на Catawiki нет, эти колонки всегда пустые.

Частые вопросы

Почему парсер открывает окно браузера?
Потому что Catawiki не пускает headless-браузеры. На сервере запускайте парсер через xvfb-run или используйте Browser API.

Нужен ли прокси?
Нет. IP здесь ничего не решает, решает тип браузера. Браузер с окном с сервера в дата-центре открыл все разделы. Прокси пригодятся только для больших объёмов.

Пустая цена — это ошибка?
Нет, это лот с недостигнутой резервной ценой. У каждой пустой цены reserve_price_set равен true.

Можно ли получить всю историю ставок?
Нет. Сайт отдаёт только десять последних ставок и не сообщает их общее число.

Как получить цены продажи?
Соберите закрытые лоты в режиме lot и оставьте только строки, где bid_kind равен final, а sold — true.

Законно ли парсить Catawiki?
Парсер читает публичные страницы, не входит в аккаунт и не делает ставок. Допустимо ли ваше использование, зависит от законов вашей страны и правил Catawiki. Проверьте и то и другое и не убирайте паузу между запросами. Это не юридическая консультация.

Итоги

Главное, что нужно знать про Catawiki: сайту всё равно, откуда вы подключаетесь, важно только, есть ли у браузера окно. Если это учесть, данные собираются без проблем. А дальше, прежде чем называть какую-то сумму ценой продажи, проверьте sold.

С чего начать: склонируйте репозиторий и запустите парсер на своём компьютере без какой-либо настройки. Для серверов без экрана или для выхода из определённой страны зарегистрируйтесь в 2Captcha и используйте 2Captcha Browser API.

Исходный код

Документация

Похожие руководства