Эта статья была полезной?
Как парсить Catawiki
Технический специалист
Catawiki — европейский онлайн-аукцион, где продают часы, искусство, украшения, предметы коллекционирования, классические автомобили и другие необычные вещи. По каждому лоту видно текущую ставку, оценку эксперта, рейтинг продавца и то, есть ли резервная цена. Если вы следите за тем, за сколько на самом деле уходит определённая модель часов, или хотите собрать историю цен продажи в сравнении с оценками, данные нужно брать отсюда.
У Catawiki две особенности. Во-первых, сайт не пускает headless-браузеры, и прокси тут не помогают. Обычный браузер с окном получает страницу целиком, даже с сервера в дата-центре. Во-вторых, аукцион устроен не так, как магазин. Цена может быть текущей ставкой, последней ставкой по лоту, который так и не продался, или просто стартовой суммой. Пустая цена означает резерв, а не ошибку разбора. А на странице каталога нет ни одного точного времени.
Разберём открытый парсер Catawiki из проекта 2scraper. Он читает категории, поиск, аукционы целиком и страницы отдельных лотов и записывает каждый лот строкой в JSON или CSV. Все цифры в статье взяты из README, changelog и раздела с типичными проблемами в репозитории, рядом указана дата замера.
Что вы получите
У парсера три режима:
| Режим | Что передаёте | Что получаете |
|---|---|---|
| listing | Категорию (/en/c/333-watches), поиск (/en/s?q=rolex) или один аукцион (/en/a/{id}-{slug}) | По строке на лот. На странице категории или поиска 24 лота, на странице аукциона — сразу все его лоты |
| lot | Страницу одного лота (/en/l/{id}-{slug}) | Полную строку: оценку, продавца, бренд, число ставок и точное время торгов |
| auctions | Список аукционов (/en/a) | По короткой строке на аукцион: ID, ссылка, название и текст «закончится через…». Ссылки потом можно передать в режим listing |
В строке лота 44 колонки. Вот те, которыми вы будете пользоваться:
| Поле | Что в нём |
|---|---|
| sku | ID лота на Catawiki |
| title, subtitle | Название лота и короткая строка под ним, например «Automatic - Steel» |
| price, currency | Сумма в евро. Что она означает, зависит от bid_kind |
| bid_kind | current (текущая максимальная ставка), final (последняя ставка по закрытому лоту), starting (ставок ещё нет) или пусто |
| reserve_price_set, reserve_price_met | Есть ли у лота резервная цена и достигнута ли она |
| sold | Продан ли закрытый лот на самом деле |
| buy_now | Цена «купить сейчас», если она есть |
| bid_count, bid_count_is_floor | Число ставок и признак того, что это только нижняя граница (подробнее ниже) |
| next_min_bid | Минимальная следующая ставка, которую примет сайт (режим lot) |
| estimate_min, estimate_max | Диапазон оценки эксперта (режим lot) |
| favorite_count | Сколько человек добавили лот в избранное |
| time_left_text | Текст с карточки вроде «8 hours left», без изменений |
| bidding_start_at, bidding_end_at | Точное время начала и конца торгов (режим lot) |
| auction_id, auction_title, auction_close_at | Аукцион, к которому относится лот; время закрытия берётся со страницы аукциона |
| brand | Бренд из характеристик лота (только режим lot) |
| seller_id, seller_country, seller_score, seller_feedback_count | Продавец и его отзывы (режим lot) |
rating, review_count, original_price и discount_pct всегда пустые: рейтингов лотов и старых цен на Catawiki нет. Колонки оставлены, чтобы один и тот же код читал результаты всех парсеров 2scraper.
Что понадобится
- Python от 3.9 до 3.13.
- Playwright с Chromium — рекомендуемый вариант. Есть также версии на Selenium и pyppeteer с теми же флагами.
- Отдельное виртуальное окружение для каждого движка: Playwright и pyppeteer требуют несовместимых версий pyee, а pyppeteer и Selenium — urllib3.
- Экран. По умолчанию парсер запускает браузер с окном. На обычном компьютере это просто работает, а на сервере запускайте его через xvfb-run, который даёт браузеру виртуальный экран. В Docker-образе из репозитория это уже настроено.
- Платить ни за что не нужно. Браузер с окном на обычном подключении открывает все разделы сайта.
Установка
bash
git clone https://github.com/2scraper/catawiki-scraper.git
cd catawiki-scraper
python3 -m venv .venv
source .venv/bin/activate # Windows: .venv\Scripts\activate
pip install -r requirements.txt -r requirements-playwright.txt
python -m playwright install chromium
cp .env.example .env
python3 env_config.py # покажет, какие настройки подхватились, без вывода секретов
Для первого запуска .env можно не заполнять. Ключи и прокси потом записывайте туда, а не в командную строку.
Первый запуск
bash
# Категория, три страницы, JSON и CSV
python3 playwright_scraper.py \
--url 'https://www.catawiki.com/en/c/333-watches' --pages 3 --out watches
# Поиск
python3 playwright_scraper.py --url 'https://www.catawiki.com/en/s?q=rolex' --pages 2
# Аукцион целиком, все лоты за один запрос
python3 playwright_scraper.py \
--url 'https://www.catawiki.com/en/a/1243988-figures-figurines-auction'
# Один лот полностью: оценка, продавец, характеристики, точное время
python3 playwright_scraper.py --mode lot \
--url 'https://www.catawiki.com/en/l/106583855-omega-de-ville-prestige'
# Список аукционов как список задач
python3 playwright_scraper.py --mode auctions --url 'https://www.catawiki.com/en/a'
На сервере без экрана добавьте перед командой xvfb-run:
bash
xvfb-run -a python3 playwright_scraper.py --url 'https://www.catawiki.com/en/c/333-watches'
Значения по умолчанию: --pages 1, --delay 2 (пауза между страницами в секундах), --retries 3, --format both и --out catawiki_products. Флаг --headless не передавайте: сейчас с ним запуск заканчивается кодом 3.
Как работает парсер
Строки из встроенных данных, цены со страницы
Страницы Catawiki сделаны на Next.js, и сервер кладёт данные о лотах в JSON-блок NEXT_DATA прямо в первом ответе. Оттуда берутся ID, названия, ссылки, фотографии, аукцион и признак резерва, JavaScript для этого не нужен.
С ценами иначе. Сервер присылает 24 пустые заготовки карточек с пустыми полями цены, а суммы, статус ставки и число добавлений в избранное появляются только после того, как отработает JavaScript страницы, в тестах через 1,9–2,4 секунды. Поэтому парсер ждёт, пока в поле цены что-то появится, а не пока на странице будет 24 карточки: они видны сразу, но все цены в них ещё пустые. У строк из каталога в price_source стоит next_data+dom. Если во всех строках просто next_data, значит, цены не успели загрузиться.
Встроенным данным тоже не всегда можно верить. Например, поле favoriteCount в них показало 0 у всех 288 лотов в 12 снимках, хотя на карточках были настоящие числа. Поэтому favorite_count парсер берёт с карточки.
Страницы аукционов лучше страниц категорий
На странице аукциона сразу все его лоты (130 из 130 на проверенной странице), а рядом время закрытия и статус аукциона. Страница категории или поиска даёт по 24 лота и ни одного точного времени, только «3 days left». В наборе данных, который вы откроете завтра, такая надпись ничего не значит. Если вы следите за ценами, берите список аукционов, а затем собирайте каждый аукцион по отдельности.
На страницах лотов парсер читает только встроенные данные, а не то, что видно на экране. На странице лота есть карусель «похожие лоты» на 20–40 позиций, где цены оформлены так же, как в каталоге, и «первая сумма в евро на странице» легко окажется ценой чужого лота.
Пагинация заканчивается на 100 страницах
Номер страницы передаётся через ?page=N, а первая страница сообщает общее число лотов и размер страницы, так что парсер заранее знает, сколько всего страниц. Но Catawiki ограничивает любой каталог сотней страниц и дальше не выдаёт ошибку: запрос ?page=99999 к категории на 11 681 лот вернул HTTP 200 и 24 лота сотой страницы. Парсер, который не знает об ограничении, будет снова и снова загружать сотую страницу и в итоге отчитается о завершённом запуске, где 2400 лотов из 11 681.
Этот парсер останавливается на сотой странице и записывает в .meta.json, сколько страниц каталога осталось за ней. --pages считается от той страницы, с которой начинается ваша ссылка: --pages 3 с ?page=99 загрузит страницы 99 и 100 и остановится, а в .meta.json появится pages_capped_by_site. Начать дальше сотой страницы нельзя, это ошибка в команде. Чтобы собрать больше, сужайте каталог фильтрами сайта или собирайте аукционы, у них такого ограничения нет.
Если страница пришла пустой, хотя по числу лотов она должна существовать, парсер загрузит её ещё раз. Если она снова пустая, запуск остановится как частичный со stop_reason listing_ended_early, а не будет считать, что каталог закончился.
Пустой поиск всё равно показывает 24 лота
Если поискать то, чего на сайте нет, Catawiki ответит HTTP 200, напишет «No results» и заполнит страницу 24 рекомендованными лотами, указав total: 24. Парсер узнаёт эту ситуацию по флагу во встроенных данных и ничего не записывает, код выхода 4. Два десятка правдоподобных строк по запросу, который ничего не нашёл, хуже, чем пустой результат. Страница «Page Not Found» у снятого лота обрабатывается так же: это ответ сайта, а не блокировка.
Языковые версии
У Catawiki 18 языковых версий, все на www.catawiki.com с префиксом в адресе: /en/, /nl/, /de/, /ja/, /zh-Hant/ и так далее. Вживую проверили шесть. Название категории в адресе переводится (333-watches, 333-horloges, 333-armbanduhren), а номер остаётся тем же, поэтому ключом служит номер. Цены везде в евро, в японской и китайской версиях тоже, меняется только запись: €1,535, € 1.535 или 1.535 €. Парсер понимает все варианты. Общее число лотов в разных версиях немного различается: 10 сентября 2026 года было 11 681 на en/nl/de/pl и 11 675 на ja/zh-Hant. Так фильтрует сам сайт.
Блокировки, капча и платные инструменты
Отказывают именно headless-браузеру
Catawiki работает через Akamai, и 10 сентября 2026 года результат зависел от типа клиента, а не от IP:
| Клиент | IP | Результат |
|---|---|---|
| curl с полным набором браузерных заголовков | дата-центр | 403, 394 байта |
| curl с полным набором браузерных заголовков | резидентный, Нидерланды | 403 |
| Headless Chromium | дата-центр | 403, 308 байт |
| Headless Chromium | резидентный, Нидерланды (3 IP) | 403 |
| Chrome с окном | дата-центр | 200, 633 КБ, 24 лота |
| Chrome с окном | резидентный, Нидерланды (2 IP) | 200, 24 лота |
| 2Captcha Browser API | резидентный, Нидерланды | 200, 637 КБ, 24 лота |
Смена IP ничего не меняет, а отказ от headless меняет всё. Поэтому парсер по умолчанию запускает браузер с окном, а сообщение о блокировке советует проверить флаг --headless, а не покупать прокси. Отклонённую страницу парсер даже не пробует загрузить через другой IP, потому что это не поможет.
5 ноября 2026 года все разделы проверили ещё раз с сервера в дата-центре в Финляндии, без ключа и прокси, в Playwright с окном под xvfb-run. Категория вернула 24 из 24 лотов с ценами, список аукционов — 24 аукциона, один аукцион — 350 лотов, страница лота — полную строку. Headless с того же адреса получил 403 на странице категории. Раз в неделю, по понедельникам, то же самое проверяет контрольный запуск на обычном раннере GitHub с виртуальным экраном и без секретов.
Капчи нет
В 19 снимках на 6 языках Catawiki не показала анонимному посетителю ни reCAPTCHA, ни hCaptcha, ни Turnstile, ни PerimeterX, и ключей капчи в коде страниц тоже нет. В заголовке Content-Security-Policy сайта серверы PerimeterX разрешены, но ни на одной проверенной странице с них ничего не загружалось. Решатель в парсере оставлен, чтобы капчу можно было распознать, если она появится, но сейчас --solve-captcha делать нечего.
Что дают платные инструменты
2Captcha Browser API (--cdp-endpoint) подходит для сервера, где нельзя или не хочется запускать браузер с экраном. Это удалённый браузер со страной выхода на выбор. Его проверили во всех трёх режимах через резидентный IP в Нидерландах. К одному профилю можно подключиться только одним соединением, поэтому --concurrency с ним игнорируется с предупреждением: для параллельной работы используйте несколько профилей. Если запустить сбор сразу после предыдущего, профиль может быть ещё занят и ответить HTTP 500. Парсер повторит подключение четыре раза с интервалом в десять секунд и напишет в логе, в чём дело. Отпечаток, user agent и прокси поверх него не добавляйте: у удалённого браузера всё это своё.
Прокси (--proxy, --proxy-file) нужны для больших объёмов и разных адресов. Headless-браузеру они не помогут. Есть и ещё одна сложность: Chromium не умеет авторизоваться на SOCKS5-прокси, а Selenium не умеет авторизоваться ни на каких. Обойти обе проблемы помогает режим белого списка IP в резидентных прокси 2Captcha: вы добавляете свой IP в белый список и получаете подключения без логина и пароля.
bash
curl "https://api.2captcha.com/proxy/generate_white_list_connections\
?key=$TWOCAPTCHA_KEY&ip=YOUR.IP.HERE&protocol=socks5&connection_count=3&country=nl"
Сохраните полученные строки host:port в файл и передайте его через --proxy-file. 11 сентября 2026 года так получили три порта с тремя разными резидентными IP в Нидерландах, и они сразу заработали в Playwright, Selenium и pyppeteer. HTTP-подключения, созданные тем же способом, так и не ответили. Другие параметры описаны в документации Proxy API.
Scraper API (scraper_api_client.py) загружает страницы без браузера, 11 сентября 2026 года это стоило $0,0005 за запрос. Он получает ID, название, ссылку, фотографии, аукцион и признак резерва каждого лота, но цена, статус ставки и число добавлений в избранное пустые во всех строках: они появляются только после выполнения JavaScript. Этот способ подходит, чтобы дёшево составить список лотов или проверить, на месте ли они, а для ставок нужен браузерный движок.
Отпечатки браузера (--fingerprint) дают устойчивый «профиль» устройства. В --fp-tags передавайте один тег операционной системы: Windows, Microsoft Windows или Android. На список тегов или теги вроде Chrome и Desktop API отвечает ошибкой HTTP 400.
Выходные файлы и коды выхода
Каждый запуск сохраняет результаты и файл .meta.json со статусом, stop_reason и номерами страниц, которые не загрузились. Если ничего не найдено, предыдущий файл не перезаписывается, пока вы не передадите --allow-empty. В CSV текстовые ячейки, которые начинаются с =, +, -, @, табуляции или перевода строки, получают апостроф в начале, чтобы Excel не принял их за формулы. В JSON текст сохраняется как есть.
| Код | Значение |
|---|---|
| 0 | Лоты сохранены |
| 1 | Сбой |
| 2 | Ошибка в команде, например стартовая страница дальше сотой или Selenium с прокси, которому нужен пароль |
| 3 | Блокировка — здесь почти всегда из-за headless |
| 4 | Лотов нет: пустой поиск, снятый лот, страница за концом каталога |
| 5 | Страницы не удалось получить: таймаут, нерабочий прокси, удалённый браузер отказал в подключении |
| 6 | Частичный результат |
Ловушки, которые выглядят как баги
- В некоторых строках нет цены. Это лоты, у которых не достигнута резервная цена. Все 57 пустых цен в 13 снимках были у лотов с reserve_price_set true, и шли они вперемешку с остальными, а не в конце страницы. Поэтому не оценивайте запуск по доле заполненных цен (87–100% на страницах категорий и 68% на одном аукционе, где много резервов). Проверяйте правило: пустая цена всегда должна идти вместе с резервом. Контрольный запуск проверяет именно это.
- Финальная цена ещё не цена продажи. bid_kind final означает последнюю ставку по закрытому лоту. Один лот в снимках дошёл до €1300, но резерв достигнут не был и sold стоял false — его никто не купил. Прежде чем заносить цену в историю, посмотрите на sold.
- bid_count у всех лотов равен 10. Сайт отдаёт только десять последних ставок и не сообщает общее число. bid_count_is_floor true означает «не меньше 10».
- В строках каталога пустой brand. Название вроде «Cartier - Tank Must de Cartier PM - No reserve price - …» можно было бы разрезать по дефису, но это была бы догадка. В режиме lot бренд берётся из характеристик самого лота.
- time_left_text не превращается в дату. На странице каталога нет точного времени, от которого можно отсчитать, и такая дата была бы вашим временем, а не данными сайта. Точное время берите со страниц лотов и аукционов.
- В поле цены стоит невидимый символ. Это пробел нулевой ширины, которым сайт заполняет пустое поле. Парсер считает такую цену пустой. Простая проверка на «не пусто» посчитала бы поле заполненным и записала бы невидимый символ в каждую строку.
Сравнение запусков
bash
python3 diff_runs.py --old watches_mon.json --new watches_tue.json --fail-on-change
diff_runs.py сопоставляет два запуска по sku и показывает, какие лоты появились, пропали или изменились. Он следит за ценой, статусом ставки, резервом, продажей, ценой «купить сейчас» и статусом аукциона. На аукционе большая часть изменений — это просто торги, которые идут своим чередом. Поэтому лоты, у которых bid_kind сменился с current на final, попадают в отдельную группу lifecycle, и --fail-on-change её не учитывает. То, что осталось в группе изменённых, стоит посмотреть внимательно. Сравнивать незавершённые запуски, запуски в разных режимах и запуски по разным каталогам (например, категорию с поиском) инструмент отказывается. Для этого он сверяет стартовые адреса, записанные в .meta.json.
Пример строки
Один и тот же лот из sample_output.json в репозитории, снятый 10 ноября 2026 года сначала из каталога, а потом в режиме lot (часть полей):
json
{
"url": "https://www.catawiki.com/en/l/108247673-tecnotempo-automatic-reborn-no-reserve-price-tt-re-ggr-men-2025",
"sku": "108247673",
"title": "Tecnotempo - Automatic - \"Reborn\" - - No reserve price - TT.RE.GGR - Men - 2025+",
"brand": "Tecnotempo",
"price": 97.0,
"currency": "EUR",
"price_source": "next_data",
"bid_kind": "current",
"bid_count": 10,
"bid_count_is_floor": true,
"next_min_bid": 100.0,
"bidding_start_at": "2026-11-03T15:00:00+00:00",
"bidding_end_at": "2026-11-10T18:02:05+00:00",
"reserve_price_set": false,
"sold": false,
"favorite_count": 41,
"subtitle": "Automatic - Steel",
"estimate_min": 800.0,
"estimate_max": 900.0,
"auction_id": "1297161",
"auction_title": "Unused Watches Auction",
"seller_id": "1818461",
"seller_country": "Italy",
"seller_score": 100.0,
"seller_feedback_count": 13706,
"listing_kind": "lot"
}
В каталоге у этого лота было «8 hours left», пустой brand и цена «купить сейчас» €700. Режим lot добавил точное время окончания, оценку и продавца. Обратите внимание на разрыв: текущая ставка €97 при оценке €800–900, без резерва, за восемь часов до конца торгов. Как раз такие лоты и помогают находить эти данные.
Что делать с результатами: цены продажи и оценки
Полезно посмотреть, как итоговая цена проданных лотов соотносится с оценкой эксперта. Соберите строки в режиме lot по интересующим лотам, лучше из уже закрытых аукционов, и запустите:
python
import json
from statistics import median
rows = json.load(open("lots.json", encoding="utf-8"))
ratios = []
for r in rows:
if r.get("bid_kind") != "final" or r.get("sold") is not True:
continue # не продан или торги ещё идут — это не цена продажи
lo, hi = r.get("estimate_min"), r.get("estimate_max")
if not (r.get("price") and lo and hi):
continue
ratio = r["price"] / ((lo + hi) / 2)
ratios.append(ratio)
print(f"€{r['price']:>8,.0f} оценка €{lo:,.0f}–{hi:,.0f} {ratio:>5.0%} {r['title'][:50]}")
if ratios:
print(f"\nПродано лотов: {len(ratios)}, медиана — {median(ratios):.0%} от середины оценки")
Фильтр здесь важнее арифметики. Без проверки sold в историю цен попал бы и тот лот за €1300, который никто не купил.
Ограничения
- Не больше 100 страниц на каталог. Чтобы собрать больше, используйте фильтры или собирайте аукционы.
- bid_count ограничен десятью последними ставками.
- На страницах каталога нет точного времени, для него нужны страницы лотов или аукционов.
- Scraper API собирает каталог, но без цен.
- Headless-браузер не пускают, поэтому на сервере нужен xvfb-run или Browser API.
- Рейтингов и старых цен на Catawiki нет, эти колонки всегда пустые.
Частые вопросы
Почему парсер открывает окно браузера?
Потому что Catawiki не пускает headless-браузеры. На сервере запускайте парсер через xvfb-run или используйте Browser API.
Нужен ли прокси?
Нет. IP здесь ничего не решает, решает тип браузера. Браузер с окном с сервера в дата-центре открыл все разделы. Прокси пригодятся только для больших объёмов.
Пустая цена — это ошибка?
Нет, это лот с недостигнутой резервной ценой. У каждой пустой цены reserve_price_set равен true.
Можно ли получить всю историю ставок?
Нет. Сайт отдаёт только десять последних ставок и не сообщает их общее число.
Как получить цены продажи?
Соберите закрытые лоты в режиме lot и оставьте только строки, где bid_kind равен final, а sold — true.
Законно ли парсить Catawiki?
Парсер читает публичные страницы, не входит в аккаунт и не делает ставок. Допустимо ли ваше использование, зависит от законов вашей страны и правил Catawiki. Проверьте и то и другое и не убирайте паузу между запросами. Это не юридическая консультация.
Итоги
Главное, что нужно знать про Catawiki: сайту всё равно, откуда вы подключаетесь, важно только, есть ли у браузера окно. Если это учесть, данные собираются без проблем. А дальше, прежде чем называть какую-то сумму ценой продажи, проверьте sold.
С чего начать: склонируйте репозиторий и запустите парсер на своём компьютере без какой-либо настройки. Для серверов без экрана или для выхода из определённой страны зарегистрируйтесь в 2Captcha и используйте 2Captcha Browser API.
Исходный код
- Репозиторий: github.com/2scraper/catawiki-scraper (MIT)
- Страница проекта: 2scraper.com/scrapers/catawiki-scraper
- Все парсеры: github.com/2scraper
Документация
- Документация Browser API: CDP-адрес и настройки профиля.
- Резидентные прокси и Proxy API: подключения по белому списку без логина и пароля.
- Scraper API: загрузка страниц без браузера.
- Быстрый старт: API-ключ, первый запрос, первый результат.
Похожие руководства
- Как запускать открытые парсеры 2scraper: установка, коды выхода и режимы доступа для всех репозиториев.
- Как парсить Rakuten: цены и баллы японского маркетплейса.
- Как парсить Flippa: продажа онлайн-бизнесов, цены и мультипликаторы.
- Как парсить Zimmo: бельгийская недвижимость за Cloudflare.
- Как парсить SHEIN: JSON внутри страницы и проверка с картинками.
- Как парсить Google Play: рейтинги приложений по странам и вся история отзывов.