Логотип «2Captcha»Перейти на главную страницу
Туториалы по обходу капчи

Эта статья была полезной?

Как парсить Tokopedia

Джерри Слиман
Джерри Слиман

Технический специалист

Tokopedia — один из крупнейших маркетплейсов Индонезии. На страницах поиска и категорий у каждого товара указаны цена в рупиях, скидка, рейтинг, число продаж, магазин и город магазина.

Получить эти страницы непросто. Tokopedia не отказывает адресу, которому не доверяет. Она не отвечает совсем: соединение открывается и закрывается без кода ответа и без страницы ошибки. Обычный HTTP-клиент и настоящий браузер с одного адреса получают одинаковый результат.

С данными тоже есть сложности. На странице выдачи нет структурированных данных, поэтому все поля читаются из карточек товаров. У поиска нет номеров страниц, товары добавляются при прокрутке. Надпись «100rb+ terjual» на карточке значит «продано больше 100 000», а не точное число.

В статье разберём открытый парсер 2scraper/tokopedia-scraper. Мы установим его, подключим к RuCaptcha Browser API, выгрузим поиск и категории в JSON или CSV и посчитаем медианные цены и скидки. Работаем с движком Playwright. Все цифры взяты из README и changelog проекта, у каждой указана дата замера.

Что мы получим на выходе

Парсер читает три вида страниц:

  • поиск, например /search?st=product&q=kopi;
  • категорию, например /p/makanan-minuman/minuman/kopi-bubuk;
  • страницу товара /{магазин}/{товар}, с флагом --mode product.

Каждый товар становится одной строкой с такими полями:

Поле Что в нём Заполнено, поиск «kopi» (10.09.2026)
sku Путь ссылки на товар. По нему сопоставляются строки поиска и строки страниц товаров
title Название товара 100%
price, currency Цена числом, всегда в IDR 100%
original_price, discount_pct Цена до скидки и скидка, рассчитанная по двум ценам 76%
rating Средняя оценка из 5 98%
sold, sold_is_floor Число продаж и признак того, что это минимум 100%
brand, shop_slug, shop_location Название магазина, часть ссылки с магазином, город или округ магазина 100%
image_url Главное фото товара или null, если фото не загрузилось 36%
slug_id Длинное число в конце ссылки на товар, если оно есть 72%
url, page, position, category, scraped_at, price_source Ссылка, номер страницы и позиция, ваша метка, время запуска, источник цены

Проценты посчитаны по поиску «kopi» (кофе), который 10 сентября 2026 года дал 155 строк. У двух товаров не было отзывов, поэтому нет и рейтинга. У товаров без original_price не было скидки.

Страницы категорий заполняют меньше полей. На их карточках нет рейтинга, продаж и старой цены: их не было ни на одной из 60 карточек. Колонки остаются в выгрузке, потому что поиск и страницы товаров их заполняют.

Страница товара добавляет product_id, shop_id, condition, weight_grams, stock_max, listed_at, review_count, in_stock и category_url. Значение sold там точное, а sold_is_floor равно false.

Что понадобится

Нужен Python 3.9 или новее. Каждый движок ставьте в отдельное виртуальное окружение, потому что зависимости Playwright, Selenium и pyppeteer конфликтуют. pyppeteer больше не поддерживается.

Ещё нужен адрес, которому Tokopedia отвечает. 10 сентября 2026 года сайт не ответил домашнему подключению в Германии, так что домашний IP не гарантирует доступ. Работает RuCaptcha Browser API. Он даёт удалённый браузер с резидентным IP-адресом в выбранной стране. Все замеры в README репозитория сделаны через него.

Selenium не может подключиться к удалённому браузеру, который требует пароль. С Browser API используйте Playwright или pyppeteer.

Установка

bash Copy
git clone https://github.com/2scraper/tokopedia-scraper.git
cd tokopedia-scraper
python3 -m venv .venv && source .venv/bin/activate   # Windows: .venv\Scripts\activate

pip install -r requirements.txt -r requirements-playwright.txt
playwright install chromium   # не нужно, если подключаетесь только к Browser API

cp .env.example .env
python3 env_config.py   # покажет, какие настройки подхвачены, секреты не выводит

В файле .env четыре настройки:

  • TOKOPEDIA_CDP_ENDPOINT — адрес подключения к Browser API.
  • TOKOPEDIA_URL — страница по умолчанию. Её можно не менять.
  • TOKOPEDIA_PROXY — адрес прокси.
  • TWOCAPTCHA_KEY — API-ключ RuCaptcha для капчи. Сейчас Tokopedia он не нужен, так как капча не встречается.

Пароли и ключи храните в .env. Всё, что вы пишете в командной строке, сохраняется в истории shell и видно в списке процессов.

Добавьте в .env адрес Browser API. Часть country-id выбирает индонезийский IP-адрес, а pid — это идентификатор профиля:

bash Copy
# .env
TOKOPEDIA_CDP_ENDPOINT=ws://{login}-zone-scraping_browser-country-id-pid-{profileId}:{password}@cb.2captcha.com:9222

Если в значении осталась часть в фигурных скобках, env_config.py сообщит, что настройка не задана.

Первый запуск

bash Copy
# Категория молотого кофе, 3 страницы, JSON и CSV
python3 playwright_scraper.py \
  --url "https://www.tokopedia.com/p/makanan-minuman/minuman/kopi-bubuk" \
  --pages 3 --format both --out kopi_category

# Поиск «kopi»: одна страница, которую парсер прокручивает
python3 playwright_scraper.py --url "https://www.tokopedia.com/search?st=product&q=kopi" --out kopi_search

# Один товар с настоящим id, точным числом продаж и весом
python3 playwright_scraper.py --mode product \
  --url "https://www.tokopedia.com/zayn-snack-448/kopi-hitam-bubuk-robusta-original-berat-1-kg-coffee-kualitas-premium-pahitnya-pas-cocok-untuk-kopi-susu-1731177319241910164" \
  --out kopi_product

# В Docker, с .env, подключённым в контейнер
docker build -t tokopedia-scraper .
docker run --rm -v "$PWD/out:/out" -v "$PWD/.env:/app/.env" tokopedia-scraper \
  --url "https://www.tokopedia.com/p/makanan-minuman/minuman/kopi-bubuk" --pages 3 --out /out/kopi

Парсер читает TOKOPEDIA_CDP_ENDPOINT из .env, поэтому флаг --cdp-endpoint не нужен. Флаг --category задаёт метку для каждой строки. Без него метка берётся из ссылки.

По умолчанию парсер читает одну страницу, пишет JSON и CSV в файлы tokopedia_products, делает три попытки загрузить каждую страницу, ждёт две секунды между страницами и загружает страницы по одной. С версии 0.2.0 --retries 0 считается ошибкой, потому что флаг задаёт число попыток. Для одной попытки укажите 1.

Как парсер достаёт данные

На страницах выдачи нет структурированных данных. В шести сохранённых страницах не нашлось ни JSON-LD, ни NEXT_DATA, ни состояния Apollo. Сайт загружает список товаров в браузере через GraphQL, поэтому парсер ждёт, пока появятся карточки, и читает их. По этой причине price_source в каждой строке выдачи равен dom. Страницы товаров устроены иначе. В них есть объект window.__cache, и --mode product читает из него id товара, точное число продаж, число отзывов, состояние и вес.

Имена классов на Tokopedia генерируются и меняются с каждым релизом. Прототип репозитория из апреля 2026 года использовал атрибуты data-testid, например linkProductName и linkProductPrice. Через пять месяцев ни одного из них не осталось. Не изменились только три вещи: формат ссылок на товары, три атрибута data-testid у контейнеров и класс flip, в котором лежат название магазина и город. Парсер находит список товаров и каждую карточку по этим элементам. Поля он читает в том порядке, в каком их показывает карточка: бейдж, название, цена, старая цена, рейтинг, продажи, магазин и город.

Tokopedia загружает фото на карточке, только когда карточка попадает в видимую часть страницы. До этого на карточке стоит заглушка. Так было на 55 из 95 карточек поиска и на 30 из 60 карточек категории. Кроме того, на карточке поиска от трёх до семи картинок, например звёздочка рейтинга и значок магазина. Парсер берёт только картинку с сервера изображений сайта, в адресе которой есть ~tplv-. Эта метка есть у каждого фото товара и нет ни у одного значка. Во всех остальных случаях image_url равно null.

19-значное число в конце большинства ссылок на товары — не id товара. У одного товара ссылка заканчивается на 1731177319241910164, а id товара — 103490518624. Этот id показывает только страница товара. В 4 из 40 ссылок такого числа не было. Поэтому sku — это путь ссылки, он есть у каждого товара. slug_id хранит число, если оно есть, а product_id заполняется только в --mode product.

Парсер убирает из ссылок метки UTM и идентификатор поиска. Без этого строка поиска и строка страницы товара для одного товара не совпали бы.

Поиск и категории

Страницы категорий понимают ?page=N. В тесте на первой странице было 66 товаров, на второй — 61. Три товара попали на обе страницы, потому что блок «товары дешевле» повторяется на каждой странице. Парсер читает только основной список товаров.

У поиска номеров страниц нет. Если добавить ?page=2 к ссылке поиска, выдача будет пустой: HTTP 200 и текст «Oops, produk nggak ditemukan» («Ой, товары не найдены»). Поэтому на поиске --pages задаёт, насколько далеко прокручивать. Запуск заканчивается, когда прокрутка не добавляет новых товаров. 10 сентября поиск «kopi» закончился после шести раундов прокрутки: 15, потом 35, потом 155 карточек.

Tokopedia не показывает общее число результатов. В заголовке поиска написано «Menampilkan 1 - 60 barang dari total untuk "kopi"» («Показано 1–60 товаров из всего по запросу "kopi"»), и итог всегда пустой. Парсер сохраняет текст заголовка в файл запуска, но не использует его.

Ссылка с одной частью после /p/, например /p/makanan-minuman, — это не список товаров. Это страница с баннерами и рекомендациями, без списка товаров. Парсер возвращает там ноль строк и выходит с кодом 4. Списки товаров находятся на один или два уровня глубже, например /p/makanan-minuman/minuman/kopi-bubuk.

Как получить ответ от Tokopedia

Tokopedia не отправляет ошибку 403 или страницу проверки адресу, которому не доверяет. Она не отправляет ничего. Мы проверили это 10 сентября 2026 года с домашнего подключения в Германии:

Запрос Результат
curl по HTTP/2 Код 000, соединение закрыто (INTERNAL_ERROR)
curl по HTTP/1.1 Код 000, таймаут, 0 байт
curl по обычному HTTP Код 000, таймаут, 0 байт
Chromium без окна через Playwright net::ERR_HTTP2_PROTOCOL_ERROR

Браузер получил тот же результат, что и curl, значит, причина в IP-адресе, а не в браузере. В то же время с того же компьютера shopee.co.id ответил кодом 200.

Через RuCaptcha Browser API те же страницы открылись из двух стран:

Индонезия (country-id) США (country-us)
Где находится IP-адрес Джокьякарта, Telkomsel Аврора, Иллинойс, Comcast
Код ответа 200 200
Товаров на странице 95 95
Язык страницы id id
Валюта IDR IDR
Расхождений в цене на 68 товарах в обоих запусках 0

Страна не меняет результат. Tokopedia показывает всем посетителям один и тот же сайт, язык и валюту. Поэтому флага --country в парсере нет.

Через RuCaptcha Browser API

На Tokopedia работает этот способ. Добавьте адрес подключения в .env, как в разделе «Установка», и запустите парсер. Страна в адресе влияет только на то, ответит ли сайт.

Используйте один и тот же идентификатор профиля (pid) во всех запусках, потому что профиль хранит cookies. Профиль допускает одно подключение за раз. Если второй запуск стартует на том же pid, пока первый подключён, второй получит HTTP 500 profile_locked и выйдет с кодом 5. Так бывает даже после окончания первого запуска, потому что сервис освобождает профиль с задержкой. Выжидайте около минуты между запусками на одном pid или используйте отдельный pid для каждого параллельного запуска. По той же причине с Browser API парсер не учитывает --concurrency.

Если при подключении приходит HTTP 401 deny_no_user, сервис больше не принимает логин профиля. Другой pid не поможет. Получите новый адрес подключения, как описано в документации Browser API.

Сессия удалённого браузера иногда закрывается во время запуска. Так было в трёх тестах из шести, и следующая попытка каждый раз проходила. Парсер считает это временной ошибкой и повторяет загрузку.

Через резидентный прокси

Прокси стоил бы дешевле, но сейчас он не работает с браузером на этом сайте. 10 сентября резидентный прокси RuCaptcha подключился к IP-адресу в Бандунге, Индонезия, и запрос через Python requests прошёл. Каждая загрузка страницы в Chromium через тот же прокси заканчивалась таймаутом, в том числе на shopee.co.id. Проблема в связке браузера и прокси, а не в Tokopedia, и её причина пока не известна. Флаги --proxy и --proxy-file в парсере есть, но README их не рекомендует.

Со своего подключения

Если запуск с вашего подключения выходит с кодом 3, а отладочный файл весит 0 байт, Tokopedia не ответила вашему адресу. Повторы и API-ключ для капчи не помогут. Используйте Browser API.

Капча и Scraper API

Мы не нашли на Tokopedia ни капчи, ни проверки на бота. Они просмотрели 13 сохранённых страниц двух видов из двух стран. Не было ни reCAPTCHA, ни hCaptcha, ни Turnstile, ни DataDome, ни PerimeterX, ни Kasada, ни AWS WAF, ни страницы блокировки Akamai. В некоторых страницах, сохранённых через Browser API, есть текст cf-turnstile. Его добавляет на каждую страницу расширение Browser API для решения капчи, и парсер удаляет этот текст, прежде чем искать капчу.

reCAPTCHA у Tokopedia настроена. На каждой странице есть пустой элемент captcha-widgets и ключ сайта reCAPTCHA. Сайт не показывает капчу на страницах поиска и категорий, но может показать её при входе, на оформлении заказа или недоверенному IP-адресу. Парсер проверяет страницу на скрипт reCAPTCHA, фреймы виджета, атрибут data-sitekey и содержимое внутри captcha-widgets. Если капча появится, парсер может отправить её в RuCaptcha, но оплатит не больше одного решения на страницу. По умолчанию он сначала считает ссылки на товары на странице и отправляет задачу, только если их нет. Задача описана в документации по reCAPTCHA V2.

RuCaptcha Scraper API плохо подходит для списков товаров на этом сайте. В тесте он вернул HTTP 200 и страницу на 416 939 байт за $0.0005, а на ней было 5 товаров. Браузер читает с той же страницы 60 товаров, потому что Tokopedia добавляет товары при прокрутке.

Файлы на выходе и коды завершения

Запуск создаёт <out>.json, <out>.csv или оба файла, а также <out>.meta.json. В .meta.json записаны режим (listing или product), статус запуска (complete, partial или failed), причина остановки (stop_reason), число запрошенных и прочитанных страниц, неудачные страницы и число строк. Для поиска там же записаны раунды прокрутки и текст заголовка поиска.

Если запуск ничего не нашёл, он не пишет файлы, и прошлая выгрузка остаётся без изменений. Чтобы записать пустой файл, используйте --allow-empty. Парсер сначала пишет каждый файл во временную копию, поэтому сбой не повредит прошлую выгрузку. В CSV экранируются ячейки, которые начинаются как формула Excel.

Код Что случилось Что делать
0 Всё собрано Данные записаны.
1 Сбой Ошибка в парсере, смотрите traceback.
2 Неверная команда Например, ссылка не на Tokopedia, ссылка на товар без --mode product, --retries 0 или неправильный прокси.
3 Блокировка Tokopedia ничего не прислала или страница вернула 403, 429 или 5xx. Используйте Browser API.
4 Нет товаров Страница /p/<slug> без списка товаров, поиск без результатов или страница после последней страницы категории.
5 Страница не получена Страница не загрузилась, Browser API отклонил подключение (profile_locked, устаревший логин), список товаров так и не появился или парсер ничего не прочитал из карточек.
6 Собрано частично Часть строк собрана, потом страница не загрузилась или не прочиталась. Причина в stop_reason.

Код 4 на этом сайте — не ошибка. Если вы ждали товары, сначала проверьте вид ссылки.

Как следить за рынком

В репозитории есть diff_runs.py. Он сравнивает два запуска по sku и показывает, какие товары добавились или пропали и где изменились цена, скидка, рейтинг или число продаж:

bash Copy
python3 diff_runs.py --old kopi_2026-10-01.json --new kopi_2026-10-08.json --fail-on-change

С --fail-on-change скрипт выходит с кодом 1, если что-то изменилось. Это удобно для запусков по расписанию. Скрипт сравнивает только полные запуски, потому что страницы, которые неполный запуск не прочитал, выглядели бы как пропавшие товары. Ещё он не сравнивает запуск по выдаче с запуском по страницам товаров, потому что sold в одном — минимум, а в другом — точное число. Флаг --force отключает обе проверки, но мы его не рекомендуем.

Скрипт сравнивает sold вместе с sold_is_floor. На карточке написано «100rb+ terjual», где rb значит ribu (тысяча). Парсер записывает 100000 и помечает число как минимум. Страница того же товара показала 207785 штук. Без sold_is_floor сравнение показало бы больше 100 000 продаж, которых не было.

Пример строки

Строка из sample_output.json в репозитории: поиск «kopi», 10 сентября 2026 года. Ссылка на фото сокращена.

json Copy
{
  "source": "tokopedia.com",
  "scraped_at": "2026-09-10T10:23:34.301907+00:00",
  "url": "https://www.tokopedia.com/zayn-snack-448/kopi-hitam-bubuk-robusta-original-berat-1-kg-coffee-kualitas-premium-pahitnya-pas-cocok-untuk-kopi-susu-1731177319241910164",
  "sku": "/zayn-snack-448/kopi-hitam-bubuk-robusta-original-berat-1-kg-coffee-kualitas-premium-pahitnya-pas-cocok-untuk-kopi-susu-1731177319241910164",
  "title": "Kopi Hitam Bubuk Robusta Original Berat 1 Kg - Coffee Kualitas Premium - Pahitnya pas cocok untuk kopi Susu",
  "brand": "Zayn Snack",
  "price": 7500.0,
  "currency": "IDR",
  "original_price": 120000.0,
  "discount_pct": 93.75,
  "rating": 4.7,
  "review_count": null,
  "in_stock": null,
  "image_url": "https://p16-images-sign-sg.tokopedia-static.net/…~tplv-aphluv4xwc-white-pad-v1:200:200.webp",
  "category": null,
  "price_source": "dom",
  "page": 1,
  "position": 2,
  "shop_slug": "zayn-snack-448",
  "shop_location": "Kab. Magetan",
  "sold": 100000,
  "sold_is_floor": true,
  "slug_id": "1731177319241910164",
  "product_id": null,
  "shop_id": null,
  "condition": null,
  "weight_grams": null,
  "stock_max": null,
  "listed_at": null,
  "category_url": null
}

Скидка 94% указана верно. Продавцы сами задают обе цены. На другой карточке килограмм кофе стоил Rp3.653 при старой цене Rp117.000, а бейдж сайта показывал 97%. Парсер считает скидку по двум ценам и не читает бейдж, потому что Tokopedia показывает бейдж только для крупных скидок. На двух карточках были скидки 7% и 8% без бейджа. Расчёт дал скидку для 88 карточек из 95, а бейдж — для 86. Там, где было и то и другое, все 86 значений совпали.

Строка страницы того же товара в sample_output.json содержит product_id 103490518624, sold 207786 при sold_is_floor false, weight_grams 1000 и price_source meta+apollo.

Считаем рынок

Скрипт считает медианную цену, число товаров со скидкой и медианную скидку, медианную цену по городу магазина и минимальное число продаж. Запускайте его на результатах поиска, потому что у категорий нет скидок и продаж.

python Copy
import json
from collections import defaultdict
from pathlib import Path
from statistics import median


def snapshot(results_file: str) -> None:
    path = Path(results_file)
    rows = json.loads(path.read_text(encoding="utf-8"))

    meta_path = Path(f"{path.with_suffix('')}.meta.json")
    if meta_path.exists():
        meta = json.loads(meta_path.read_text(encoding="utf-8"))
        print(f"Запуск: режим {meta.get('mode')}, статус {meta.get('status')}, строк: {len(rows)}")

    priced = [r for r in rows if r.get("price")]
    if not priced:
        print("Нет строк с ценой")
        return
    print(f"Медианная цена: Rp{median(r['price'] for r in priced):,.0f} (n={len(priced)})")

    discounted = [r for r in priced if r.get("discount_pct") is not None]
    if discounted:
        print(f"Со скидкой: {len(discounted)} из {len(priced)}, "
              f"медианная скидка {median(r['discount_pct'] for r in discounted):.0f}%")

    by_city = defaultdict(list)
    for r in priced:
        if r.get("shop_location"):
            by_city[r["shop_location"]].append(r["price"])
    for city, prices in sorted(by_city.items(), key=lambda kv: -len(kv[1]))[:10]:
        print(f"{city:<20} n={len(prices):<3} медиана Rp{median(prices):,.0f}")

    floors = [r["sold"] for r in priced if r.get("sold") is not None and r.get("sold_is_floor")]
    if floors:
        print(f"Продано, нижняя граница: не меньше {sum(floors):,} шт. в {len(floors)} объявлениях")


if __name__ == "__main__":
    snapshot("kopi_search.json")

Скрипт считает скидку только для товаров со старой ценой, а продажи складывает как минимум. Если запускать его на еженедельных результатах одного поиска, получится простой индекс цен. diff_runs.py покажет, какие товары за неделю добавились или пропали.

Ограничения

Tokopedia не отвечает большинству IP-адресов, а резидентный прокси не работает с браузером. Используйте Browser API. Движок Selenium к нему подключиться не может.

Профиль Browser API допускает одно подключение за раз, поэтому страницы читаются по одной.

--concurrency не ускоряет поиск, потому что у него нет номеров страниц. Категории его поддерживают, но на их карточках нет рейтинга, продаж и старой цены.

image_url заполнено примерно в 40% строк, потому что фото ниже по странице не успели загрузиться. product_id, точное число продаж и вес есть только на страницах товаров.

Tokopedia не показывает общее число результатов поиска, поэтому парсер не может его сообщить.

Страницы магазинов, отзывы и страницы, которые требуют входа, не поддерживаются. Рекламные товары не помечаются, потому что на проверенных страницах признаков рекламы не нашлось.

Частые вопросы

У Tokopedia есть API?
Публичного API для товаров нет. Ссылки на gql.tokopedia.com парсер не принимает. Он открывает страницы в браузере и читает их.

Почему запуск выходит с кодом 3?
Tokopedia не ответила вашему IP-адресу. Подключитесь через Browser API с помощью TOKOPEDIA_CDP_ENDPOINT. Повторы и API-ключ для капчи не помогут.

Нужен индонезийский IP?
Нет. Через Browser API сработали IP-адреса и в Индонезии, и в США, и оба вернули одни и те же товары и цены.

Почему на страницах категорий нет рейтинга и продаж?
Страницы категорий их не показывают. Используйте ссылку поиска или --mode product.

Итог

Tokopedia не отвечает IP-адресам, которым не доверяет, поэтому используйте RuCaptcha Browser API. На поиске парсер прокручивает страницу, а в категориях использует ?page=N. Считайте sold в строках поиска минимумом и будьте готовы к пустым значениям image_url. Чтобы отслеживать изменения, сравнивайте через diff_runs.py полные запуски одного режима.

С чего начать: зарегистрируйтесь в RuCaptcha, получите адрес подключения к RuCaptcha Browser API, склонируйте репозиторий и запустите его на странице поиска.

Исходный код

Документация

Похожие руководства