Логотип «2Captcha»Перейти на главную страницу
Туториалы по обходу капчи

Эта статья была полезной?

Как парсить Rakuten

Грегори Фишер
Грегори Фишер

Технический специалист

Rakuten Ichiba (rakuten.co.jp) — главный внутренний маркетплейс Японии. Сам он почти ничего не продаёт: на площадке работают тысячи независимых магазинов, поэтому одна и та же банка кофе встречается в десятках объявлений по десяткам цен. Если вам нужен датасет цен японского e-commerce, мониторинг цен и бонусных акций или сравнение магазинов, которые продают один товар, данные лежат здесь.

Rakuten стоит за Akamai, но 21 сентября 2026 года поиск на три страницы с обычного сервера в дата-центре вернул 135 товаров без прокси, ключа и аккаунта. Сложности начинаются в самих данных: заметная часть цены спрятана в баллах Rakuten, поиск молча останавливается на 6750 результатах, а если запросить страницу за последней, придёт первая с HTTP 200.

В этой статье разберём открытый парсер Rakuten из проекта 2scraper. Он выгружает поиск по ключевому слову, жанры и страницы товаров в JSON или CSV: цены, баллы, доставку, магазины и оценки. Работает локально на Playwright. Цифры ниже взяты из README и changelog проекта, у каждой указана дата замера.

Что вы получите

Два режима:

Режим Что передаёте Что получаете
listing Поиск по ключевому слову, выдачу жанра или страницу жанра 45 товаров на страницу, фильтры сайта сохраняются между страницами
product Одну страницу item.rakuten.co.jp Ту же строку плюс цены вариантов, их число и старую цену, если Rakuten её подтвердил

Каждый товар превращается в строку из 42 полей. Самые полезные:

Поле Что в нём
sku Собственный код товара Rakuten, {shopCode}:{manageNumber}. Одинаковый в обоих режимах, так что запуски listing и product склеиваются по нему
price, price_max, has_price_range Цена в иенах. price_max заполнен, если варианты стоят по-разному
subscription_price Цена по подписке, всегда ниже price
points, point_rate Баллы Rakuten за покупку и множитель, например 220 баллов при 10×
shipping_fee, free_shipping, delivery_estimate Стоимость доставки и срок доставки от магазина
shop_name, shop_code, shop_id, shop_url Магазин, который продаёт это объявление
genre_id, genre_path, category ID жанра Rakuten, путь к нему и читаемая цепочка жанров
rating, review_count Средняя оценка и число отзывов
is_super_deal, is_39shop, is_official_shop Флаг Super Deal, магазин программы 39 Shop (бесплатная доставка от ¥3980) и официальный магазин бренда
brand, tags Бренд из тега бренда Rakuten и набор тегов товара

На 405 строках с 11 страниц выдачи price, points и shop_code были заполнены везде, rating и review_count в 377 строках (у остальных нет отзывов), brand в 240, price_max в 95. Бесплатная доставка была у 317 из 405.

Официальный API и когда парсер удобнее

У Rakuten есть официальный API, Rakuten Web Service, а в нём Ichiba Item Search API. Если его хватает для вашей задачи, берите его: он документирован, стабилен, и его предлагает сам Rakuten.

По документации (версия 2026-07-01) нужно зарегистрировать приложение и передавать с каждым запросом applicationId и accessKey. На странице не больше 30 товаров, листать можно до 100-й страницы, то есть один запрос даёт максимум 3000 результатов. Если слишком часто слать одинаковые запросы, URL может на время перестать отвечать, а при превышении квоты приходит 429. Поля баллов учитывают только множители на товар, а не на весь магазин. Полей Super Deal и 39 Shop, как и цен по вариантам, в документации нет.

Парсер читает то, что видит покупатель. Регистрация не нужна, на запрос доступно 6750 результатов (150 страниц по 45), и рядом с каждым товаром есть флаги Super Deal, 39 Shop и официального магазина, срок доставки, цена по подписке и ID магазина. Режим product добавляет цены вариантов и подтверждённую старую цену. Минус тоже понятный: парсер зависит от вёрстки страниц, и гонять его стоит без спешки.

Что понадобится

  • Python от 3.9 до 3.13.
  • Playwright с Chromium, рекомендуемый движок. Есть версии на Selenium и pyppeteer с теми же флагами и колонками.
  • Отдельное виртуальное окружение под каждый движок. У Playwright и pyppeteer конфликт по pyee, у pyppeteer и Selenium по urllib3.
  • Ничего платного. Прокси, 2Captcha Browser API и Scraper API нужны по желанию, в основном для длинных запусков.

Установка

bash Copy
git clone https://github.com/2scraper/rakuten-scraper.git
cd rakuten-scraper
python3 -m venv .venv
source .venv/bin/activate  # Windows: .venv\Scripts\activate

pip install -r requirements.txt -r requirements-playwright.txt
playwright install chromium

cp .env.example .env
python3 env_config.py   # покажет, какие настройки подхватились, без вывода секретов

Для обычного запуска .env можно оставить пустым. Ключи и логины прокси храните там, а не в командной строке.

pyppeteer скачивает свой Chromium, и эта сборка запускается не везде. На Mac с Apple Silicon она под x86_64. Если браузер не стартует, передайте --chromium-path с путём к Chrome, который вы поставили сами, или используйте Playwright.

Первый запуск

bash Copy
# Поиск по ключевому слову, три страницы (コーヒー значит «кофе»)
python3 playwright_scraper.py \
  --url "https://search.rakuten.co.jp/search/mall/コーヒー/" --pages 3

# Выдача жанра по его ID, только CSV
python3 playwright_scraper.py \
  --url "https://www.rakuten.co.jp/category/100356/" --pages 5 --format csv

# Одна страница товара с вариантами
python3 playwright_scraper.py --mode product \
  --url "https://item.rakuten.co.jp/sawaicoffee-tea/solandluna/"

# Фильтры сайта входят в URL и сохраняются при листании
python3 playwright_scraper.py \
  --url "https://search.rakuten.co.jp/search/mall/コーヒー/?min=1000&max=3000" --pages 3

По умолчанию --pages 1, --delay 2 (секунды между страницами), --retries 3, --format both и --out rakuten_products. Так что первая команда запишет rakuten_products.json, rakuten_products.csv и rakuten_products.meta.json. Ищите по-японски: каталог пишут японские продавцы, и по английскому запросу находится намного меньше.

Подходит не любой адрес Rakuten. Работают поиск по ключевому слову, выдача жанра (search.rakuten.co.jp/search/mall/-/{genreId}/), страница жанра и страница товара. Витрина магазина (www.rakuten.co.jp/{shopCode}/) отклоняется с объяснением, потому что на ней вообще нет данных о товарах. ranking.rakuten.co.jp не реализован.

Как работает парсер

Где лежат данные

На странице поиска есть один блок JSON-LD, и это ловушка. В нём десять товаров из SEO-карусели рекомендаций, а на самой странице 45 товаров. Парсер, который верит JSON-LD, вернёт десять не тех товаров и отчитается об успехе.

Настоящие данные лежат в window.INITIAL_STATE на страницах выдачи (45 товаров и пагинация) и в JSON-скрипте item-page-app-data на страницах товаров. JSON-LD выдачи нужен ровно для одного, для валюты: в данных выдачи она нигде не указана, а этот блок Rakuten публикует только на первой странице. Если первая страница не загрузилась, currency остаётся пустой, а не подставляется наугад.

Страницы товаров в кодировке EUC-JP, а страницы выдачи в UTF-8. Браузер разбирается с этим сам. Если вы когда-нибудь будете забирать страницы товаров обычным HTTP-клиентом, декодируйте их как EUC-JP, иначе все названия превратятся в мусор.

Пагинация и потолок в 6750

Страницы задаются через ?p=N, по 45 товаров, и за последней страницей Rakuten врёт. Запрос 151-й страницы у выдачи из 150 страниц перенаправляет на первую и отдаёт её с HTTP 200. Страница жанра с ?p=2 возвращает первую страницу даже без перенаправления. Парсер, который поверил бы своему запросу, собирал бы первую страницу снова и снова и назвал бы файл полным.

Спасает то, что в данных Rakuten указано смещение, которое сервер на самом деле отдал. Парсер сверяет его на каждой странице, и при расхождении выдача заканчивается с stop_reason end_of_listing. Такой запуск считается завершённым.

Но завершённый не значит полный. Rakuten отдаёт не больше 6750 результатов на запрос, сколько бы ни нашёл. Один запрос сообщил о 3 053 682 совпадениях. Полный проход по 150 страницам честно завершён и покрывает 0,2% из них. Поэтому .meta.json рядом со статусом записывает total_results, reachable_max, page_size, capped_by_site и pages_beyond_cap. Чтобы собрать больше, режьте запрос фильтрами сайта (жанр, диапазон цен, теги) и запускайте каждый кусок отдельно.

Рекламные места

В данных страницы может быть 52 записи, а строк получится 45. Остальные семь — платные размещения, у которых вместо ссылки на товар стоит редирект для подсчёта кликов, так что строку не к чему привязать. Их число меняется между загрузками одного и того же URL, поэтому position считает записанные строки, а не места в выдаче. По этой же причине два движка могут вернуть немного разные наборы: 29 октября 2026 года Playwright и Selenium совпали на 44 товарах из 45 на каждой странице одного поиска с фильтром. На выдаче жанра 21 сентября 2026 года все три движка совпали полностью.

Блокировки, троттлинг и платные инструменты

Что на самом деле отклоняет Akamai

Rakuten не отклоняет адреса дата-центров. Он отклоняет клиентов, у которых заявленная личность расходится с TLS-отпечатком. Замер с одного адреса в дата-центре в Хельсинки:

Клиент Результат
curl со своим User-Agent 200, 919 КБ, 45 товаров
curl, который притворяется Chrome 200, 42–43 байта, отказ «Reference #…»
headless Chromium 200, 855 КБ, 45 товаров
Chromium с окном 200, 969 КБ, 45 товаров

Строки с curl перепроверили 29 октября 2026 года, результат тот же. Так что если вас отклоняют, сначала поищите маскировку, которую вы добавили сами, и только потом покупайте IP: браузерный User-Agent у HTTP-клиента или свой user agent поверх удалённого браузера. И учтите, что отказ приходит с HTTP 200, так что по коду ответа ничего не понять. Парсер смотрит на саму страницу: настоящая страница ссылается на хосты ресурсов Rakuten r10s.jp от 90 до 343 раз, отказ 0 или 1 раз.

Headless работает нормально и включён по умолчанию. Каждую неделю (по понедельникам) контрольный запуск с чистого GitHub-раннера без секретов проверяет, что так и осталось.

503 значит «помедленнее»

Когда клиент спешит, Rakuten отвечает HTTP 503 своей фирменной страницей «высокая нагрузка». Парсер ждёт на том же IP 6, потом 15, потом 30 секунд и не считает это блокировкой. URL, который дважды вернул 503 при запросах без пауз, отдал полные данные в 4 попытках из 4, как только между запросами поставили 6 секунд. Так что сначала увеличьте --delay, а потом уже думайте о прокси. Страница, которая остаётся 503 после всех ожиданий, записывается как неудачная со stop_reason throttled.

Прокси для длинных запусков

Прокси здесь дают объём, а не доступ. Для длинного запуска раскидайте страницы по разным IP:

bash Copy
# в .env
RAKUTEN_PROXY=http://{user}-zone-custom-region-jp:{password}@ap.proxy.2captcha.com:2334
bash Copy
python3 playwright_scraper.py \
  --url "https://search.rakuten.co.jp/search/mall/コーヒー/" --pages 20 \
  --proxy-rotate per-page --delay 4

Хост здесь — шлюз (ap, na или eu), а страна задаётся частью логина -region-jp из личного кабинета. При ротации per-page браузер перезапускается на каждой странице, чтобы cookies с одного IP не всплывали на другом. Для пула положите по одному прокси на строку в файл и передайте --proxy-file. Резидентные прокси 2Captcha есть и в Японии, а списки генерирует Proxy API. Японский IP стоит попробовать и в том случае, если последовательного клиента почему-то всё равно отклоняют.

Browser API, Scraper API и отпечатки

Всё это запускали на Rakuten 21 сентября 2026 года, и для базовой задачи ничего из этого не нужно:

Вариант Результат Что даёт
2Captcha Browser API (--cdp-endpoint) 90 строк за 2 страницы, complete Не нужен свой браузер, страна выхода на выбор, cookies хранятся в профиле
Резидентный прокси 90 строк за 2 страницы, complete Объём без 503
Отпечаток (--fingerprint) Применён, страницы отдались, 90 строк Последовательная «личность» устройства
Scraper API (scraper_api_client.py) 200, 45 товаров, один запрос на страницу Вообще без браузера

С Browser API --concurrency и явно указанный --proxy отклоняются с кодом 2, а --fingerprint игнорируется: у удалённого браузера уже есть IP и личность, а профиль допускает одно активное подключение. Selenium не умеет подключаться к endpoint с логином и паролем. Scraper API оплачивается за страницу: в одном запуске это стоило 0,0005, в другом 0,0003, так что смотрите цену в ответе или в личном кабинете.

Отпечаток не мешает, если он полный: user agent, client hints, часовой пояс, языки и платформа вместе. Отклоняют именно голую подмену user agent. Нагляднее всего это видно на pyppeteer: с подменой user agent первая страница отдавалась, а все следующие отклонялись, даже когда user agent был Linux на Linux. Если добавляете user agent или отпечаток в любой движок, проверяйте минимум на двух страницах.

Капчи нет

Капчи на Rakuten не настроено вообще. В 13 снимках не нашлось ни reCAPTCHA, ни hCaptcha, ни Turnstile, ни DataDome, ни PerimeterX и подобных, ни iframe с проверкой, ни sitekey. Отказ Akamai здесь занимает несколько десятков байт и никакого виджета не содержит, так что решать нечего.

Решатель reCAPTCHA v2 и v3 всё равно подключён, не больше одного решения на страницу, на случай если Rakuten между релизами включит защиту от ботов. Он работает только с --twocaptcha-key. Если Rakuten когда-нибудь покажет enterprise reCAPTCHA или Turnstile, 2Captcha решает обе, и работы будет только добавить этот тип задачи в парсер.

Выходные файлы и коды выхода

Каждый запуск пишет результаты и .meta.json со статусом, stop_reason, числом запрошенных, загруженных и неудачных страниц и цифрами потолка, о которых шла речь выше. Все файлы сначала пишутся во временный файл и потом переименовываются, так что сбой оставляет прошлый результат целым. Запуск, который ничего не нашёл, ничего и не пишет, если не указать --allow-empty. --out может указывать на ещё не существующую папку, она создастся до первого запроса.

В CSV текстовые ячейки, которые начинаются с =, +, - или @, получают апостроф в начале, чтобы таблица не выполнила их как формулу. Названия на Rakuten часто начинаются со значка скидки, и «-16%OFF» отделяет от ведущего минуса всего один продавец. JSON хранит текст как есть, а csv_cells_escaped считает разницу.

Код Значение
0 Товары записаны
1 Сбой
2 Ошибка в команде, например --proxy вместе с --cdp-endpoint
3 Блокировка до разбора страницы
4 Страница отдана, но товаров ноль
5 Контент не получен: мёртвый прокси, загрузка не закончилась, страница осталась под троттлингом после всех ожиданий
6 Частично: часть страниц не загрузилась, они перечислены в .meta.json

Японская специфика, которая меняет цифры

Начнём с баллов: по сути это скидка, которой не видно в цене. Акция с баллами 10× фактически даёт около 10% скидки, а цена не меняется. Мониторинг, который следит только за price, назовёт товар неизменным на протяжении всей Super Sale. В points лежит число баллов (при оплате 1 балл равен 1 иене), так что price минус points честно оценивает, сколько покупатель платит на самом деле. В 27 строках из 405 баллов 0, и это не пропуск, а действительно ноль.

Цены всегда в иенах, что бы вы ни указали в --locale или ?lang=. Английская версия переводит навигацию сайта, а названия товаров, магазинов и теги пишут продавцы по-японски, и они возвращаются байт в байт.

Вместо категорий у Rakuten жанры. genre_id и genre_path задают собственное числовое дерево жанров, которое не зависит от языка, а category хранит читаемую цепочку на японском, например «напитки > кофе > растворимый кофе». genre_rank показывает место товара в рейтинге жанра, а не позицию в вашей выдаче, и заполнен он только в 20 строках из 405.

Не забывайте, что один товар продают много магазинов: 405 строк пришли от 74 разных продавцов. sku принадлежит объявлению конкретного магазина, поэтому один и тот же товар у пяти магазинов даст пять sku. Чтобы сравнить магазины по одному товару, ищите его узким запросом и группируйте строки по бренду и названию.

Для фильтрации пригодятся три флага. is_official_shop отмечает официальный магазин бренда, is_39shop магазин программы 39 Shop (бесплатная доставка от ¥3980), is_super_deal объявление Super Deal с повышенными баллами.

Ловушки, которые выглядят как баги

  • rating и review_count пустые в некоторых строках. У товара нет отзывов. Rakuten записывает это как оценку 0 при 0 отзывах, а ноль утянул бы вниз любое среднее, поэтому оба поля остаются пустыми.
  • original_price и discount_pct пустые во всех строках выдачи. В данных выдачи старой цены нет вообще. Подтверждённая есть только на странице товара, и её показ зависит от собственного флага Rakuten referencePriceVerified, который отражает японские правила о двойных ценах. Она нашлась на 2 из 8 проверенных страниц товаров (¥10 398 → ¥5199). 29 октября 2026 года у товара из примера старой цены уже не было, потому что распродажа закончилась, и парсер правильно её не вернул.
  • in_stock равен true во всех строках выдачи. Поиск просто не показывает распроданные товары. Даже на страницах с 80-й по 150-ю у жанра на 142 000 товаров не нашлось ни одного распроданного. Режим product читает наличие со страницы товара, и там может быть иначе.
  • --pages 10 остановился на третьей странице с end_of_listing. В выдаче было всего три страницы. Это завершённый запуск.
  • Не ждите networkidle. Рекламные и трекинговые запросы Rakuten не прекращаются, так что это ожидание всегда упирается в таймаут. Движки ждут domcontentloaded, а все данные и так приходят в первом ответе.

Сравнение запусков

Запустите один и тот же поиск в два разных дня и посмотрите, что изменилось:

bash Copy
python3 playwright_scraper.py \
  --url "https://search.rakuten.co.jp/search/mall/コーヒー/" --pages 3 --out coffee_mon

# через день или неделю
python3 playwright_scraper.py \
  --url "https://search.rakuten.co.jp/search/mall/コーヒー/" --pages 3 --out coffee_tue

python3 diff_runs.py --old coffee_mon.json --new coffee_tue.json --fail-on-change

diff_runs.py склеивает запуски по sku и показывает добавленные, исчезнувшие и изменившиеся товары. Он отслеживает price, price_max, subscription_price, доставку, наличие и, что здесь важно, points и point_rate, так что акция с баллами будет видна, даже если цена не сдвинулась. Он отказывается сравнивать незавершённый запуск с завершённым и запуски разных режимов. Изменение цены вместе со сменой источника цены выводится отдельно как source_changed. С --fail-on-change скрипт завершается с кодом 1, только если что-то действительно изменилось. Удобно для задачи в cron, которая должна будить вас только в этом случае.

Одна оговорка: при запросе, упёршемся в потолок, «исчез» может значить и то, что товар просто вышел за пределы 6750 результатов этого запуска, а не что его сняли с продажи.

Пример строки

Строка выдачи из sample_output.json в репозитории, снята 21 сентября 2026 года (часть полей сокращена):

json Copy
{
  "source": "rakuten.co.jp",
  "scraped_at": "2026-09-21T09:22:22+00:00",
  "url": "https://item.rakuten.co.jp/ajinomoto/r4901111371248/",
  "sku": "ajinomoto:r4901111371248",
  "title": "【9/24まで P10倍!】味の素AGF ブレンディ スティックブラック100本…",
  "brand": "味の素AGF",
  "price": 2447.0,
  "currency": "JPY",
  "original_price": null,
  "rating": 4.76,
  "review_count": 475,
  "in_stock": true,
  "category": "水・ソフトドリンク > コーヒー > インスタントコーヒー",
  "price_max": 6975.0,
  "has_price_range": true,
  "subscription_price": 2324.0,
  "points": 220,
  "point_rate": 10,
  "shipping_fee": 0.0,
  "free_shipping": true,
  "delivery_estimate": "最短9/23お届け",
  "shop_name": "味の素グループ公式ショップ",
  "shop_code": "ajinomoto",
  "shop_id": 383220,
  "genre_id": 303017,
  "genre_path": "/0/100316/100356/303017",
  "genre_rank": 2,
  "is_super_deal": false,
  "is_39shop": true,
  "is_official_shop": true,
  "tags": {"ブランド": ["味の素AGF"], "単品重量": ["~ 99g"]}
}

Акцию объявляет само название: баллы 10× до 24 сентября, и point_rate это подтверждает. С 220 баллами реальная цена около ¥2227 вместо ¥2447.

Что делать с результатами: реальная цена с учётом баллов

Простой отчёт: самые дешёвые предложения в выдаче с учётом баллов и магазин рядом с каждым.

python Copy
import json

rows = json.load(open("rakuten_products.json", encoding="utf-8"))

offers = []
for r in rows:
    if r.get("price") is None:
        continue
    points = r.get("points") or 0
    shipping = r.get("shipping_fee") or 0
    offers.append({
        "effective": r["price"] - points + shipping,
        "price": r["price"],
        "points": points,
        "rate": r.get("point_rate"),
        "shop": r.get("shop_name"),
        "official": r.get("is_official_shop"),
        "title": (r.get("title") or "")[:40],
    })

offers.sort(key=lambda o: o["effective"])
for o in offers[:15]:
    flag = " official" if o["official"] else ""
    print(f"¥{o['effective']:>8,.0f}  (¥{o['price']:,.0f} − {o['points']} баллов, {o['rate']}×)  "
          f"{o['shop']}{flag}  {o['title']}")

Учтите, что цена в выдаче указана для варианта по умолчанию, а price_max подскажет, если другие варианты дороже.

Ограничения

  • Не больше 6750 результатов на запрос. Большие запросы режьте фильтрами.
  • Витрины магазинов и ranking.rakuten.co.jp не поддерживаются.
  • В строках выдачи никогда нет старой цены, для неё нужен режим product.
  • Тексты отзывов не собираются, только оценка и их число.
  • Распроданных товаров в поиске нет совсем.
  • Два движка не обязательно дадут побайтно одинаковые файлы из-за рекламных мест.
  • Scraper API забирает одну страницу за запрос и оплачивается постранично.

Частые вопросы

Нужны ли прокси или ключ?
Для выдачи и страниц товаров нет. Поиск на три страницы сработал с сервера в дата-центре без того и другого. Прокси помогают в длинных запусках, которые иначе упрутся в 503.

Почему я получаю код 3 и страницу в 43 байта?
Что-то в вашей настройке выдаёт себя за другого клиента: браузерный user agent у HTTP-клиента или отпечаток поверх удалённого браузера. Сначала уберите маскировку.

Запуск завершён, но товаров всего 6750. Почему?
Это потолок Rakuten на один запрос. В .meta.json видно, сколько всего нашлось совпадений. Разбейте запрос по жанрам или ценам.

Можно получить названия товаров на английском?
Нет. ?lang=en переводит только навигацию сайта. Названия товаров и магазинов пишут продавцы по-японски.

Есть ли у Rakuten официальный API?
Да, Rakuten Web Service. Нужно зарегистрировать приложение, на странице до 30 товаров и до 100 страниц на запрос. Если его полей вам хватает, используйте его.

Законно ли парсить Rakuten?
Парсер читает публичные страницы, не входит в аккаунт и не трогает корзину и оформление заказа. Разрешено ли ваше использование, зависит от законов вашей страны и правил Rakuten, так что проверьте и то и другое и не спешите с частотой запросов. Это не юридическая консультация.

Итоги

Rakuten — один из немногих крупных маркетплейсов, которые отдают данные открыто, поэтому основная работа здесь в том, чтобы правильно их прочитать. Если запомнить из статьи что-то одно, пусть это будут баллы: мониторинг цен без них пропустит все акции.

С чего начать: склонируйте репозиторий и запустите его вообще без настройки. Для длинных запусков или японского IP зарегистрируйтесь в 2Captcha и подключите резидентные прокси или 2Captcha Browser API.

Исходный код

Документация

Похожие руководства