Парсер интернет-магазина ozon.ru (тестовое задание)

Данный парсер собирает информацию о версиях операционных систем в топ-100 смартфонах с самым высоким рейтингом пользователей.

После сбора данных можно выполнить расчет распределения моделей устройств по версиям операционных систем в порядке убывания.

Технологии

• Python
• Scrapy
• Selenium
• pandas

Установка

1. Клонировать репозиторий

git clone <адрес_репозитория>

3. Создать виртуальное окружение

python -m venv venv

3. Активировать виртуальное окружение

source venv/Scripts/activate

4. Обновить pip

python -m pip install --upgrade pip

5. Установить зависимости из файла requirements.txt

pip install -r requirements.txt

6. Заменить файл middlewares.py из виртуального окружения на обновленный с исправленными настройками web-драйвера из папки fixes/

путь-к-проекту\ozon_parser\venv\Lib\site-packages\scrapy_selenium

7. Перейти в папку проекта (корневая директория)

cd ..

8. Запустить паука для сбора ссылок на товары для категории

scrapy crawl product_links_spider

9. Запустить паука для сбора данных по каждому товару

scrapy crawl product_data_spider

10. Вывести в терминал данные (распределение моделей устройств по версиям операционных систем), запустить скрипт show_models.py

python show_models.py

Дополнительно

Парсер создан в рамках тестового задания с целью получения новых знаний и опыта. Возможны дальнейшие улучшения и доработки.