Import Pipeline
Автоматизация импорта/экспорта данных для e-commerce
Роль
Разработчик автоматизации
Год
2020
Стек
Node.jsPHPMySQLREST APICron
Задача
Интернет-магазин обновлял каталог вручную: цены из таблиц поставщиков, остатки из писем, карточки на маркетплейсах по одной. Каждое обновление занимало дни и порождало ошибки, стоившие реальных денег.
Этапы
Нормализация фидов
Парсеры разнородных форматов поставщиков (XML, CSV, XLSX) с валидацией, дедупликацией и маппингом категорий в единую каноническую модель.
Движок синхронизации
Инкрементальная синхронизация по расписанию с детекцией изменений: базы касаются только изменённые записи, с откатом сбойных пакетов.
Отчётность
Каждый запуск формирует человекочитаемый отчёт: что изменилось, что пропущено и почему — доверие к данным вернулось.
Результаты
товаров синхронизируется автоматически
на обновление вместо дней
ошибок ручного ввода