Подсистема парсер сайтов, служит для загрузки данных, для дальнейшего использования в системе.
- Загрузка и обновление данных о ценах и остатках поставщиков или конкурентов;
- Загрузка данных из HTML страниц;
- Загрзука данных из XML страниц (например сайт icecat.biz или другой сайт, возвращающий контент или другие данные в виде XML файлов);
- Автоматический поиск товаров, через систему поиска сайта, и загрузка контента к собственным товарам;
- Одновременный парсинг нескольких сайтов, или одного сайта в несколько одновременных задах;
- Настройка шаблонов анализа данных, для загрузки информации с любых сайтов;
- Периодическая смена User-Agent, использование случайных пауз, загрузка через список прокси-серверов с периодической сменой IP адреса, хранение и передача Coockie.