Prices web-crawler + DB (SQL) + Web UI
Бюджет $3000-5000 USD
Job Description:
Цель:
Сбор информации по производителям (отпускные цены) на их продукцию (применимо к различным отраслям промышленности), а также цен розничной торговли этими товарами в различных сетевых и специализированных магазинах
Примеры сайтов (откуда планируется собрать цены):
[login to view URL] , [login to view URL] , [login to view URL] (возможно понадобятся элементы OCR в этом случае) и т.п.
Разработать веб-краулер (на базе Headless-Chrome?) для сбора цен.
Собранные цены (и параметры продуктов) заносятся в БД.
Нужно создать БД с гибкой архитектурой (для добавления новых категорий продуктов и интересующих параметров например: мясные продукты, говядина, замороженное, охлажденное, производитель-страна-город, дистрибьютор, торговая сеть, состав, упаковка и т.п.)
Первоначально продукты питания. Позже будут добавлены другие товары - строительные и т.д.
Выбрать БД (MySql/MariaDB, PostgreSQL и т.п.), ОС (скорее всего Linux внутри вм на хостинге DigitalOcean)
Сделать веб UI (сайт - хостинг на том же DigitalOcean vm / nginx)
для отображения цен (пример UI в личном сообщении)
анализа (сравнения по разным параметрам) и фильтрации + возможно графическое отображение (диаграммы, графики).
Гибкая поддержка разграничений доступа для разных категорий клиентов - кому-то доступ только молочные продукты, кому-то молочные+мясные и т.п., кому-то только для одного города, кому-то по всем городам-странам.
Соответственно База (и UI для ее ведения) по клиентам - создание, удаление, назначение доступа и т.д.
В будущем будет доп проект мобильных приложений (android/ios/ qt?) для сканирования цен прямо в магазинах и отправки их в БД товаров.
Описание очень краткое , ТЗ составляется и будет обновляться.
Все моменты уточнять в чате-сообщениях.
Доп №1:
веб-краулер для сбора цен. Сбор данных только с добавленных сайтов (искать сами сайты не нужно, они уже найдены)
Причем не все страницы подряд - а выделенные категории - например - молочные продукты. Т.е. на igoods кликаем Молочные и идем только вглубь по списку продуктов по всем доп. страницам с ценами (названиями и доп параметрами мол.продуктов)
Т.е. парсер будет иметь подмодули (правила) для сбора с конкретных сайтов. Должна быть обеспечена гибкость редактирования этих правил на случай изменений на целевом сайте. + Относительная легкость для администратора (с опытом программирования) для добавления новых сайтов на основе существующих шаблонов (понятно что где-то потребуется сущ доработка, но по возможности максимально прозрачно)
NB: данные на сайтах могут быть по ajax в json.
21 фрилансеров(-а) готовы выполнить эту работу в среднем за $4463
Привет, Как твои дела? Я прочитал ваше описание и понял, чего вы хотите. Я являюсь разработчиком полного стека, обладающим профессиональными навыками в PHP / MySQL / веб-гусеничном / обрыве. Я чувствую себя уверенн Больше
Hello? How are you? I have good skills in web crawler So I can complete your job in time. Hope to work with you. Thank you.
Hi, I am expert level web scrapping tool I can provide you web scrapping for any kind of web application. I have exp in scrapping data from public, private content which need login, session base content, cookie Больше
I can do this ! But we need to discuss about project details to make sure we understand exactly what you expect. I'm waiting for your response...
Dear Employer, I understand what you need though I still need some clarififxation. Please message me so that we can discuss once. You may check my reviews once!! Thanks and Regards, ash
hello,dear. I have read all your requirements for 'Prices web-crawler + DB (SQL) + Web UI' and I fully understood it. I am confident and I am sure that I am able to finish this project. Please come in contact with me, Больше
Здравствуйте! Готов взяться за проект. Если какие-нибудь ограничения по ЯП? Хотелось бы разрабатывать на Haskell.
Hello sir/Mam, I have 7 years experience in Woo commerce-wordpress and PHP Magento E-commerce development and designing so i can do your work on very good manner you provide me your work i will do better.
Добрый день, готов взяться за написание такого сервиса, ранее приходилось работать с подобными продуктами. Предлагаю обсудить детали в чате.
Здравствуйте, веб кравлер предлагаю написать или на php (лучший вариант) или на java, вышлите пожалуйста Т3 имеется большой опыт в разработке сайтов игровых и с очень высокой нагрузкой, опыт разработки более 12 лет, ра Больше
Hi, We have similar experience in this technology. we love to complete this task on schedule and on time. please share me requirement specifications details. Thank you
Добрый день, готов исполнит ваш заказ. НАпишем скрипт для сбора инфы который будет добавлять все в базу. Остальные детали готов обсудить в лс, сделаю все качественно и в сроки!
