Закрыт

Prices web-crawler + DB (SQL) + Web UI

Job Description:

Цель:

Сбор информации по производителям (отпускные цены) на их продукцию (применимо к различным отраслям промышленности), а также цен розничной торговли этими товарами в различных сетевых и специализированных магазинах

Примеры сайтов (откуда планируется собрать цены):

[login to view URL] , [login to view URL] , [login to view URL] (возможно понадобятся элементы OCR в этом случае) и т.п.

Разработать веб-краулер (на базе Headless-Chrome?) для сбора цен.

Собранные цены (и параметры продуктов) заносятся в БД.

Нужно создать БД с гибкой архитектурой (для добавления новых категорий продуктов и интересующих параметров например: мясные продукты, говядина, замороженное, охлажденное, производитель-страна-город, дистрибьютор, торговая сеть, состав, упаковка и т.п.)

Первоначально продукты питания. Позже будут добавлены другие товары - строительные и т.д.

Выбрать БД (MySql/MariaDB, PostgreSQL и т.п.), ОС (скорее всего Linux внутри вм на хостинге DigitalOcean)

Сделать веб UI (сайт - хостинг на том же DigitalOcean vm / nginx)

для отображения цен (пример UI в личном сообщении)

анализа (сравнения по разным параметрам) и фильтрации + возможно графическое отображение (диаграммы, графики).

Гибкая поддержка разграничений доступа для разных категорий клиентов - кому-то доступ только молочные продукты, кому-то молочные+мясные и т.п., кому-то только для одного города, кому-то по всем городам-странам.

Соответственно База (и UI для ее ведения) по клиентам - создание, удаление, назначение доступа и т.д.

В будущем будет доп проект мобильных приложений (android/ios/ qt?) для сканирования цен прямо в магазинах и отправки их в БД товаров.

Описание очень краткое , ТЗ составляется и будет обновляться.

Все моменты уточнять в чате-сообщениях.

Доп №1:
веб-краулер для сбора цен. Сбор данных только с добавленных сайтов (искать сами сайты не нужно, они уже найдены)
Причем не все страницы подряд - а выделенные категории - например - молочные продукты. Т.е. на igoods кликаем Молочные и идем только вглубь по списку продуктов по всем доп. страницам с ценами (названиями и доп параметрами мол.продуктов)
Т.е. парсер будет иметь подмодули (правила) для сбора с конкретных сайтов. Должна быть обеспечена гибкость редактирования этих правил на случай изменений на целевом сайте. + Относительная легкость для администратора (с опытом программирования) для добавления новых сайтов на основе существующих шаблонов (понятно что где-то потребуется сущ доработка, но по возможности максимально прозрачно)
NB: данные на сайтах могут быть по ajax в json.

Навыки: HTML, Linux, SQL, Дизайн сайтов

О клиенте:
( 7 отзыв(-а, -ов) ) St.Petersburg, Russian Federation

ID проекта: #18024108

21 фрилансеров(-а) готовы выполнить эту работу в среднем за $4463

tangramua

Здравствуйте! Готов помочь Вам с проектом. Я- профессиональный разработчик и совладелец компании программистов, системных администраторов и веб-дизайнеров. Наша основная специализация: LAMP (Linux, Apache, MySQ Больше

$4444 USD за 30 дней(-я)
(119 отзывов(-а))
7.5
CrazyWebGuru

Привет, Как твои дела? Я прочитал ваше описание и понял, чего вы хотите. Я являюсь разработчиком полного стека, обладающим профессиональными навыками в PHP / MySQL / веб-гусеничном / обрыве. Я чувствую себя уверенн Больше

$4000 USD за 30 дней(-я)
(61 отзывов(-а))
6.4
bestit4u

Hi. I am very interested in your project, because I have much experience in such projects. I have good skills with the program language including C/C++, C#, java, php, asp.net, python, VB.NET. So I have expert and s Больше

$4444 USD за 30 дней(-я)
(35 отзывов(-а))
6.1
polarjin2017

Hello? How are you? I have good skills in web crawler So I can complete your job in time. Hope to work with you. Thank you.

$3000 USD за 3 дней(-я)
(67 отзывов(-а))
6.3
CakephpJobs1

Hi, I am expert level web scrapping tool I can provide you web scrapping for any kind of web application. I have exp in scrapping data from public, private content which need login, session base content, cookie Больше

$4444 USD за 30 дней(-я)
(48 отзывов(-а))
6.0
sopholos

У меня достаточно большой опыт создания scrape-ботов, этот проект подобен моим прошлым .

$15555 USD за 90 дней(-я)
(9 отзывов(-а))
5.3
Alexod

I can do this ! But we need to discuss about project details to make sure we understand exactly what you expect. I'm waiting for your response...

$5555 USD за 60 дней(-я)
(779 отзывов(-а))
5.2
asin1987

Dear Employer, I understand what you need though I still need some clarififxation. Please message me so that we can discuss once. You may check my reviews once!! Thanks and Regards, ash

$3000 USD за 30 дней(-я)
(9 отзывов(-а))
4.8
superbpartner

hello,dear. I have read all your requirements for 'Prices web-crawler + DB (SQL) + Web UI' and I fully understood it. I am confident and I am sure that I am able to finish this project. Please come in contact with me, Больше

$4000 USD за 20 дней(-я)
(8 отзывов(-а))
4.3
errfrom

Здравствуйте! Готов взяться за проект. Если какие-нибудь ограничения по ЯП? Хотелось бы разрабатывать на Haskell.

$5000 USD за 90 дней(-я)
(9 отзывов(-а))
4.0
drishti2004

Hello sir/Mam, I have 7 years experience in Woo commerce-wordpress and PHP Magento E-commerce development and designing so i can do your work on very good manner you provide me your work i will do better.

$3000 USD за 30 дней(-я)
(14 отзывов(-а))
3.1
tootac

Вам нужна компонентная система. С одной стороны должен работать краулер, на постоянно основе обходить все магазины и обновалять данные базы. Возможно распозновать текста. С другой стороны должна быть система управлени Больше

$5000 USD за 30 дней(-я)
(1 отзыв)
2.8
DmitryyOleynyk

Добрый день, готов взяться за написание такого сервиса, ранее приходилось работать с подобными продуктами. Предлагаю обсудить детали в чате.

$3000 USD за 30 дней(-я)
(4 отзывов(-а))
3.0
haykghukasyan

Здравствуйте, веб кравлер предлагаю написать или на php (лучший вариант) или на java, вышлите пожалуйста Т3 имеется большой опыт в разработке сайтов игровых и с очень высокой нагрузкой, опыт разработки более 12 лет, ра Больше

$3500 USD за 30 дней(-я)
(1 отзыв)
1.5
vandanav2488

Hi, We have similar experience in this technology. we love to complete this task on schedule and on time. please share me requirement specifications details. Thank you

$4444 USD за 60 дней(-я)
(2 отзывов(-а))
0.7
utceji

Добрый день, готов исполнит ваш заказ. НАпишем скрипт для сбора инфы который будет добавлять все в базу. Остальные детали готов обсудить в лс, сделаю все качественно и в сроки!

$4444 USD за 10 дней(-я)
(0 отзывов(-а))
0.0