Закрыт

Prices web-crawler + DB (SQL) + Web UI

Цель:

Сбор информации по производителям (отпускные цены) на их продукцию (применимо к различным отраслям промышленности), а также цен розничной торговли этими товарами в различных сетевых и специализированных магазинах

Примеры сайтов (откуда планируется собрать цены):

[login to view URL] , [login to view URL] , [login to view URL] (возможно понадобятся элементы OCR в этом случае) и т.п.

Разработать веб-краулер (на базе Headless-Chrome?) для сбора цен.

Собранные цены (и параметры продуктов) заносятся в БД.

Нужно создать БД с гибкой архитектурой (для добавления новых категорий продуктов и интересующих параметров например: мясные продукты, говядина, замороженное, охлажденное, производитель-страна-город, дистрибьютор, торговая сеть, состав, упаковка и т.п.)

Первоначально продукты питания. Позже будут добавлены другие товары - строительные и т.д.

Выбрать БД (MySql/MariaDB, PostgreSQL и т.п.), ОС (скорее всего Linux внутри вм на хостинге DigitalOcean)

Сделать веб UI (сайт - хостинг на том же DigitalOcean vm / nginx)

для отображения цен (пример UI в личном сообщении)

анализа (сравнения по разным параметрам) и фильтрации + возможно графическое отображение (диаграммы, графики).

Гибкая поддержка разграничений доступа для разных категорий клиентов - кому-то доступ только молочные продукты, кому-то молочные+мясные и т.п., кому-то только для одного города, кому-то по всем городам-странам.

Соответственно База (и UI для ее ведения) по клиентам - создание, удаление, назначение доступа и т.д.

В будущем будет доп проект мобильных приложений (android/ios/ qt?) для сканирования цен прямо в магазинах и отправки их в БД товаров.

Описание очень краткое , ТЗ составляется и будет обновляться.

Все моменты уточнять в чате-сообщениях.

Доп №1:
веб-краулер для сбора цен. Сбор данных только с добавленных сайтов (искать сами сайты не нужно, они уже найдены)
Причем не все страницы подряд - а выделенные категории - например - молочные продукты. Т.е. на igoods кликаем Молочные и идем только вглубь по списку продуктов по всем доп. страницам с ценами (названиями и доп параметрами мол.продуктов)
Т.е. парсер будет иметь подмодули (правила) для сбора с конкретных сайтов. Должна быть обеспечена гибкость редактирования этих правил на случай изменений на целевом сайте. + Относительная легкость для администратора (с опытом программирования) для добавления новых сайтов на основе существующих шаблонов (понятно что где-то потребуется сущ доработка, но по возможности максимально прозрачно)
NB: данные на сайтах могут быть по ajax в json.

Квалификация: HTML, Linux, SQL, Дизайн сайтов

Показать больше java web crawler image capture, web crawler cpu usage, write web crawler, web crawler names, web crawler system requirement, web crawler demo gathering information function, java spring web crawler, web front end sql database, insert sql web form, average web application developer sql net javascript flash, web service insert sql forms, web crawler traffic stats, auto daily web crawler, web crawler sale, web crawler data sql server, web crawler javascript sql dynamic html, web crawler automatic login web sites, building web crawler sql

О работодателе:
( 7 отзыв(-а, -ов) ) St.Petersburg, Russian Federation

ID проекта: #18024108

25 фрилансеров(-а) в среднем готовы выполнить эту работу за $4341

tangramua

Здравствуйте! Готов помочь Вам с проектом. Я- профессиональный разработчик и совладелец компании программистов, системных администраторов и веб-дизайнеров. Наша основная специализация: LAMP (Linux, Apache, MySQ Больше

$4444 USD за 30 дней(-я)
(38 отзывов(-а))
6.3
artistixeit

“”” Dream is your's, Development work is our's”””” Please check the work below: Nearby Grocery app: [login to view URL] [login to view URL] Больше

$3555 USD за 30 дней(-я)
(13 отзывов(-а))
6.5
bestit4u

Hi. I am very interested in your project, because I have much experience in such projects. I have good skills with the program language including C/C++, C#, java, php, asp.net, python, VB.NET. So I have expert and s Больше

$4444 USD за 30 дней(-я)
(31 отзывов(-а))
6.0
sphinxsolution

(From the Makers of Vivino, Seekmi & Dah Makan) Hello, I hope you are doing well, we have gone through the project description and understand that you are looking to develop a web crawler. We are Sphinx soluti Больше

$4000 USD за 30 дней(-я)
(8 отзывов(-а))
6.1
CrazyWebGuru

Привет, Как твои дела? Я прочитал ваше описание и понял, чего вы хотите. Я являюсь разработчиком полного стека, обладающим профессиональными навыками в PHP / MySQL / веб-гусеничном / обрыве. Я чувствую себя уверенн Больше

$4000 USD за 30 дней(-я)
(48 отзывов(-а))
6.1
CakephpJobs1

Hi, I am expert level web scrapping tool I can provide you web scrapping for any kind of web application. I have exp in scrapping data from public, private content which need login, session base content, cookie Больше

$4444 USD за 30 дней(-я)
(33 отзывов(-а))
5.9
JinDongZhe

Dear Client, I have 12 years of experience in website development. I specialize in Laravel, HTML, PHP ,Codeigniter, Angular.js and Wordpress. I have developed a number of online stores for clients spanning across Больше

$3333 USD за 30 дней(-я)
(21 отзывов(-а))
5.6
polarjin2017

Hello? How are you? I have good skills in web crawler So I can complete your job in time. Hope to work with you. Thank you.

$3000 USD за 3 дней(-я)
(33 отзывов(-а))
5.5
sopholos

У меня достаточно большой опыт создания scrape-ботов, этот проект подобен моим прошлым .

$15555 USD за 90 дней(-я)
(9 отзывов(-а))
5.3
Alexod

I can do this ! But we need to discuss about project details to make sure we understand exactly what you expect. I'm waiting for your response...

$5555 USD за 60 дней(-я)
(779 отзывов(-а))
5.2
Dominantsoftech

Hello, We are a Team of 6+ years experience 25 Dedicated Professional developers who are very good at designing and Building websites. We have worked on similar Projects to What You are Looking for. Our Skills Больше

$3000 USD за 30 дней(-я)
(29 отзывов(-а))
5.3
superbpartner

hello,dear. I have read all your requirements for 'Prices web-crawler + DB (SQL) + Web UI' and I fully understood it. I am confident and I am sure that I am able to finish this project. Please come in contact with me, Больше

$4000 USD за 20 дней(-я)
(7 отзывов(-а))
4.3
kroim

Honerable Seniors. How are you? I have experiences more than 9 years in developing Laravel,node.js,angular.js,react.js and Python Frameworks with mobile apps. I will work for you all my best. Thank you in advances fo Больше

$3000 USD за 30 дней(-я)
(4 отзывов(-а))
4.0
errfrom

Здравствуйте! Готов взяться за проект. Если какие-нибудь ограничения по ЯП? Хотелось бы разрабатывать на Haskell.

$5000 USD за 90 дней(-я)
(8 отзывов(-а))
4.0
SolaceInfotech

Hello, Hope you are doing well. It looks like you are looking for a Web Development experts who can dedicatedly work on web crawling with the database and web UI. Let's take this forward at the initial stage we Больше

$4801 USD за 31 дней(-я)
(4 отзывов(-а))
3.7
asin1987

Dear Employer, I understand what you need though I still need some clarififxation. Please message me so that we can discuss once. You may check my reviews once!! Thanks and Regards, ash

$3000 USD за 30 дней(-я)
(4 отзывов(-а))
3.6
drishti2004

Hello sir/Mam, I have 7 years experience in Woo commerce-wordpress and PHP Magento E-commerce development and designing so i can do your work on very good manner you provide me your work i will do better.

$3000 USD за 30 дней(-я)
(14 отзывов(-а))
3.1
$3000 USD за 1 день
(5 отзывов(-а))
3.1
tootac

Вам нужна компонентная система. С одной стороны должен работать краулер, на постоянно основе обходить все магазины и обновалять данные базы. Возможно распозновать текста. С другой стороны должна быть система управлени Больше

$5000 USD за 30 дней(-я)
(1 отзыв)
2.8
ilushawebdev

I have done many similar projects related to web scraping information from different websites. Very interested to work on this project. I am absolutely confident I can finish this work on time and on budget to highest Больше

$4000 USD за 30 дней(-я)
(3 отзывов(-а))
2.6