Закрыт

Написание программного обеспечения

Нужен скрипт, который массово выберет инфу с сайта [login to view URL] через прокси, прикидываясь браузером.

В микроадминке вставляем список прокси, список названий исполнителей, подставляем в пробелы "+" и отрабатываем фазу A:

A. Проверяем, что такой записи еще нет в базе, идем на страницу группы, например: http://www.last.fm/music/The+Rolling+Stones

Там забираем цифры использования: Scrobblers и Listeners, а также список жанров: "classic rock, rock, 60s..."., все это пишем в базу. Порядок цифры - 100-150 тыс. страниц.

В фазе B в админке устанавливаем диапазон популярности по Scroblles или Listeners. Смысл - парсить придется поэтапно, от более популярного к менее. Идем по базе, выбираем записи с нужным уровнем популярности и далее:

1. Со страницы Biography: http://www.last.fm/music/The+Rolling+Stones/+wiki

забираем текст, с сохранением гиперссылок (для мелких групп биографии часто нет - оставляем пустое поле).

3. Со страницы Tracks: http://www.last.fm/music/The+Rolling+Stones/+tracks

выбираем первые 50 треков, для каждого берем: Название, число слушателей и ссылку на youtube, которая лежит под play

4. Со страницы Albums: http://www.last.fm/music/The+Rolling+Stones/+albums

выгребаем все ссылки на альбомы (+ ссылки на картинки обложек) и идем по каждой. Там парсим всю полезную инфу: Название, число слушателей, дату релиза, альбома, его продолжительность, жанры, а также инфу по всем песням: номер, название, продолжительность, популярность и ссылку на youtube. Вместе с инфой загружаем на диск картинку обложки.

5. На странице Similar Artists: http://www.last.fm/music/The+Rolling+Stones/+similar

собираем ссылки с первых трех страниц (60 шт)

6. Со страницы Pictures: http://www.last.fm/music/The+Rolling+Stones/+images

берем все ссылки и скачиваем первые 60 фоток, переименовывая их в the-rolling-stones-N.

Всю инфу сохраняем в базу - структуру обсудим, все файлы на диск. В админке показываем прогресс: текущее задание, число завершенных названий и отдельно список отработанных названий. Все нюансы обсудим далее.

Навыки: PHP, Архитектура ПО

О клиенте:
( 0 отзыв(-а, -ов) ) Ukraine

ID проекта: #9890557

2 фрилансеров(-а) готовы выполнить эту работу в среднем за $956

bisprojects

Добрый день, Мы команда дизайнеров и программистов. Готовы выполнить Ваш проект, создать парсер для last.fm. Наше портфолио: [login to view URL] Мы говорим по-русски, можем обсудить детали проекта в сообщения Больше

$800 USD за 10 дней(-я)
(9 отзывов(-а))
4.5
yaroslavzinych

Готов сделать, люблю писать парсеры. Писал недавно парсинг всего контента одного новостного ресурса с последующей обработкой и заливкой данных на новую версию этого портала. Также несколько лет назад писал систему ав Больше

$1111 USD за 20 дней(-я)
(3 отзывов(-а))
3.9