ShopMaster's Blog о вэб-шопах

Владелец магазина должен предоставить посетителям сайта достоверную и возможно полную информацию о продаваемых товарах.

Это в интересах как покупателей, так и владельца магазина - чем больше он даст информации о товаре, и чем больше дополнительных изображений товара предоставит, тем тщательнее посетитель проработает эти страницы именно на этом сайте, и, скорее всего, сделает свой выбор именно на этом сайте, а не у конкурентов.

Кроме того, это ещё и вопрос юридический - продавец ОБЯЗАН предоставить покупателю информацию о товаре, и эта информация должна быть полной и достоверной.

При наполнении магазина очень часто встаёт вопрос, где взять информацию, особенно описания товара.

Поставщики часто не могут предоставить адекватную информацию - либо сами ей не располагают, либо испытывают трудности при выводе её из своих баз данных, либо тривиально не хотят делиться.

Поэтому наиболее надёжный способ - взять процесс в свои руки, засучить рукава, и добыть нужную информацию самостоятельно.

Где? Конечно же в Интернете. На сайтах производителей, в общих каталогах, у конкурентов в конце концов (а зачастую - в первую очередь :) ).

Для того, чтобы эффективно добыть контент с Веб-сайтов, используются так называемые "Грабберы" - это класс программ, которые по определённым правилам, заданным админом, производят поиск информации на сайтах в Интернете, и сохраняют результаты своей работы в файлы (например, в базу данных, или экселевскую таблицу в формате csv).

Грабберы бывают как серверные (в основном сегодня такие грабберы используются для "снятия" новостного контента с последующим размещением в собственных блогах; за последнее отвечают так называемые парсеры, которые работают либо в паре с грабберами, либо самостоятельно), так и windows-программы, работающие на пользовательских десктопах.

Преимущества есть как у тех, так и у других, и каждый здесь выбирает то, что ему больше подходит.

Так, серверные грабберы могут работать гораздо быстрее, сохранять добытую информацию сразу на сервере, передавать её тут же в парсеры, которые самостоятельно "распихают" её куда надо.

Однако, они способны накачать такое количество трафика, что потом с провайдером не расплатишься, и нагрузить сервер по самое небалуйся. Также обрабатывать результаты придётся на сервере, либо скачивать с сервера файлы для обработки в локале.

В этом плане windows-программы дают больше возможностей манипулировать с полученной информацией, а также оперативно корректировать настройки программы при необходимости. В случае применения таких локальных грабберов результаты обычно экспортируются в эксель (мы же говорим о магазинах, и подготовке контента именно для них!), где производится необходимая обработка информации (переставление колонок, изменение цен, и пр.), и полученный в результате файл импортируется в магазин.

Вот и все общие положения по грабберам. Дальше будут расматриваться отдельные решения.

Возможно, стоит ещё назвать несколько программ, если кто будет искать их в И-нете.

Среди серверных решений можно посмотреть: NewsTrack, NewsGrabber, Портатор.

Среди windows-приложений: Web Content Extractor, Web Sundew, Web Content Creator.

В дальнейшем я дополню этот список, пока можно начать с этих.

Всем приятного граббинга! :)