ShopMaster's Blog о вэб-шопах

Есть такая чУдная, или чуднАя система, называется "Макинтош", или - сейчас - Mac OSX, или "Леопард" (а вскоре еще - и "Снежный барс" :) ).

К чему это я?

Да просто к тому, что под этой операционкой, видимо, тоже можно разрабатывать Веб-шопы.

Вот и попробуем, и посмотрим, что получится.

Для начала имеем: ноутбук "Азер" (Acer 5220) с 2 гигами оперативки и 300 гигами на винте (куплен по случаю в Париже за - в пересчете на деревянные - 12 тысяч, что по московским меркам не то что недурно, а просто сущая ерунда).

Вот и попробуем его заюзать. Собственно, с него, из-под "Мака", я это и пишу :)

Естественный вопрос - зачем это вообще нужно? Ну, во-первых - по приколу, а во-вторых - сервер у меня тыщу лет работает под юниксом, почему бы и в локале его не завести? Всяческие реинкарнации линукса и фри в локале как-то напрягают, а вот свежая реинкарнация фри под маркой эпл - уже занятно.

Основные опасения при установке были связаны не с самой системой, а с тем, что нужно как-то организовать под ней веб-разработки. Ну, вы понимаете - "Денвер", эдит+, бейонд копэа, и прочий софт, уже в кровь вошедший. Как же без него?

Забегая вперед - все решено, как - чуть позже.

Итак, берем "Азер", и начинаем ставить на модель 5220 маковскую операционку. Последняя на сегодня версия 10.5.6 (10.5.7 пока только разрабам передана на тестирование, а "барс" - в глубокой бете) "в лоб" на него, увы, не ставится. Опускаю многие тесты, и беру дистрибутив iAtkos 5i, на нем - предыдущая версия дистрибутива, 10.5.5.

Поскольку все многочисленные промежуточные тестовые установки пропущены, и здесь говорится о реально рабочем варианте, "аятка" ставится без проблем. В процессе установки на "Азер 5220" следует иметь в виду, что необходимо отметить установку PS2 (иначе клавиатура нобука не будет работать, и придется использовать внешнюю, что, в общем-то не проблема - можно после установки системы дополнительно установить клавиатурный "кекс", и все будет работать), для экрана - драйверы G3100 в разделе "Интел", и "Broadcom" в беспроводных сетях для нормальной работы Wi-Fi.

Все, больше для установки ничего не требуется. Дальнейшая установка никаких сложнойстей не вызывает, и все становится как по маслу. И сеть по Wi-Fi тоже.

После установки, естественно, стоит система версии 10.5.5, что не есть хорошо, потому что последний софт от "яблок" требует более свежей версии. В "маках" обновление проходит через и-нет автоматом и бесплатно, поэтому разрабы не шибко беспокоятся за старые версии. И вот iLife'09 и iWorks'09 на эту систему не встанут.

Поэтому нужно обновиться.

Для обновления используем пакет, который называется iDeneb.MacOSx86.UpdCombo10.5.6.dmg (находим его в торенте). Dmg - это обычный для мака образ диска, что-то вроде iso для писи, только не требует никаких дополнительных "Пауа-ИСО" для монтажа, монтируется простым двойным щелчком.

Ну, собственно, и все - дважды щелкаем на скачанном пакете, он запускается, устанавливает апдейт, и перегружается.

Теперь можно обновить систему, при этом из и-нета скачается и установится несколько вспомогательных пакетов.

На получившуюся систему можно установить все, что угодно.

Коль скоро мы тут говорим о веб-разработках, сразу обнаруживаем, что масса нужных нам программ - от "Денвера" до любимого текстового редактора - осталась под виндой.

И что делать?

Очень просто - самый примитивный путь, сразу приходящий в голову - установить винду. Как? Для этого у мака есть 2 софтины - "Parallels Desktop" и "VMWare Fusion". Они создают виртуальные пространства, в которых можно запускать другие операционные системы, не выходя из основной.

"Parallels Desktop" на "Азер 5220" на встанет. В смысле, последняя версия 4. Она требует виртуализации дисков на уровне железа. Но эту прогу, если очень хочется, все же, говорят, можно установить - для этого нужно взять предыдущую версию 3.0.

Я не стал с этим заморачиваться, и поставил последнюю версию "VMWare Fusion". Сама программка небольшая, ставится быстро, и по окончании просит вставить установочный диск нужной опреационки в дисковод. Что я и сделал - скормил ей сэтап "Windows 7".

Дальше - никаких сюрпризов. Винда встала, все заработало. Интернет, почта - все отлично функционирует.

Больше всего меня интересовало, как запустится виртуальный диск "Денвера" в виртуальном пространстве "VMWare". Ничего так, спокойненько запустился, все отлично установилось.

Теперь, не выходя из "Леопарда", можно пользоваться как маком, так и виндой. И всеми приложениями, как в одной операционке, так и в другой, не выходя и не перегружаясь.

Другие виндовые приложения тоже встали без проблем, и все заработало с пол-пинка.

Можно приступать к разработкам.

Однако, не будем торопиться.

Все вышеперечисленное - все-таки некоторый костыль. Я, собственно, и пишу все это, чтобы тем, кто заинтересовался этой темой, знал, как поступить, если захочет перейти под "Мак".

Получая больше информации о "Маке", узнаешь, что, собственно, практически все аналоги писишного софта имеют место быть, надо только знать, что искать. По началу это нетривиальная задача - кругом торчит информация только о базовых пакетах - но вскоре начинаешь замечать то, о чем отурыто не пишут, или не кричат на всех углах.

Вот и начнем рассматривать то, что нужно (или можно) установить на "Мак", чтобы создать себе удобную среду веб-разработок.

До новых встреч! 

Одним из самых простых в работе и эффективных windows-грабберов является программа под названием Web Content Extractor компании Newprosoft (здесь их официальная страница).

На момент написания последняя версия программы - 3.1.

В этой первой статье по Web Content Extractor  я приведу просто описание производителя, поскольку программа на английском, и всё описание тоже, что не всегда удобно российским шопмастерам.

Итак, знакомьтесь: Web Content Extractor 3.1 

Вам необходимо извлечь большое количество информации со страниц различных Веб-сайтов, но мысль о том, что это нужно сделать вручную через "коопировать-сохранить" приводит вас в бешенство? Значит, пришло время попробовать программу Web Content Extractor! Она автоматизирует извлечение информации и позволит вам сохранить результаты в нужном вам формате.

Программа "Web Content Extractor" компании "Newprosoft" собирает информацию с заданных сайтов в автоматическом режиме и одним нажатием клавиши представляет её в нужном вам формате!

"Web Content Extractor" - это наиболее мощная и простая в использовании программа, предназначенная для извлечения информации и граббинга в Интернете. "Web Content Extractor" предоставляет дружеский интерфейс и помощников, которые проведут вас через процесс создания сценариев извлечения информации и задания правил работы на нужных вам сайтах в простой визуальной форме. Вам не потребуется писать ни строчки кода! Извлечение информации со страниц Веб-сайтов полностью автоматизировано.

"Web Content Extractor" пригодится многим пользователям компьютеров. Например, вам нужно собрать всю информацию о товарах (названия, описания, цены, изображения, и т.д.) со страниц определённого сайта. Вместо того, чтобы выполнять эту утомительную работу вручную, вы можете создать проект в программе "Web Content Extractor" и нужная вам информация будет извлечена в автоматическом режиме без вашего участия. Таким образом, вы сохраните огромное количество времени, и вам не придётся выполнять утомительную ручную работу!

"Web Content Extractor" позволяет пользователям создавать проекты с заданием определённого целевого Веб-сайта для страниц с одинаковой структурой (например, магазинов, каталогов продукции, сайтов электронной коммерции, финансовых сайтов, бизнес-справочников, результатов запросов в поисковиках, и т.д. и т.п.) и сохранять резульаты работы в базе проекта. Полученную информацию можно экспортировать в различные форматы, в том числе в эксель (CSV), аксэс, TXT, HTML, XML, SQL или MySQL (для последних двух программа формирует соответствующий скрипт). Такое большое количество форматов для экспорта результатов позволяет вам произволить дальнейшую обработку полученной информации в той программе, с которой вы привыкли работать.

Конфигурирование задание на извлечение информации - очень простой процесс, потому что вы просто следуете шагам, предлагаемым помощником по конфигурации. Сначала вы определяете шаблон для извлечения данных, вводите исходный урл, с которого "Web Content Extractor" начнёт работу с сайтом, задаёте правила работы с сайтом, глубину проникновения на сайт, и даёте имя своему проекту. Глубина проникновения на сайт может быть задана в произвольном виде, что позволяет очень гибко настроить программу. Так, программу можно настроить на переход по линкам, если в их теле содержится определённое вами выражение. После того, как проект настроен, вы можете запустить его одним щелчком мыши.

При помощи программы "Web Content Extractor" вы можете быстро ихвлечь информация с большого количества страниц, использую многопотоковые возможности программы,- она позволяет скачивать информацию в 20 потоков одновременно. Всё, что от вас потребуется - нажать на кнопку запуска извлечения информации! Вам не придётся больше лазать по сайтам от страницы к странице, вырезая информацию с каждой из них и копируя к себе в Word.

"Web Content Extractor" оценят пользователи, стремящиеся к комфортной и продуктивной работе в интернете.

Кто может извлечь пользу от применения "Web Content Extractor"? Кто угодно!

• "Web Content Extractor" поможет бизнесменам извлечь и собрать рыночную информацию, ценовую информацию о товарах, данные о недвижимости.
• "Web Content Extractor" поможет любителям чтения найти, собрать и сохранить информацию о книгах, включая их названия, авторов, описания, ISBNы, изображения обложек и цены.
• "Web Content Extractor" позволит коллекционерам автоматизировать выставленные на аукционы предложения.
• "Web Content Extractor" поможет журналистам извлекать новости и статьи с новостных сайтов.
• "Web Content Extractor" извлечёт информацию с сайтов, посвящённых отдыху и туризму, названия, адреса, описания, изображения, цены гостиниц, ресторанов, туров и пр.
• "Web Content Extractor" поможет одиноким собрать информацию с сайтов знакомств и привести её в порядок.
• "Web Content Extractor" поможет занятым поиском работы собрать предложения с сайтов, посвящённых найму на работу, и обработать нужные предложения быстрее и эффективнее.

Вы хотите получать информацию быстро, в автоматическом режиме, не теряя времени на переход по страницам и вырезание-вклеивание нужной вам информации? Хотите собирать информацию с большого количества страниц? Хотите сохранять добытую информацию в нужном вам формате? "Web Content Extractor" - ваш выбор!

Демо-ролики программы "Web Content Extractor" в формате flash:

Вы можете посмотреть демо-ролики о программе "Web Content Extractor", которые покажут вам насколько просто сконфигурировать программу и извлечь данные с Веб-сайтов.

Извлечение информации о ноутбуках из магазина "Shopzilla" (скачать файл проекта WCE):

• Демо (0.9 MB, разрешение 1280x1024 и выше)
• Демо (1.0 MB, разрешение 1024x768 и выше)

Извлечение результатов поиска на сайте недвижимости "Illinoisrealtor":

• Демо (1.6 MB, разрешение 1280x1024 и выше)
• Демо (1.8 MB, разрешение 1024x768 и выше)

Извлечение подробной информации о местах отдыха на сайте "Vacationhomes" (скачать файл проекта WCE):

• Демо (2.4 MB, разрешение 1280x1024 и выше)
• Демо (2.6 MB, разрешение 1024x768 и выше)

Извлечение информации о видеофильмах с "Youtube" (скачать файл проекта WCE):

• Демо (1.0 MB, разрешение 1280x1024 и выше)
• Демо (1.1 MB, разрешение 1024x768 и выше)

 

Владелец магазина должен предоставить посетителям сайта достоверную и возможно полную информацию о продаваемых товарах.

Это в интересах как покупателей, так и владельца магазина - чем больше он даст информации о товаре, и чем больше дополнительных изображений товара предоставит, тем тщательнее посетитель проработает эти страницы именно на этом сайте, и, скорее всего, сделает свой выбор именно на этом сайте, а не у конкурентов.

Кроме того, это ещё и вопрос юридический - продавец ОБЯЗАН предоставить покупателю информацию о товаре, и эта информация должна быть полной и достоверной.

При наполнении магазина очень часто встаёт вопрос, где взять информацию, особенно описания товара.

Поставщики часто не могут предоставить адекватную информацию - либо сами ей не располагают, либо испытывают трудности при выводе её из своих баз данных, либо тривиально не хотят делиться.

Поэтому наиболее надёжный способ - взять процесс в свои руки, засучить рукава, и добыть нужную информацию самостоятельно.

Где? Конечно же в Интернете. На сайтах производителей, в общих каталогах, у конкурентов в конце концов (а зачастую - в первую очередь :) ).

Для того, чтобы эффективно добыть контент с Веб-сайтов, используются так называемые "Грабберы" - это класс программ, которые по определённым правилам, заданным админом, производят поиск информации на сайтах в Интернете, и сохраняют результаты своей работы в файлы (например, в базу данных, или экселевскую таблицу в формате csv).

Грабберы бывают как серверные (в основном сегодня такие грабберы используются для "снятия" новостного контента с последующим размещением в собственных блогах; за последнее отвечают так называемые парсеры, которые работают либо в паре с грабберами, либо самостоятельно), так и windows-программы, работающие на пользовательских десктопах.

Преимущества есть как у тех, так и у других, и каждый здесь выбирает то, что ему больше подходит.

Так, серверные грабберы могут работать гораздо быстрее, сохранять добытую информацию сразу на сервере, передавать её тут же в парсеры, которые самостоятельно "распихают" её куда надо.

Однако, они способны накачать такое количество трафика, что потом с провайдером не расплатишься, и нагрузить сервер по самое небалуйся. Также обрабатывать результаты придётся на сервере, либо скачивать с сервера файлы для обработки в локале.

В этом плане windows-программы дают больше возможностей манипулировать с полученной информацией, а также оперативно корректировать настройки программы при необходимости. В случае применения таких локальных грабберов результаты обычно экспортируются в эксель (мы же говорим о магазинах, и подготовке контента именно для них!), где производится необходимая обработка информации (переставление колонок, изменение цен, и пр.), и полученный в результате файл импортируется в магазин.

Вот и все общие положения по грабберам. Дальше будут расматриваться отдельные решения.

Возможно, стоит ещё назвать несколько программ, если кто будет искать их в И-нете.

Среди серверных решений можно посмотреть: NewsTrack, NewsGrabber, Портатор.

Среди windows-приложений: Web Content Extractor, Web Sundew, Web Content Creator.

В дальнейшем я дополню этот список, пока можно начать с этих.

Всем приятного граббинга! :)