Как сделать граббер сайта
Как создать автонаполняемый сайт на вордпресс
Автонаполняемый сайт — вебресурс, который автоматически наполняется за счет контента с других сайтов. В целом автонаполнение сайта чужим контентом — это неправильно, но если несколько отодвинуть в сторону вопросы морали и авторского права, то остается большой сегмент контента, который можно копировать без больших угроз получить по голове: анонсы, новости, пресс-релизы.
На основе таких автонаполняемых новостей можно сделать как весь сайт целиком, так и отдельный раздел на существующем сайте. Например на сайте, посвященному боксу, сделать раздел спортивных новостей. А на сайте про актеров — новости из мира кино. За счет публикаций новостей можно попробовать ловить ситуативный трафик, с этих страниц можно торговать ссылками, с них можно проставлять перелинковку на свои продвигаемые страницы.
Как сделать автонаполняемый вордпресс-сайт с плагином wp-grabber
Для создания автонаполняемого проекта на понадобится готовый установленный сайт на вордпресс, сам плагин, настройка лент и немного терпения, потому как придется повозиться (потанцевать с бубном).
Вопрос — где взять плагин wp-grabber
Тут есть несколько вариантов:
Как установить и настроить
Плагина нет в официальном репозитории, поэтому устанавливаем плагин через загрузку архива (панель управления — плагины — добавить новый — загрузить).
Далее активируете плагин и переходите в раздел раздел настроек.
И в настройках нужно будет только включить обновление через CRON.
Остальные настройки можно не трогать. Самое важное — правильно настроить ленты для граббинга и отображение публикаций на сайте.
Ниже представлены стандартные настройки для плагина WPGrabber
Теперь пройдемся по пунктам:
Как настроить ленты для граббинга
Это самая сложная часть, поэтому разберем ее подробнее. Бояться ошибиться не надо, если лента не заработала — просто возьмите другую. Наберитесь терпения и начнем.
Итак, идем в настройки вп-грабера и жмем добавить новую ленту — и видим несколько закладок. На будут нужны:
Основные настройки — именно на них нужно обратить пристальное внимание.
Еще раз обратите внимание на то, как в исходном html-коде страницы указывается кодировка:
http-equiv =» Content-Type » content =» text/html; charset=ЗДЕСЬ КОДИРОВКА » />
На некоторых сайтах кодировка не указана, тогда пробуйте значение: Исходная, или же WINDOWS-1251.
Подробней рассмотрим пункт 6 — Расписываем шаблоны ссылок, заголовка, стартовой и конечной точки контента.
Для начала разберем структуру ссылок, они бывают разные — в зависимости от CMS донора. Самые простые ссылки выглядят примерно так домен/слово, например http://seodelux.ru/portfolio
Какие могут быть варианты:
Особое внимание обратите на правильное обозначение регулярных выражений.
Подбор шаблона ссылок
Рассмотрим на примере добавления одной ленты. Возьмем сайт новостей шоу-бизнеса starhit.ru
Первое что нужно понять — как выглядит ссылка в структуре сайта. Для этогоо идем на индексную страницу — смотрим ее код (ctrl+U) и через поиск по странице (ctrl+F) ишем заголовок и ссылку. Я просто начинаю искать в исходном коде через поиск начало заголовка. Смотрите на картинке выше.
У нас она получилась такого вида: /novosti/nastasya-samburskaya-ofitsialno-vyishla-zamuj-134191/
Так и будем вставлять ее в вп-граббер. Теперь нам необходимо заменить конкретный адрес на шаблон. Анализируем структуру: /раздел/несколько-слов-через-дефис-цифры. Проверим себя — посмотрим как выглядят другие ссылки. В нашем примере структура определена верно:
Посморим также другие разделы:
В регулярных выражениях PCRE любой непробельный символ обозначается следующей конструкцией \S
Обратите внимание на слэш \ перед заглавной буквой S. Обратный слэш в регулярных выражениях отменяет обычное действие символа, мы могли бы написать просто символ буквы S и тогда она была бы просто заглавной буквой S в нашем регулярном выражении. Однако \S — означает ровным образом один любой символ, кроме пробела!
Теперь попробуем указать количество символов в строке. количество символов задается такими регулярными выражениями:
И если с разделами еще можно угадать, просто посчитав число символов — новости (7 символов), стайл (5 символов), то вот с остальной частью ссылки — угадать сложно. Решение простое — нужно указать что число символов — больше 1. Выгдялеть регулярное выражение будет таким образом — \S
Можно и уточнить — в разделах у нас указаны только буквы, а одна буква в системе PCRE имеет обознаяение \w
Попробуем вставить в шаблон ссылок сдедующее выражение
В тесте получаем ссылки рабочие, но ненужные — на служебные страницы, например:
Меняем вторую часть шаблона. Буквы в регулярных выражениях обозначаются \w, а цифры — \d. Во второй части шаблона имеются и буквы и цифры, поэтому регулярное выражение мы можем задать как \w\d
Когда нам нужно в регулярном выражении перечислить вхождение разных символов (набора символов), то мы можем использовать квадратные скобки. Выражение получается вида:
Это означает: любая одна буква или одна цифра или более подобных символов.
Нам также нужно отсечь в первой части ненужные разделы, изменим там условие — минимальное число букв-5. Теперь давайте протестируем суммарно получившийся шаблон
Результат видим такой:
Значит шаблон ссылок правильный и теперь можно продолжать настройку. Еще раз напомню, что работа с регулярными выражаениями для простого вебмастера и блогера — наиболее сложный этап. Запомните основные переменные которые нам понадобятся:
\S \d \w плюс квадратные и фигурные скобки
Подбор шаблона заголовка
Для того чтобы WPGrabber нашел заголовок в тексте страницы определенной новости нам необходимо описать шаблон его поиска. Тут тоже используется формат регулярных выражений как и в описании шаблона ссылок.
Идем на страницу новости и смотрим еще раз ее исходный html-код. Копируем заголовок и с помощью ctrl+F ищем его на странице. Среди многообразия нам нужно найти наиболее подходящий вариант — без дополнительных слов и символов.
В нашем случае мы видим варианты:
xmlns =» http://www.w3.org/1999/xhtml » class =» article-title » itemprop =» name «> Настасья Самбурская официально вышла замуж
Вот именно в этом примере я бы испольховал третий. Составляем шаблон, который будет состоять из трех частей: name =» twitter:title » content =» НАЗВАНИЕ «>
Тут нужно запомнить два правила:
Итого заменяем НАЗВАНИЕ в шаблоне на (.*?) и получаем следующую рабочую структуру, которую и протестируем:
WPGrabber теперь находит правильные заголовки:
Настройка начальной точки и конечной точки контента
Снова переходим на нашу страницу новости с исходным кодом и ишем начало текста и конец. Для этого снова можно воспользоваться поиском ctrl+F. Смотрим метатег, который есть перед началом текста и вставляем его в настройках плагина.
В нашем случае можно пробовать два варианта, я бы использовал то, который выделен красным цветом — метатег явно указывает на начало текстового контента:
Теперь смотрим метатег после текста статьи. В нашем случае подойдет тег
Тестируем и смотрим на результат: шаблон ссылки сработал, заголовок — корректный, есть текстовый и даже фото-контент.
Все первая и наиболее важная часть подготовки сделана.
Плюшки
Также вы можете получить готовые ленты тематики «игровые новости». Достаточно просто импортировать файл в плагине.
Важные настройки других параметров
Теперь когда основные нвстройки сделаны и вы по образцу сделали несколько лент, нужно приступить к настройкам контента, картинок и вида.
Начнем с последнего — закладка «Вид»
По умолчанию она отображается так:
В заголовке — название, которое мы берем из источника, затем полный текст. Для того чтобы у вас не было дубликатов с другими сайтами — с этим шаблоном нужно немного поработать. Справа указаны переменные, которые Вы можете смело использовать. Также никто не запрещает добавить свой контент.
Шаблон текста может выглядеть примерно так:
%INTRO_TEXT%
%NOW_DATE%
%INTRO_PIC%
%FULL_TEXT%
[шорткод — цвет фона]Специально для сайта НАЗВАНИЕ САЙТА новость %TITLE% взята с сайта %SOURCE_SITE% (Источник)[/конец шорткода]
Можно также добавить шорткод перелинковки или рекомендуемого контента между %INTRO_PIC% и %FULL_TEXT%.
Всё это сделает ваш текст отличающимся от других, а также установка ссылки на источник поможет избежать проблем с авторскими правами.
Теперь закладка «Картинки»
Настраиваем ее также как указано на картинке. Единственное, что можно поварьировать — это миниатюры и полноразмерные картинки установить в соответствии с темой оформления сайта.
Закладка «Контент»
За один запуск сохранять не более (записей) — тут решайте сами, я в основном ставлю 0 — неограничено.
Сохранять записи только уникальными (не повторяющимися) заголовками — ДА
Сохранять записи в Рубрике — тоже выбираете сами.
Тип — Запись
Автор записей — тут тоже решайте сам, я создаю специально пользователя с админскими доступами для автонаполняемых сайтов.
Статус создаваемых записей — опубликовано.
Для выделения анонса вставлять тег Далее — зависит от темы оформления.
Размер анонсовой части текст (кол-во символов) — на ваше усмотрение, обычно анонс — это 20-30 слов, то есть 500 — 600 знаков.
Конечный символ для отделения анонса — ставим точку.
Формировать постоянные ссылки для записей — Да
Метод генерации — транслитерация.
Размер алиаса — 0 (не обрезать)
Еще несколько рекомендаций для выживания сайта с плагином вп-граббер
Другие работающие плагины для автонаполнения сайта на вордпресс
Я приведу ниже список плагинов, которые позволяют настроить автонаполнение сайта:
У каждого из этих плагины есть свои плюсы и минусы Одни — давно не обновлялись, другие стоят своих денег. Подробнее писать не буду из всех этих плагинов тестировал только Wp-О-matic.
Монетизация автонаполнемого сайта
Лучший способ монетизации таких проектов — это контекстная реклама. Установил и забыл, а копеечки капают.
Второй способ это продажа ссылок в автоматических биржах. Тут желательно поработать с ссылочным и получить хотя-бы тиц 10.
Стоит ли создавать автонаполняемый сайт, вероятно — да. Это своеобразный задел на пенсию — понемногу, но стабильно. Если вы знаете другие способы монетизации — пишите в комментариях.
Как сделать граббер сайта
БлогNot. Пишем граббер на PHP
Пишем граббер на PHP
Грабберами в народе называют серверные скрипты, предназначенные для получения данных с различных серверов и встраивания их в свои страницы. В инете есть куча примеров RSS-грабберов, извлекающих тексты с новостных лент, но мне лично нужен не какой-то RSS, которым я ни разу в жизни не пользовался, а полноценный скрипт, который легко настроить для извлечения любой нужной мне информации с любой из доступных в сети страниц.
Задача состоит, собственно, из 3 этапов.
1. Получение данных с нужного нам URL
Для этого в PHP существует несколько возможностей:
Стандартная функция fopen, служащая для открытия файла
Применять ее не очень удобно, так как нельзя контролировать время соединения, получать ответы ошибок сервера и т.д. Кроме того, она может быть запрещена на хостинге через http. Тем не менее, вот пример откуда-то. Здесь мы парсим выдачу популярного сайта bash.org:
Удобнее, но также может быть не установлена или запрещена на хостинге.
Соединение через сокеты
Именно его мы используем, чтоб HTTP-заголовок формировался полностью под нашим контролем. Полноценно проверять коды ошибок в учебной статье не будем, не надейтесь, но все же скрипт должен получиться похожим на человеческий.
2. Извлечение содержимого из страницы
На следующем этапе мы должны извлечь из кода страницы, полученного функцией get_URL_by_socket, полезную для нас часть. Для этой цели в PHP существют регулярные выражения (ссылка на статью внизу страницы) и строковые функции. Я для простоты взял здесь случай, когда мы можем выделить в коде страницы куски текста, однозначно ограничивающие нужную нам часть снизу ($end) и сверху ($start). В принципе, при внимательном анализе исходного кода любой страницы (в браузере обратитесь к меню Вид, пункту «Исходный текст» или «Источник») легко выделить такие куски. Так как мы будем писать их внутрь строковых переменных, ограниченных двойными кавычками, то если в тексте строки встречается двойная кавычка «, ее нужно заменить на сочетание символов \», как здесь:
Всю информацию будет обрабатывать следующая функция:
3. Дополнительная обработка и вывод
Строку, возвращенную функцией process, можно дополнительно обработать (например, исключить лишние стили или ссылки, сделать относительные пути абсолютными и т.п.), либо сразу вывести ее на экран функцией PHP print или echo. В приведенном ниже примере единственная вызываемая пользователем парсера функция parser вызывает 2 остальные функции и дополнительно один раз шлет заголовок с кодировкой документа (если модуль работает из готового движка, блок с вызовом header нужно убрать).
Вызвать наш парсер можно, например, так:
Здесь просто берется титул (содержимое тега TITLE) моей домашней странички.
Думаю, на основе этой статьи нетрудно модифицировать граббер под свои задачи.
Скачать и ссылки
Граббер сайтов: что это и как пользоваться
Расскажем, что такое грабберы и как они помогают в работе…
Граббер сайтов — это уникальный инструмент, который позволяет решать целый спектр рутинных задач, практически, в один клик.
В процессе работы над контентом сайта, нередко, возникает необходимость переноса данных с чужого сайта на свой. Особенно — когда мы говорим о быстро меняющихся данных: котировках валют и ценных бумаг, новостях, цифрах.
В некоторых случаях — нужно постоянно переносить описания товаров (например — сайтам, деятельность которых, сосредоточена на дропшиппинг-бизнесе). В других — требуется следить за конкурентами: узнавать наличие определенного товара, мониторить цену и так далее
Колоссальный объем информации, который нужно копировать для решения всех вышеперечисленных задач, заметно замедляет работу и не оставляет времени для решения остальных бизнес-процессов. Можно ли оптимизировать массовое копирование данных с других сайтов и как это сделать — сегодняшняя тема нашего разговора. Поехали!
Так выглядит интерфейс многоцелевого парсера с функционалом граббера
Итак, как же собрать такой контент, информацию и другие данные с другого сайта, при этом оптимизировать все процессы и значительно сэкономить время? Во всех этих случаях поможет граббер.
Далее поговорим о том, в каких именно случаях он будет наилучшим решением, также узнаем — как правильно выбрать граббер и параллельно поговорим о достоинствах / недостатках этого инструмента. Разберем разные варианты такого ПО и научимся граббить разные типы данных. Поехали!
Зачем нужен граббер
Граббер — весьма специфический инструмент, потенциал которого может раскрыться только в руках опытного технического специалиста. Термины граббер и парсер для многих стали синонимами. Но это не совсем правильно.
Граббер — это чисто скрипт, который используется для копирования самых разных данных с других сайтов. Парсер же используется для «конвертирования» полученных данных в человекопонятный текст.
Ещё два ключевых отличия граббера от парсера:
Другими словами, парсер — используется лишь для вычленения какой-либо информации из собранных граббером данных. Для этого парсер осуществляет лексический и синтаксический анализ всех собранных данных.
Многофункциональный граббер / парсер Mozenda. Часто эти две функции сочетаются в одной программе. «Чистых» грабберов практически не бывает
Сценарии использования граббера
Дисклеймер : хотелось бы отметить, что многое из нижеперечисленного не вызовет одобрения со стороны поисковых систем. Поэтому, копируя чужой контент на свой сайт, всегда думайте о последствиях и возможных санкциях.
Самые частые сценарии использования граббера, следующие:
Также граббер незаменим когда нужно скопировать информацию, которая публикуется в RSS-ленте. Кроме этого, граббер используется, когда нужно соединить информацию из разных источников на одной странице.
Самый наглядный пример — агрегаторы новостей, например — новостной портал, который размещает на главной странице анонсы статей других СМИ. Массовое копирование изображений — ещё одна задача граббера.
Граббер также пригодится магазину-дропшипперу, когда требуется постоянное заполнение карточек товаров, обновление другой информации, которая размещается поставщиком на своём сайте, часто — в огромных масштабах. Граббер позволяет проводить анализ наличия товара — полезно всем, кто занимается слежкой за конкурентами.
Также можно следить за ценами конкурентов — эта возможность особенно пригодится маркетологам небольших и крупных бизнесов.
Как работает граббер
Как правило, каждый грабер имеет собственное предназначение: одни собирают телефоны или e-mail’ы, другие — работают с социальными сетями.
В основе граббера любого типа лежат так называемые регулярные выражения. Углубляться не буду и отмечу этот факт чисто для справки — чтобы был понятен принцип функционирования подобного ПО.
Helium Scraper — образец мощного граббера с удобным интерфейсом
Итак, мы узнали, что грабберы (в сочетании с парсером) используются для актуализации постоянно изменяющихся данных. При помощи такого ПО можно автоматически обновлять определенные данные, для обновления контента на странице. Если представить схему работы граббера пошагово, то можно выделить четыре этапа обработки данных:
После выполнения всех этапов обработки данных, в работу включается парсер — он помогает расшифровать все собранные граббером данные.
Чистые грабберы (без функционала парсера) существуют, но таких программ очень мало. Естественно, востребованы чистые грабберы несколько меньше, чем полноценные комбайны, сочетающие функционал сразу несколько инструментов.
Достоинства грабберов
Самое первое достоинство — это оптимизация времени и трудозатрат вебмастера, маркетолога, другого специалиста, работающего с большим объемом данных конкурента. Допустим, задача: следить за ценами другого магазина или массово копировать информацию из карточек товара. Вот что предложит граббер:
Минусы грабберов
У грабберов куча недостатков и лучше узнать о них заранее. Во-первых: далеко не все грабберы могут работать со всеми типами данных. Есть универсальные, а есть такие, которые собирают только номера телефонов, например. Во-вторых: нормальные, функциональные и удобные грабберы всегда платные. В-третьих:
Сам процесс граббинга связан с определенными сложностями — без опыта выделения данных с других сайтов, выполнить его будет непросто. Кроме этого, в большинстве грабберов крайне скудные настройки экспорта. Другими словами, полученные данные экспортируются в один формат, что не всегда удобно.
Parsers — один из немногих бесплатных парсеров, который реально работает
Каждая программа с функционалом граббер + парсер, чаще всего, заточена под вычленение только определенной группы данных. Так что, если вы очень часто парсите разные типы данных, придётся купить несколько программ. Хотя есть и универсальные решения, но они довольно редкие.
Еще один существенный минус — в некоторых случаях, на выходе можно получить абсолютно нечитаемые данные.
Решение задач: какой граббер выбрать для конкретных целей
Автоматически публиковать посты в паблике VK
Для этих целей идеально подойдет Poster PRO (бывший Mybot Grabber). Poster PRO — это ПО, которое заточено именно под VK:
Позволяет создавать красивые и полезные посты в социальной сети в автоматическом режиме. Poster PRO поддерживает несколько аккаунтов ВК, может граббить посты из одной или сразу нескольких групп. Удобная функция редактирования и удаления неподходящих постов. Цена доступа на месяц — 20 рублей.
Добавлять новости на мой WordPress-сайт
Подойдет граббер WPGrabber Plus — он создан специально для WordPress и распространяется виде плагина для этой CMS
Функционал WPGrabber Plus весьма разнообразен: есть переводчик (для контента на другом языке), автоопределение URL в теле контента, автопубликация при помощи таймера, парсинг картинок, поддержка рубрик и тегов. Цена решения — 1000 рублей (разовый платеж).
Автоматически извлекать данные множества страниц с возможностью гибкого импорта
Если вы ищите решения для массового граббинга и дальнейшего импорта в самые разные форматы, включая: XML / EXCEL / JSON / XLS (x), CSV, то хорошим выбором станет плагин для браузера Google Chrome — Parsers. Удобный, быстрый и функциональный, не перегружен сложным функционалом как другие грабберы:
Умеет извлекать большинство данных из HTML-страниц. Это расширение незаменимо для маркетологов и других специалистов, которые занимаются слежкой за конкурентами. Встроенный скрапер* (комплекс обработки публичных данных, содержащий структуризацию и шаблоны) позволяет загружать каталожные данные — уже с учётом необходимых параметров.
Parsers по-настоящему про ст в использовании. С его помощью можно копировать самые разные типы данных. Например, собирать:
Есть сбор данных о пользователе (фото, фамилия / имя, электронная почта). Функции Parsers, не смотря на простоту интерфейса, очень широкие — он может почти всё. Но не работает с социальными сетями. Parsers — мастхэв для анализа наличия товара у конкурентов и слежения за ценами. Расширение бесплатное.
Граббить новости + картинки из них
Подойдет FDE Grabber — у него минимальные требования к системе, но мощный функционал:
Поддерживает самые популярные системы управления контентом, включая: Drupal, DLE, WordPress, Joomla и некоторые другие.
Кроме сбора текста новостей, FDE Grabber имеет два мода парсинга (простой — для текстов и сложный — для сбора большинства элементов страницы), есть встроенный переводчик. Есть поддержка авто-авторизации. Встроенный синонимайзер работает как на русском, так и на английском языке. Важно, что FDE Grabber умеет автоматически авторизовываться на требуемом источнике
Полезные функции — кадрирование картинок, добавление ватермарков. В общем — функциональный граббер для тех, кто хочет копировать именно новости. Цена решения — 88.8 USD.
Копировать самые разнообразные данные, включая: новости, адреса электронной почты, описание карточек
В этом случае подойдет граббер Datacol — он позволяет копировать практически все типы контента: от email’ов и номеров телефонов до новостей и текстов объявлений (например, с досок объявлений):
Datacol работает с самыми распространенными CMS: Virtuemart, WordPress. Joomla, OpenCart, WebAsyst. Функционал WebAsyst весьма широк: граббер умеет собирать информацию с любых сайтов — можете натравить на него хоть «Авито», хоть «Яндекс.Маркет», например.
Datacol является комплексным решением, оно имеет встроенный инструмент для синонимайзинга и уникализации всех скопированных текстов. Чудес от синонимайзинга, конечно же, ждать не стоит. Также WebAsyst умеет копировать тексты из социальных сетей, граббить описания и видео с Youtube
Копирование разных типов данных (текст, изображения, телефоны, e-mail): универсальный вариант
WebHarvy — это функциональный и удобный парсер с функцией граббера. Используя WebHarvy, вы можете копировать: текст, URL, адреса электронной почты, изображения с других веб-страниц.
«Харви» поможет граббить практически все востребованные типы данных. Вот так всё просто — достоинство WebHarvy в том, что несмотря на огромное количество настроек, он всё таки сохраняет качественное и продуманное юзабилити
Именно интуитивный дизайн позволяет работать с программой — даже тому, кто не имеет опыт граббинга данных. Программа платная. Есть тарифы на один, два, три, четыре пользователя и безлимитная версия.
Заключение
Граббер — удобный, но довольно сложный инструмент для переноса данных с других сайтов. Естественно, просто копировать тексты и другие данные с чужих сайтов смысла нет. Цель такого копирования иная — грабберы незаменимы для настройки автопостинга в соцсетях, мониторинга цен и позиций у конкурентов.
Граббер решит следующие задачи:
Таким образом, граббер не только оптимизирует временные затраты, но и помогает решать целый спектр рутинных задач в автоматическом режиме.