Как сделать зеркало чужого сайта
Как сделать зеркало чужого сайта
Зеркалами Яндекс считает сайты, которые на запрос робота возвращают один и тот же контент.
Как правило, на этапе создания у сайта уже есть одно зеркало, так как по адресам вида site.ru и www.site.ru обычно открывается один и тот же ресурс. При подключении защищенного протокола у сайта появляются новые зеркала — с префиксом https.
Кроме того, для ресурса могут быть зарегистрированы дополнительные адреса — например, относящиеся к другим доменным зонам или учитывающие опечатки. С дополнительных адресов пользователей могут перенаправлять на основной ресурс. Переадресация применяется также при переезде сайта на новое доменное имя.
Во всех перечисленных случаях сайты со временем будут признаны зеркалами друг друга, а в результатах поиска останется только главное зеркало.
Узнать, какой домен является главным зеркалом вашего сайта, также можно в Яндекс.Вебмастере. Для этого добавьте в свой аккаунт необходимые домены. Те из них, которые поисковая система уже считает зеркалами, будут сгруппированы. Главное зеркало всегда отображается на первом месте.
Вы можете также проверить, является ли домен неглавным зеркалом. Для этого достаточно добавить его в форму «Сообщить о новом сайте». Если ресурс признан неглавным зеркалом, вы увидите соответствующее уведомление.
По мере обхода сайтов робот автоматически определяет, какие из них являются зеркалами друг друга, и постепенно объединяет их в группы. В каждой такой группе выбирается главное зеркало. При этом робот в первую очередь учитывает пользовательские указания — постраничный редирект с кодом 301.
При необходимости вы можете изменить главное зеркало. Это стоит делать только в том случае, если вам действительно важно, какой адрес будет отображаться в результатах поиска. При смене главного зеркала невозможно гарантировать сохранение позиций сайта в поиске, посещаемость и другие значимые для владельцев сайта показатели.
Чтобы сменить главное зеркало сайта, достаточно установить 301 постраничный редирект с не главных зеркал на главное.
Она должна быть задана в файлах robots.txt всех зеркал. Сообщить роботу о внесенных изменениях можно в Яндекс.Вебмастере. Для этого нужно зайти в раздел «Настройка индексирования», далее «Переезд сайта» и выбрать нужный домен из списка. Если этот домен там отсутствует, значит, он еще не был добавлен на странице «Мои сайты».
Возможна ситуация, когда домен уже добавлен в Вебмастер, но не отображается в списке зеркал. Это значит, что поисковая система еще не склеила его с другими зеркалами и воспринимает как отдельный ресурс. В этом случае менять главное зеркало не требуется. Нужно просто подождать, пока поисковая система склеит зеркала.
Попробуйте узнать, какой ваш сайт поисковая система считает главным. Какие зеркала объединены в группу?
Как создать зеркало сайта
Чтобы создать зеркало сайта нужно понять, что это такое и для чего это нужно. Зеркала сайта это абсолютные или относительные копии основного веб-ресурса (главного зеркала), имеющие различные адреса.
При этом решаются самые разные цели и задачи: резервирование, распределение нагрузки трафика на несколько серверов, экономия на оплате потребляемых серверных ресурсов и тому подобное.
Зачем нужно создать зеркало сайта
Предположим, некая компания имеет хорошо раскрученный корпоративный сайт с высокими показателями, трастом. Отличные позиции в поисковой выдаче, посещаемость. Затем, в маркетинговых целях, руководство компании принимает решение изменить имидж, название, логотип и тому подобное. Всегда желательно иметь доменное имя сайта, созвучное названию продвигаемого бренда. Будет некрасиво, если компания A будет иметь сайт с адресом B.com. Если же просто перепарковать домен, будут потеряны все достигнутые преимущества в поиске и посещаемость.
В других случаях требуется создать зеркало сайта (один или несколько дублирующих ресурсов) на других хостингах. Обычно для целей резервирования, подстраховки на случай падения хостинга либо перегрузки трафика. Особо крупные сайты с огромной посещаемостью, порталы, с которых постоянно производится скачивание файлов тысячами пользователей, создают зеркала для распределения трафика по многим серверам. Или чтобы снизить плату за трафик, выгоднее предоставить местным пользователям доступ к сайту с расположенного в их стране сервера.
Еще один пример склейки зеркал, наверное, самый простой, это склейка одного домена с WWW и без WWW в адресе.
Зеркала статического сайта
В таком случае проблемой становится задача своевременной синхронизации файлов на всех зеркалах, расположенных на разных серверах. При статическом сайте и нечастых апдейтах синхронизацию можно производить и в ручном режиме. После каждого редактирования главного сайта произвести инкрементальный апдейт всех зеркал через FTP. При этом производится не полная замена всех файлов, а только дописываются измененные файлы.
Зеркала динамического сайта
Гораздо сложнее дела обстоят, когда сайт динамический, часто обновляется. Например, международный новостной портал. Тогда синхронизация зеркал становится настоящей головной болью для владельца сайта. Без привлечения грамотных программистов не обойтись в любом случае. Хотя и существуют программы для синхронизации зеркал на удаленных серверах, в том числе для автоматической синхронизации, в этом деле придется производить многочисленные настройки. А также согласовывать все эти манипуляции с администрацией хостингов. На некоторых хостингах есть возможность для синхронизации со сторонними провайдерами, а на других нет такой возможности. Все это необходимо прояснить заранее, еще до аренды хостинга. Во всяком случае, такой вопрос не получится прояснить стандартным путем, прося помощи на форумах. Получив массу общих ответов ни о чем, будет ненавязчиво предложено подумать о платных услугах.
Программы для создания зеркала сайта
Наиболее популярной программой для синхронизации зеркал является rsync (Remote Synchronization), бесплатная программа со свободным кодом. К преимуществам rsync относится технология синхронизации файлов и папок отдельно в обоих направлениях. За счет этого достигается существенная экономия трафика.
Для полуавтоматической синхронизации зеркал можно применить бесплатный кросс-платформенный браузер HTTrack.
Все перечисленное выше это лишь общие принципы, поясняющие как создать зеркало сайта. Практическое создание зеркал зависит от конкретного ресурса, сервера на котором он находится и CMS,которая им управляет. Но об этом в других статьях.
Зеркало сайта
В интернет-маркетинге зеркалом называют копию сайта, которая находится на другом домене. Данное понятие знакомо владельцам сайтов и веб-мастерам, которые работают с зеркалами для повышения безопасности, оптимизации или смены адреса продвигаемого ресурса. В этой статье мы ответим на вопросы, что такое зеркало сайта, зачем оно нужно, как его создать, настроить и проверить?
Что такое зеркало сайта?
Это точная или почти точная копия веб-сайта, которая доступна в интернете по другому URL-адресу.
Веб-оптимизаторы используют это понятие в разных контекстах.
Например, если по адресам moy-sayt.by и мой-сайт.бел разместить абсолютно одинаковый контент, то поисковые системы будут считать эти сайты зеркалами. При индексировании они сопоставляют не только главные веб-страницы. Перед тем, как признать ресурсы дубликатами роботы анализируют до 100% контента.
При создании сайта автоматически создаются две его версии: с префиксом www и без такового. Поисковые системы считают эти версии зеркалами, даже если поменять их URL-адреса. Чтобы удалить дубликат осуществляют «склейку» доменов.
При создании сайта автоматически генерируются две его версии по разным адресам URL Поисковики признают их зеркалами даже после смены URL-адресов.
Кроме того, зеркалом называют домен, который прикреплен к главному сайту. При переходе на дубликат пользователь автоматически перенаправляется на главный домен.
Для чего нужно зеркало сайта
Что такое зеркало сайта и зачем его создавать? Владелец сайта и оптимизатор ответят на эти вопросы по-разному.
Владельцы ресурсов создают зеркала для решения следующих задач:
Веб-мастера используют зеркала сайтов для решения следующих задач:
Как сделать и настроить зеркало сайта на другом хостинге? (краткая инструкция)
Какой домен лучше: с префиксом www или без него?
На заре развития интернета его изобретатель в современном понимании – Тим Бернерс-Ли – предложил объединять информацию, распределенную на разных серверах, во всемирную паутину (World Wide Web). Для этого был разработан гипертекстовый язык разметки HTML, протокол передачи гипертекста HTTP и универсальные идентификаторы URL. С их помощью удалось объединить все сайты и унифицировать адреса серверов, на которых размещалась представленная на них информация (например, для почтовых серверов применялся идентификатор mail, для FTP-серверов – FTP).
Если пользователь видел в названии ресурса префикс www, то сразу понимал, что он расположен во Всемирной паутине. Теперь же всем пользователям и так понятно, что все адреса находятся в ней. Но пока от него не отказались, потому что у наличия префикса есть не только недостатки, но и преимущества.
Минусы URL-адресов с префиксом www
Плюсы URL-адресов с префиксом www
Таким образом, выбор основного домена – дело предпочтения владельца. Но учтите, что основные поисковики – Google и Яндекс – сами доступны по адресам с префиксом:
Как проверить и склеить зеркало сайта
Способ 1. Проверка через адресную строку
Чтобы узнать, какое зеркало является главным, введите в адресной строке браузера адрес вашего ресурса с префиксом www и нажмите enter. Если вас переадресует на тот же адрес, но без www, значит, главное зеркало не имеет префикса.
То есть вы набираете www.gusarov-group.by:
и автоматически попадаете на gusarov-group.by:
При этом из склеенных зеркал продвигается и участвует в поиске только один сайт – главное зеркало. Именно поэтому нужно внимательно указывать ссылки на продвигаемый ресурс, иначе они не будут учтены поисковиком.
Способ 2. Проверка при помощи языка запросов Яндекса
Можно использовать язык запросов Яндекса, сужающий зону поиска. Для это в поисковую строку Яндекс нужно ввести варианты зеркала сайта с префиксом и без него по следующему образцу:
В выдаче отобразится ссылка страницы, на которую ведут указанные URL-адреса.
В примере видно, что зеркало склеено с основным доменом (либо исключено из выдачи иным способом).
Возможны другие варианты:
Настройка зеркал сайта
Редирект
Чтобы домен не попал под штрафные санкции, сразу после создания технический специалист должен реализовать правильное перенаправление на основной домен – редирект 301. В этом случае поисковый робот при посещении ресурса не начинает индексацию и сразу присваивает ему статус зеркала.
Редактирование файла Robots.txt
Этот способ – ответ на вопрос, как склеить зеркала сайта через панель администратора. На основном домене и всех дубликатах ресурса нужно разместить специальный файл Robots.txt, содержащий директиву Host с указанием адреса основного сайта.
Данная строка «говорит» поисковикам, что сайт www.yoursite.by необходимо считать основным доменом, в то время как yoursite.by будет считаться зеркалом.
Если по какой-то причине это не помогло, можно принудительно указать поисковикам правильную иерархию зеркал.
Настройка через Яндекс Вебмастер
Перейдите в Яндекс Вебмастер – Настройка индексирования – Главное зеркало. Укажите нужный сайт.
Настройка через Панель веб-мастеров Google
Откройте Панель веб-мастеров Google – Управление сайтом – Изменение адреса. Укажите нужный сайт.
Как расклеить зеркала сайта?
Расклейка происходит автоматически примерно через 2 недели после того, как ресурсы перестают быть дубликатами и начинают предоставлять различный контент.
Зеркала сайтов и проблемы с поисковыми системами
При создании зеркала и добавления информации о нем, поисковые системы делают один из сайтов основным доменом, а второй – дополнительным.
Если при создании сайта не уведомить поисковики о зеркалах, то они решат, что это клон со скопированным контентом, и наложат на него санкции (пессимизируют в выдаче).
Минск, пр. Победителей 103, офис 208
Почтовый адрес: 220004, г.Минск, а/я 153 МЕНЮ
Зеркала сайта и объединение доменов
Несмотря на то, что теме зеркал сайта, пожалуй, столько лет, сколько и самому SEO, в наш телеграм-канал по-прежнему приходят вопросы: для чего нужны зеркала, как правильно склеить домены после переезда и какие ошибки могут при этом возникнуть. В этой статье кратко рассмотрим основные положения поисковых систем по поводу зеркал сайта, объединения доменов. Также расскажем о наших мини-кейсах.
Что такое зеркало сайта
Зеркала сайта – это несколько сайтов с одинаковым контентом, которые находятся по разным адресам. Нет ограничений по поводу их количества, но главный домен – только один.
При создании сайт сразу доступен по двум адресам – с www и без него. Зеркала сайта также создаются автоматически при подключении защищённого протокола или переезде на новый домен.
Справка Яндекса говорит нам о 4 вариантах, когда появляются зеркала сайта:
Индексируется и участвует в поиске только один из доменов – главный. Остальные зеркала не индексируются, поисковые системы склеивают их с основным.
Чтобы в результатах поиска появился нужный домен, важно указать его в качестве главного зеркала в панелях Яндекс.Вебмастера и Google Search Console. В ином случае алгоритмы поисковых систем выберут основной домен сами.
Зачем нужны зеркала
С помощью зеркал SEO-специалисты решают разные задачи. Наиболее популярные случаи создания новых доменов:
Как определить зеркала сайта
Чтобы определить, считает ли Яндекс сайты зеркалами и какая из копий главная, нужно проанализировать страницы сайта, которые находятся в индексе.
Если в индексе есть страницы обоих вариантов, значит, поисковые системы не склеили зеркала. В таком случае нужно задать главное.
Чтобы проверить, является ли сайт чьим-то зеркалом, добавьте его в Яндекс.Вебмастер. Если он признан неглавным, будет автоматически добавлен вместе с главным зеркалом. 
Как указать главное зеркало
Поисковики воспринимают зеркала сайта как дубли контента и при ранжировании могут отдавать предпочтение версии сайта, которую затем оценивают хуже, чем основную. При этом происходит проседание позиций. Поэтому, чтобы в поиске участвовал нужный домен, важно склеить с ним неосновные зеркала.
В панели Яндекс.Вебмастера это можно сделать в разделе «Индексирование», на вкладке «Переезд сайта».
Чтобы задать главное зеркало сайта в вебмастере Google, сначала нужно добавить копии (неглавные) зеркала, а затем в настройках каждого домена выбрать основной. 
Как расклеить домены
Чтобы расклеить домены, нужно:
Расклейка зеркал происходит в течение 1–2 недель.
Мини-кейсы от Siteclinic
1. Как быстро восстановить трафик после смены главного зеркала
Пациент: сайт серой тематики, занимается продажей фармы.
Диагноз: после переезда просел трафик из Google на 95%.
Анамнез: Сайт работает в запрещённой в России тематике, домен постоянно блокирует Роскомнадзор. Это был не первый переезд на новый домен, поэтому особых опасений не вызвало.
Переезд был проведён по рекомендациям поисковых систем, за исключением одного НО: не был настроен переезд на новый домен в Google Search Console. Это не было сделано, так как с момента предыдущей смены домена прошло меньше полугода и (что было неожиданно) до окончания этого срока в консоли нельзя настроить новый перенос.
Переезжали 31 января, 4 дня после переезда изменений в трафике не было. Казалось, что перенос прошёл полностью успешно, и для Google хорошо отработал 301 редирект без смены зеркала через Google Search Console. Но на 5 день сайт потерял около 50% посетителей. На 6 – 86%. Максимальная просадка – почти 93%.
Лечение:
Так как возможности откатить переезд не было (старый домен блокировал Роскомнадзор), решили рискнуть и не ждать, пока Google полностью закончит с предыдущим переносом, чтобы начать новый, или сам признает новый домен и трафик вернётся. Порядок действий был следующим:
2. Для мобильного поддомена выбрано главное зеркало другого домена
Пациент: интернет-магазин товаров для детей.
Диагноз: нет трафика на мобильный поддомен.
Анамнез: при переходе по ссылкам с мобильного поддомена m.site1.kz пользователи переадресуются на сайт site2.kz. Переадресация настроена через 302 редирект.
О склейке зеркал говорит и Яндекс.Вебмастер:
Лечение: настроить 301 редирект с m.site1 на site1. Указать корректное главное зеркало в панелях Яндекс.Вебмастера и Google Search Console.
3. В качестве главного зеркала Яндекс выбрал тестовую версию сайта
Пациент: интернет-магазин обоев.
Диагноз: резкая просадка трафика.
Анамнез: На сайте резко просел трафик из Яндекса, при этом трафик из Google не изменился:
Это сразу позволяет исключить технические ошибки в работе сайта.
В это время на сайте шла подготовка к редизайну и разработчики выкатили тестовый домен, не закрыв его от индексации. Яндекс посчитал тестовый домен главным зеркалом сайта, но оценил его хуже, чем основной. Из-за этого просел трафик из Яндекса.
Лечение: закрыть тестовый домен от индексации.
Заключение
На первый взгляд, склейка зеркал – простой процесс. Однако в нём много мелких нюансов, которые могут негативно отразиться на представлении сайта в поисковых системах и его трафике. Поэтому важно следовать рекомендациям Яндекса и Google и не стесняться обращаться к специалистам.
Столкнулись с проблемой в продвижении сайта? Мы поможем!
Проведём диагностику и составим готовые решения для Вас