Как сделать зеркало домена
Зеркало сайта
Если интересует тема создания и настройки зеркала сайта — это статья для вас. Расскажу вам, что такое зеркало и как его сделать.
Что такое «зеркало сайта»: значения и виды
Вообще, под зеркалами вебмастерами часто понимаются разные вещи. И цели у таких зеркал тоже разные: безопасность сайта, смена адреса и некоторые другие. Обо всем этом поведаю ниже.
Зеркало — дубликат, копия сайта. Зеркальное копирование своего или чужого сайта может быть полным или частичным.
При этом, более глубокое понятие «зеркала» употребляется в разных контекстах и может принимать немного иные значения:
Сложно сказать определенно, какой из вариантов используется чаще: скорее всего у небольших сайтов однозначно первый, у крупных — второй.
Итак, роботы Яндекса и Гугла считают зеркалами полные копии сайтов. Копия определяется при совпадении контента по двум разным адресам, например: 7bloggers.ru/about-2 и 15blogggers.ru/about-2 или 7bloggers.ru/about-2 и www.15blogggers.ru/about-2.
При этом, идентичный контент может быть показан как с перенаправлением, так и без. В случае перенаправления, происходит редирект с 7bloggers.ru/about-2 на www.15blogggers.ru/about-2. При отсутствии редиректа, контент просто показывается по двум адресам, но в поисковой выдаче участвует главное зеркало и только оно.
Зачем и для чего делают зеркала сайтов?
Если вы еще не поняли, для чего конкретно создаются зеркала, расскажу на конкретных примерах.
Я могу сделать зеркало сайта на другом, более красивом домене, чтобы впоследствии перенести туда сайт, сохранив и поисковый трафик, и закладочную аудиторию постоянных посетителей (предварительно подготовив их к переезду на красивый домен). Такие случаи часто возникают в коммерции при слиянии и поглощении фирм — когда наименование и адрес новой объединенной компании должны измениться. Поэтому надо склеить новый домен с существующим.
Я могу «забронировать» домен. Сделаю зеркало сайта для бронирования схожих адресов. Например: kondicionery.ru и konditsionery.ru, fotostudiya.ru и fotostudia.ru. Еще пример: seo-moscow.ru и moscow-seo.ru. Зачем? Ну, для защиты от конкурентов, на всякий случай. Много причин. Иногда бывает так что, допустим, «fotostudia» пользователю проще запомнить и ввести — и речь не только об адресной строке браузера, но и о поисковых запросах. Статистика по запросам изобилует всевозможными опечатками и ошибками: «фольцваген», «ай фон» и др.
Из этого вытекает следующая цель.
Я могу сделать зеркало сайта для продвижения в нескольких странах на разных языках. Пример из жизни: computeruniverse.net, computeruniverse.de, computeruniverse.ru (русская версия что-то не работает в последнее время, вообще работала).
Про создание зеркал с целью стабильной доступности сайта я уже говорил — подобная схема не только обеспечит доступ к сайту в случае падения основного сервиса, но и распределит нагрузку по нескольким серверам т.е. в целом сайт будет всегда отзываться быстрее чем с одного «перегруженного» сервера.
Я могу сделать зеркало сайта, чтобы вывести его из под фильтра. Допустим, зафильтровал Яндекс сайт под одним доменом (или заблокировал Роскомнадзор по IP), а я делаю зеркало на новом сервере, делаю редирект — и снова в топе. Не страшны ни фильтры Яндекса, ни блокировки.
Сейчас расскажу, как создать зеркало для сайта с двумя распространенными целями: объединим домены с «www.» на обычный (+ обратно) и сделаем сайт-зеркало с новым доменом.
Как сделать зеркало сайта, объединив два домена с «www.» и без
В этом деле нам пригодится 301 редирект. Зайдите в корень сайта на своем хостинге и найдите там файл «.htaccess». Создайте, если его нет. Например, в Notepad++. Сделайте пустой файл и где-нибудь его сохраните.
Обратите внимание что я выбрал ALL TYPES в типе файла. По невнимательности ошибки бывают и у меня — недавно редактировал hosts-файл для Windows и сохранил его не глядя как «hosts.txt». С «.htaccess» тоже бывало.
Второй момент — после успешной загрузки хтацесса на хостинг вы потеряете его из виду. Если пользуетесь встроенным браузерным менеджером cPanel, то и не увидите. А если пользуетесь FTP-менеджером, то включите в настройках отображение скрытых файлов и все будет нормально.
RewriteCond %
RewriteRule ^(.*)$ https://www.15blogggers.ru/$1 [R=301,L]
RewriteCond %
RewriteRule ^(.*)$ https://15blogggers.ru/$1 [R=301,L]
Ребята, обратите внимание, если вы хотите сделать в качестве зеркала сайт на кириллическом домене (например 7блоггеров.рф) — адрес должен быть в формате punycode: «xn--8-btbddam3byadt.xn--p1ai» или «www.xn--8-btbddam3byadt.xn--p1ai», где «.xn--p1ai» это «.рф».
Нам нужно передать привет Яндексу и Гуглу, чтобы он знал, какой адрес будет основным.
Host — основной домен.
Теперь нужно подстраховаться и уведомить поисковые системы через панель вебмастера о сделанных изменениях. Это делать не обязательно — но перестраховаться не бывает лишним. В любом случае, склеивать зеркала Яндекс будет примерно месяц.
Итак, зайдите в Яндекс.Вебмастер (вы ведь добавляли туда сайт? если нет — добавьте) и ступайте в раздел «Главное зеркало». В старой версии Вебмастера это выглядит так:
В новом Вебмастере раздел называется «Переезд сайта», находится по адресу https://webmaster.yandex.ru/site/http:7bloggers.ru:443/index-setup/mirrors/ и выглядит так:
В Вебмастере Гугла тоже есть подобные настройки, попасть в них можно нажав по шестеренке в правом верхнем углу и затем «Настройки сайта».
Вы перейдете на новую страницу с меню выбора основного домена. Теперь нужно выбрать, какой домен хотите сделать главным (основным), какой — второстепенным (дополнительным). Например: 15blogggers.ru — основной, www.15blogggers.ru — дополнительный.
Подробнее о настройке основного домена (с www и без), можно почитать в справке Гугла для вебмастеров.
Как сделать и настроить зеркало сайта на другом домене
RewriteRule ^(.*)$ https://15blogggers.ru/$1 [R=301,L]
RewriteRule ^(.*)$ https://15blogggers.ru/$1 [R=301,L]
Подробная информация по данному типу склейки с новым доменом содержится в видеоролике:
Есть еще ролик от специалистов Яндекса, только его нельзя встроить, перейдите по ссылке ниже.
Как узнать и проверить зеркало сайта?
Напоследок научу вас проверять зеркала своих и чужих сайтов. Ну это просто, если вы заходите по адресу www.15blogggers.ru, а вас перебрасывает на 15blogggers.ru — зеркало работает. В данном случае, 15blogggers.ru это основной домен, а www.15blogggers.ru — второстепенный.
Второй способ проверить работоспособность зеркал (уже склеенных поисковиками) — ввести в поисковую строку Яндекса или Гугла адрес зеркала сайта. В поисковой выдаче вы увидите отображение основного домена.
Проверить домен на склейку (вариант для ленивых) можно и при помощи сервиса XSEO. Перейдите по адресу и введите домен для проверки.
Итог — часто задаваемые вопросы по зеркалам
Индексируются ли зеркала?
Поскольку поисковые роботы склеивают зеркала, впоследствии индексируется из них только основной сайт — главное зеркало. Соответственно, он же и участвует в поисковой выдаче. Как ускорить индексацию сайта — читайте тут.
Что будет, главное зеркало не указывать совсем?
Бывает так, что вебмастера склеивают зеркала сайта, но при этом забывают сделать указание для поисковых машин о том, какое из зеркал является основным. В этом случае поисковый робот самостоятельно выберет основное зеркало в соответствии со своим внутренним алгоритмом.
Можно ли напрямую проверить в Яндексе сайт-зеркало?
Можно. Это делается через аддурилку („Сообщить о новом сайте“). Если добавленный домен будет являться зеркалом, вы увидите: «Указанный вами сайт www.15blogggers.ru является неглавным зеркалом сайта 15blogggers.ru».
При создании зеркала на другом домене, учитываются ли характеристики старого?
Да. Если вы делаете второстепенным зеркалом старый домен с показателями для главного зеркала по новому адресу — это поможет сохранить существующие позиции в выдаче.
Склеятся ли сайты при перенаправлении на главное зеркало со всех страниц неглавного зеркала?
Да. Но лучше так не делать. Сделайте нормально — пусть каждая страница перенаправляет на соответствующую ей страницу на главном зеркале.
Почему сайт пропал из поиска после настройки серверного редиректа на новый домен?
Вероятно т.к. новый домен на момент склейки уже был зеркалом (неглавным). А старый сайт не участвует в поиске, т.к. перенаправляет, а новый еще не появился в поиске потому что не прошло достаточное количество времени, чтобы ПС распознали его как главное зеркало.
Что делать, если структура зеркал отличается?
Ничего страшного не произойдет, в том случае если вы правильно настроите серверные редиректы между страницами зеркал. URL на неосновном зеркале должен строго перенаправлять на URL с идентичным контентом на главном сайте, а страницы со старой структурой — на страницы с новой структурой. Приведу пример для наглядности:
www.6bloggers.ru/old —> www.15blogggers.ru/old
www.6bloggers.ru/new —> www.15blogggers.ru/new
www.15blogggers.ru/old —> www.15blogggers.ru/new
Как расклеить зеркала?
Какими сервисам пользоваться для работы с доменами?
Полный список сервисов я описал в этой статье: https://7bloggers.ru/domains/.
Вот пожалуй и все. Успехов в создании зеркал.
Как настроить зеркало сайта
За счет уязвимости в Вебмастере кто угодно может забрать себе весь трафик и позиции вашего сайта. О том, как это может происходить и как нужно работать с зеркалами сайта – в этой статье.
Сайты могут иметь неограниченное количество зеркал, но главное зеркало сайта всегда будет единственным. Зеркалами считаются ресурсы, у которых совпадает контент. Они появляются автоматически при создании версии сайта на www и без нее, при переезде на новый домен и при подключении протокола https.
Можно добавить его специально. Обычно это делается для удобства пользователей, когда название товара или бренда имеют разные написания: kettler.ru и ketler.ru или med.ru и myod.ru. Иногда регистрируют один домен в разных доменных зонах и ставят переадресацию на главный домен: dom.ru, dom.com, dom.info и dom.realty. Если вы переезжаете на новый домен, то также происходит добавление копии и смена главного зеркала.
Добавляйте копии сами
Важно: склеивайте только сайты с идентичным содержимым. Если контент сайта будет отличаться, робот их не склеит. Поэтому при переезде на новый домен с параллельным редизайном проводите работы поэтапно. Сначала сделайте дубликат старого сайта, затем назначьте новый домен в качестве основного и переведите трафик на него. После этого обновляйте дизайн и вносите другие изменения в содержание сайта.
Проверьте, чтобы при редиректе совпадали адреса с директивой host. Если они не совпадают, робот не сможет корректно индексировать. Он самостоятельно выберет, что из них является главным. И им может стать не тот ресурс, который нужен. Допустим, вы переезжаете на новый домен. Посмотрите, все ли указания ведут на него.
Обеспечьте безопасность
Проблемы в этом случае две. Первая – владелец может долго не подозревать о случившемся. А исправить ситуацию с сайтами можно исключительно в Вебмастере Яндекса. Для смены не требуется предоставление паспорта как при смене владельца домена. Уведомление на почту или телефон тоже не приходит. Владелец только видит по факту, что посещаемость на сайте резко снизилась до нуля. О причинах он может только догадываться.
Вторая проблема в том, что техподдержка Яндекса не реагирует на подобные случаи с сайтами. По правилам, если контент сайта совпадает, то происходит склейка. Поменять содержимое ресурса злоумышленника владелец основного сайта не может. Он может заменить только собственный контент, потеряв все наработки прошлых лет.
Запомните
Назначайте главное зеркало через директиву Host в файле robots.txt. Директива должна быть единственной. Если ошибочно указали несколько директив, робот возьмет информацию из первой. Прописывайте директиву правильно: корректный адрес домена (с www или без него), наличие https и номер порта.
При переезде на новый домен сначала создайте копию старого ресурса и назначьте его основным зеркалом. Вносите изменения в дизайн сайта, его структуру и контент на новой версии только после апдейта Яндекса и переходе трафика.
При редиректе учитывайте, что страницы старого сайта выпадают из индекса, и количество посетителей сайта снижается. Объем трафика восстановится только после полного переезда на новый домен. Редирект делайте постранично.
Тщательно выбирайте подрядчиков для работы в панели Яндекс.Вебмастера. Недобросовестные исполнители могут украсть трафик, сделав копию вашего ресурса. При обнаружении мошенничества техподдержка Яндекса не сможет помочь вашему сайту, потому что расклейка зеркал происходит только при замене контента на одном из ресурсов.
Материал подготовила Светлана Сирвида-Льорентэ.
Как узнать главное зеркало сайта и настроить его с помощью редиректа
Время чтения: 14 минут Нет времени читать? Нет времени?
В комментариях к статье о Search Console и «Яндекс.Вебмастере» читатель задал вопрос о выборе основного домена сайта. Пользователь поинтересовался, какой вариант лучше: с www или без www. Ответить на вопрос можно коротко. Лучше выбрать вариант, который вам больше нравится. Действительно сложные вопросы могут появиться во время настройки зеркал и перенаправлений. Ответы на них вы найдете в статье.
Что такое зеркало сайта
Зеркала — точные копии сайта, доступные по разным URL. Например, если по адресам nash-saitik.ru и нашсайтик.рф доступен одинаковый контент, поисковые системы признают сайты зеркалами. Обратите внимание, роботы сравнивают не только главные страницы ресурсов. По разным данным, чтобы поисковики признали сайты зеркалами, уровень совпадения контента должен составлять от 80 до 100 %.
Откуда берутся зеркала сайтов? Во-первых, владельцы сами их создают. С помощью зеркал можно решить следующие задачи:
Во-вторых, из-за префикса www зеркала сайтов появляются автоматически. Физически nash-saitik.ru и www.nash-saitik.ru — разные ресурсы. В данном случае URL с префиксом www представляет собой субдомен по отношению к основному домену nash-saitik.ru.
Поскольку по двум адресам обычно доступен одинаковый контент, поисковые системы признают их зеркалами и склеивают. Термин «склейка» значит, что в поиске участвует только один ресурс. Поисковики могут выбрать основной домен или главное зеркало автоматически. Также вы можете указать соответствующие настройки самостоятельно. Об этом дальше.
Какой вариант лучше: с префиксом www или без?
Откуда взялся префикс www? В конце 80-х годов прошлого века технические возможности компьютеров отставали от задумок изобретателей. Для физического хостинга одного небольшого сайта приходилось использовать несколько веб-серверов. Например, на одной машине размещался сервис FTP, на другой почтовый сервер, а на третьей контент сайта. Это отражалось в адресах ресурсов. Например, для доступа к почтовому сервису использовался адрес mail.vash-saitik.ru, а доступ к FTP открывался с помощью адреса ftp.vash-saitik.ru.
Ученый Тим Бернерс-Ли предложил объединить размещенную на разных серверах информацию во Всемирную паутину (World Wide Web). Чтобы обеспечить техническую возможность, Бернерс-Ли с коллегами разработали язык разметки гипертекста (HTML), протокол передачи гипертекста (HTTP) и универсальные идентификаторы ресурсов (URI), производными от которых являются URL. Чтобы пользователи понимали, что ресурс находится во Всемирной паутине, к его адресу добавляли префикс www.
В настоящее время люди понимают, что ресурс находится во Всемирной паутине, независимо от префикса www. Стоит ли использовать его в адресе сайта? Это вопрос личных предпочтений: выбирайте вариант, который вам больше нравится. Сомневаетесь? Вот аргументы в пользу URL без префикса:
А вот аргументы в пользу префикса www в URL:
Зачем выбирать основной домен, если можно дать пользователям возможность заходить на сайт по URL с префиксом и без? Представьте ситуацию: ресурс доступен по адресам vash-saitik.ru и www.vash-saitik.ru. Вы публикуете ценную информацию, которой пользователи делятся друг с другом. Они используют разные ссылки: с префиксом и без.
Как отмечалось выше, поисковые системы допускают в индекс только одно из зеркал. Например, поисковики могут автоматически выбрать вариант без префикса. В этом случае они не учитывают обратные ссылки с www. Ресурс теряет часть естественной ссылочной массы, которая могла бы работать на авторитет сайта.
Чтобы решить эту проблему, необходимо выбрать основной домен, настроить редирект и уведомить поисковые системы.
Как настроить серверный редирект
Представьте, что вы выбрали вариант URL с префиксом. Проверьте адрес, по которому доступен ресурс в данный момент. Если при попытке войти на сайт по URL с www браузер перенаправляет вас на адрес без префикса, это происходит благодаря серверному редиректу.
Проверить редирект можно с помощью специальных сервисов, например, Redirect Checker. Введите URL сайта в поле для анализа и нажмите кнопку Analyze. Сервис покажет редирект и его тип. В выбранном примере настроен постоянный редирект 301 с URL www.drupal-guru.ru на drupal-guru.ru.
Вы выбрали главное зеркало с префиксом. Поэтому необходимо изменить редирект: на уровне сервера перенаправить посетителей с drupal-guru.ru на www.drupal-guru.ru.
Подключитесь к серверу с помощью любого FTP-клиента, например, с помощью FileZilla. Данные для доступа можно получить у хостинг-провайдера. В меню «Сервер» включите опцию «Принудительно отображать скрытые файлы».
Откройте файл с помощью текстового редактора и добавьте правило переадресации. Используйте такой код:
RewriteRule (.*) http://www.drupal-guru.ru/$1 [R=301,L]
Вместо URL drupal-guru.ru вставьте адрес своего сайта.
Сохраните изменения в файле и загрузите его на сервер.
Обновите настройки CMS. Если вы пользуетесь WordPress, укажите основной домен в разделе консоли «Общие настройки».
Проверьте корректность редиректа с помощью сервиса Redirect Checker.
Если вы выбрали основной домен без префикса и хотите настроить редирект с адреса с www на адрес без www, используйте следующий код:
RewriteRule (.*) http://drupal-guru.ru/$1 [R=301,L]
Как сообщить о главном зеркале «Яндексу»
«Яндекс» автоматически определяет главное зеркало, если редирект настроен корректно. Но если вы изменили основной домен, сообщите об этом поисковику.
Сначала добавьте в файл robots.txt директиву Host с указанием нового адреса. Для этого скачайте документ с сервера с помощью FTP-клиента. Файл находится в корневом каталоге в папке www.
Откройте файл в текстовом редакторе. Добавьте директиву Host после директив Disallow и Allow. Если вы выбрали главное зеркало с префиксом, добавьте такую строчку:
Вместо URL www.drupal-guru используйте адрес вашего сайта. Записи в файле robots.txt могут выглядеть так:
Сохраните информацию и загрузите обновленный файл robots.txt на сервер. Проверьте изменения. Файл доступен по адресу www.drupal-guru/robots.txt.
Откройте раздел «Переезд сайта» в новом кабинете для вебмастеров «Яндекса». Он находится в меню «Настройки индексирования». Отметьте галочкой пункт «Добавить www» и сохраните изменения. Изменения вступят в силу после переиндексации ресурса.
Как узнать главное зеркало сайта с помощью Search Console Google
Чтобы выбрать основной домен в поисковой консоли Google, подтвердите права на управление двумя сайтами. Для этого добавьте в консоль ресурс с префиксом и без префикса. После подтверждения прав войдите в меню настроек сайта.
Отметьте флажком вариант домена с www и сохраните изменения.
После выбора основного домена Google будет рассматривать внешние ссылки с префиксом и без как идентичные. Иными словами, естественные бэклинки вида www.drupal-guru.ru и drupal-guru.ru будут засчитываться в актив вашего ресурса.
Как настроить главное зеркало для кириллического домена
Многие владельцы сайтов для удобства пользователей регистрируют кириллические домены. Например, сеть супермаркетов «Лента» владеет кириллическим доменом лента.рф. Однако сайт организации доступен по адресу www.lenta.com. Это возможно благодаря редиректу 301 с URL лента.рф на адрес основного домена.
RewriteRule (.*) http://www.drupal-guru.ru/$1 [R=301,L]
RewriteRule (.*) http:// xn—-7sbkb0bwgfvfb.xn--p1ai/$1 [R=301,L]
Обратите внимание, xn—-7sbkb0bwgfvfb.xn--p1ai — это URL друпал-гуру.рф в кодировке punycode.
Как настроить редирект при переезде на новый домен
Чтобы решить проблему, используйте следующий код:
RewriteRule ^(.*)$ http://opencart-guru.ru/$1 [R=301,L]
RewriteRule ^(.*)$ http://opencart-guru.ru/$1 [R=301,L]
В данном примере код перенаправляет пользователей с любой страницы сайта www.drupal-guru.ru на соответствующую ей страницу сайта opencart-guru.ru. Не забудьте вместо использованных для наглядности адресов указать URL ваших ресурсов.
Обратите внимание, файл robots.txt старого сайта www.drupal-guru остается доступным. В нем необходимо с помощью директивы Host указать, что основным зеркалом вы выбрали новый сайт opencart-guru.ru.
Настройка редиректа в cPanel
В панели управления войдите в меню «Перенаправления». Он находится в разделе «Домены».
При необходимости выберите тип перенаправления. По умолчанию система предлагает использовать постоянный редирект. Он подходит для настройки зеркал сайта.
Укажите домены, с которого и на который будут перенаправлены пользователи. Нажмите кнопку «Добавить», чтобы сохранить изменения.
Перенаправление с помощью плагинов
Для некоторых CMS существуют плагины, с помощью которых можно быстро настроить редирект. Например, если вы работаете с WordPress, воспользуйтесь Simple 301 Redirects. Установите плагин и войдите в меню настроек.
Укажите страницы, с которых и на которые необходимо перенаправить пользователей. В примере на иллюстрации настроен редирект со страницы записи на страницу архива.
С помощью плагина можно настроить перенаправление для всех страниц в категории. Для этого установите флажок в поле Use Wildcards. Укажите адрес категории и добавьте после него астериск. Укажите URL назначения и сохраните изменения.
В CMS Joomla! редиректы можно настроить с помощью встроенного в ядро компонента «Перенаправление». В Drupal эта задача решается с помощью модуля Redirect. Для CMS Opencart есть платные расширения для настройки перенаправлений.
Как настроить редирект на сервере Nginx
Чтобы настроить редирект с домена без префикса www на домен с префиксом, укажите следующий код:
rewrite ^/(.*)$ http://www.drupal-guru.ru/$1 permanent;
Перенаправление с URL с префиксом www на URL без префикса можно настроить с помощью такого кода:
rewrite ^/(.*)$ http://drupal-guru.ru/$1 permanent;
Вы можете получить код для конфигурационного файла Nginx с помощью htaccess-конвертеров, например, этого.
