От чего зависит быстрая индексация. Количество дубликатов и результаты поисковой выдачи
Всем хочется, чтобы опубликованные материалы мгновенно попадали в индекс и сразу же приводили посетителей. Особенно это актуально при продвижении в Яндексе, которому порой требуется несколько апдейтов для индексации новой страницы. А что если за это время истечет актуальность статьи? Получается, что вы зря потратили ресурсы на ее создание. Если вы хотите, чтобы статьи уже спустя пару часов после публикации были доступны в поиске, следуйте представленным ниже советам.
Почему не индексируется сайт?
Проблемы с индексацией сайта бывают трех типов:
- страницы долго индексируются (зачастую причина - в низкой частоте обновления контента на сайте, и робот просто реже его посещает; также проблема может крыться в плохой SEO-оптимизации, некачественном контенте и сайте в целом);
- страницы не индексируются ни Яндексом, ни Google (в этом случае нужно убедиться, что не установлен запрет на обход площадки роботами в robots.txt , настройках хостинга или в мета-тегах robots);
- страницы не индексируются только одним поисковиком (стоит проверить сайт на фильтры поисковых систем).
Последние две проблемы устраняются или очень легко (если нужно просто разрешить индексацию страниц) или очень долго (если придется выводить сайт из-под санкций Яндекса или Google). В этой же статье рассмотрим именно способы ускорения индексации.
Способы ускорения индексирования сайта поисковиками
1. Улучшите внутреннюю SEO-оптимизацию
Сделайте внутреннюю перелинковку
В теле статей ставьте ссылки на другие страницы сайта. Также добавьте похожие записи (в конце статей) и популярные или новые записи (в сайдбаре). Не делайте более 3-4 уровней вложенности - страницы на 5 и 6 уровне индексируются хуже.
Хотите научиться расставлять внутренние ссылки так, чтобы улучшить поведенческие показатели и позиции в поиске? В статье «Как сделать перелинковку для успешного SEO и роста конверсий » описаны все самые эффективные подходы.
Пишите полезные и уникальные тексты
Если вы размещаете плагиат или поверхностный рерайт, то не удивляйтесь, что страницы не попадают в индекс. Поисковики считают такой контент дублирующимся и не несущим ценности для пользователей. О том, какими должны быть грамотно оптимизированные тексты для сайта, читайте .
Чаще публикуйте записи и обновляйте страницы
Поисковики любят «живые» сайты. Если несколько месяцев ничего не размещали, то робот перестает регулярно посещать сайт.
Как поддерживать актуальность сайта:
- публикуйте новые записи не реже 1 раза в неделю;
- добавляйте ссылки со старых страниц на новые материалы;
- актуализируйте и обновляйте информацию на сайте;
- настройте заголовки Last-Modified и If-Modified-Since (так поисковики будут обходить старые страницы только после внесенных на них изменений).
Устраните дубли на сайте
Дубли создают не только неудобства для вебмастеров, но и ухудшают качество сайта в глазах поисковиков. Они могут быть:
- явными (URL со слешем в конце и без него, с WWW и без WWW, с HTTP и HTTPS, с GET-параметрами);
- неявными (дубли страниц с комментариями, страницы товаров со схожими описаниями, страницы пагинации).
Устраняются они путем настройки 301 редиректа , указания канонических страниц , с помощью robots.txt. Все способы с примерами описаны в статье «Что такое дубли на сайте и как с ними бороться?» .
2. Используйте инструменты для вебмастеров
После запуска сайта обязательно зарегистрируйте его в панелях для вебмастеров: в Яндекс.Вебмастере и Google Search Console. Так вы сообщите поисковикам о появлении нового сайта, сможете отслеживать динамику индексации, будете получать уведомления об ошибках.
После создания новой страницы или обновления старой необходимо уведомить об этом поисковики, чтобы ускорить индексацию (переиндексацию). Делается это с помощью так называемых «аддурилок» (от англ. «add URL» - «добавить URL»).
В Яндексе этот инструмент находится в Вебмастере (раздел Индексирование / Переобход страниц). Введите новый URL и нажмите «Отправить».
«Аддурилка» Яндекса
До изменения в 2018 году интерфейса Search Console в Google был инструмент, который позволял добавлять любую страницу для переобхода. До сих пор в сети «висит» масса статей со ссылками на этот инструмент и описанием его работы, но он больше не поддерживается .
Старая «аддурилка» Google
Новые страницы в Google уже не нужно куда-то добавлять для индексации - достаточно того, чтобы они были в sitemap.xml. А вот старые страницы, на которых вы изменили контент, можно переиндексировать быстрее. Для этого перейдите в новый интерфейс Search Console в раздел «Проверка URL», введите адрес интересующей страницы и нажмите кнопку «Запросить индексирование». Это сигнал роботу обойти страницу вне очереди.
Данные действия - не гарантия попадания страницы в индекс или ускорения процесса (сами же поисковики ничего не обещают). Но поскольку такие инструменты есть, ими грех не воспользоваться.
Индексация сайта - это процесс сбора информации поисковой системой о содержимом вашего сайта. Во время индексации поисковые роботы (пауки) сканирую и обрабатывают web страницы, изображения, видео и другие доступные для сканирования файлы. Чтобы поисковая система быстро проиндексировала сайт: создайте карту сайта и добавьте ее в Google Search Console.
Сайт должен быть проиндексирован чтобы отображаться в поиске
Страницы, которые прошли сканирование и обработку, сохраняются в базу данных. Такая база называется «поисковой индекс». Именно в этой базе данных поисковая система ищет результаты, отвечающие на запросы пользователей.
Важно понимать:
- Если страницы нет в поисковом индексе - ее невозможно найти в поисковой системе.
- Индексация нужна чтобы участвовать в поиске.
- У каждой поисковой системы свой поисковой индекс, свои поисковые боты.
- Поисковой бот от Google называется Googlebot.
- Настройка индексации сайта, это базовый уровень работ по SEO.
Как проверить индексацию страницы?
Самый быстрый способ - написать в строку поиска команду site:[адрес страницы] . Такой все проиндексированные страницы сайта. Для того, чтобы просмотреть дату последнего сканирования страницы, напишите в строку поиска cache:[адрес проверяемой страницы]. Если вам нужно проверить индексацию конкретной страницы просто скопируйте ее адрес и введи в поиск запрос site:[адрес страницы]. Этот метод будет работать как в Google так и в Yandex или Bing.
Совет: Сравните количество проиндексированных страниц с реальным количеством страниц на сайте. Это поможет быстро оценить есть ли у вашего сайта проблемы с индексацией. К примеру: если на сайте 100 товаров, 10 разделов и 10 информационных страниц (в сумме 120), а в индексе только 50 страниц, это означает, что поисковая система не знает о большей части вашего сайта.
Как проверить индексацию всего сайта
Для проверки индексации сайта нужно выполнить 2 простых шага:
Проверяем не закрыта ли отдельная страница от индексации
Если перед вами появилась задача, проверить запрет индексации конкретной страницы проще всего использовать инструменты для вебмастеров. Скопируйте адрес страницы которую вы хотите проверить и вставьте в инструмент «Проверка URL на ресурсе».
В результате проверки вы получите информацию о запретах индексации. Обратите внимание на информацию о запретах, статусе страницы и канонический адрес.
Как добавить новый сайт в индекс поисковиков?
Сообщите поисковой системе о своем сайте в специальном инструменте Google или Yandex . Поделитесь своим сайтом в социальной сети или создайте на него ссылку с другого, уже проиндексированного сайта.
Узнайте больше о работе поисковой системы
Что делать, если сайт плохо индексируется?
Прежде всего нужно проверить не закрыт ли сайт от индексации. Это можно сделать по инструкции в этой статье чуть выше. Основные способы улучшить индексацию:
- Создайте карту сайта и загрузите в инструменты для вебмастеров.
- Обновите старые страницы.
- Удалите пустые страницы.
- Поставьте дополнительные ссылки на сайт с сторонних сайтов и соц. сетей.
Как происходит индексация сайта
Для решения проблем нужно разобраться в процессе индексации подробнее. С технической точки зрения “индексацию сайта” правильнее рассматривать как два отдельных процесса:
- Сканирование страниц.
- Обработка страниц.
Этап 1: Сканирование
Сканирование или “обход” страниц - это основная задача, которую выполняет поисковой бот. Попадая на новую страницу, бот получает со страницы два набора данных:
- Содержание самой страницы, информацию о сервере и служебные данные. А именно: ответ сервера, html код страницы, файлы css стилей, скриптов, изображений.
- Перечень ссылок, которые находятся на странице.
Полученное содержание передается для дальнейшей обработки и сохранения в базу. Просканированные ссылки так же сохраняются в специальный список - “очередь сканирования”, для дальнейшей обработки.
Когда бот добавляет в очередь индексации страницу, которая уже есть в очереди, эта страница занимает более высокое место в списке и индексируется быстрее. А это значит, что первый способ ускорить сканирование сайта - увеличить количество ссылок на нужные страницы.
Создавая очередь сканирования, google bot, как и другие поисковые боты, изучает карту сайта sitemap и добавляет в очередь ссылки из этой карты. Второй способ улучшить индексацию - создать карту сайта sitemap.xml и сообщить о ней поисковой системе. Карта сайта — самый простой способ отправить на индексацию все страницы в рамках нашего домена.
Есть несколько способов создать карту сайта:
- Бесплатный онлайн инструмент для сайтов до 500 страниц www.xml-sitemaps.com .
- Программа для сканирования сайта, с возможностью создания sitemap - xenu links .
- Библиотека приложений для создания sitemap.
- Самый популярный плагин для создания карты сайта для WordPress .
Чтобы Google узнал о вашем sitemap, нужно добавить ссылку на карту сайта в инструментах search console или файле robots.txt
Добавление карты сайта в Search Console:
- Зайдите в https://search.google.com/search-console/
- Добавьте свой сайт или выберите из списка.
- Перейдите в раздел Сканирование — Файлы Sitemap.
- Выберите “добавить файл sitemap”, вставьте ссылку и добавьте карту сайта.
Добавление sitemap в robots.txt:
- Зайдите в корневой каталог сайта через ftp.
- Откройте файл robots.txt
- Добавьте в конец файла строку “Sitemap: [адрес сайта]/sitemap.xml” и сохраните файл.
Третий способ ускорить индексацию - сообщить поисковому боту о дате последнего изменения страницы. Для получения даты и времени изменения страницы боты используют данные из заголовка ответа сервера lastmod. Сообщить наличие изменений на странице можно с помощью кода ответа not modify.
Надеюсь у вас больше не возникнет вопрос: “Что такое индексация сайта”.
Что такое индексация сайта в поисковых системах известно многим веб-мастерам. Они с нетерпением ожидают обновления поисковой базы, чтобы порадоваться результатам индексации или найти и исправить ошибки оптимизации, которые мешают качественной индексации и дальнейшему продвижению сайта .
Благодаря качественной индексации сайтов в интернете можно найти все, что угодно.
Как же работает система индексации в крупных поисковых системах?
У поисковиков есть программы-роботы (поисковые боты), которые постоянно «гуляют» по ссылкам в поисках новых
страниц. Если они находят новую страницу, которая удовлетворят требованиям алгоритма данного поисковика, то
она включается в результаты поиска и проходит индексацию.
рис: Индексация помогает находить сайты
Самое ценное и одновременно сложное – это алгоритмы поисковых систем, по которым они выбирают страницы для своей поисковой базы. У разных поисковиков они свои: у кого-то лучше, у кого-то чуть попроще. Это также необходимо учитывать при индексации сайта. Говорят, что в интернете можно найти всё, что угодно. А благодаря чему можно найти? Правильно! Благодаря качественной индексации сайтов.
Как добавить сайт в индекс поисковых систем?
Как же быстро и просто добавить свой сайт в индекс поисковых систем? Казалось бы, что в этом ничего сложного нет: достаточно всего лишь разместить сайт в сети, и поисковые машины сами бросятся на него. Если бы всё было так просто, то многочисленные seo оптимизаторы остались бы без работы.
Давайте разберемся, что такое индексация. Индексация – это процесс добавления страниц вашего сайта в базу данных поисковой системы. Говоря простым языком, поисковая система собирает ваши страницы, чтобы потом их показывать пользователям по определенным запросам. В каком порядке показывать и по каким запросам – это тема не одной статьи.
Провести индексацию сайта довольно просто: необходимо «сказать» поисковой системе, что у вас есть сайт, который может её заинтересовать. Каждый поисковик обладает формой добавления сайтов в индекс. Вот ссылки на формы добавления сайтов в индекс некоторых поисковиков:
Для ускорения индексации многие рекомендуют регистрировать сайт в системах социальных закладок. Это действительно оправдано, т.к. поисковые роботы (программы, которые проводят индексацию) очень часто посещают подобные сайты. Если они увидят там ссылку на ваш ресурс, то его индексация не заставит себя долго ждать.
Регистрацию сайта в поисковиках и социальных закладках можно проводить как самостоятельно, так и доверить это дело фирмам, которые занимаются вопросами раскрутки сайтов.
Зачем нужна индексация?
Вам нужен сайт, который увеличивает продажи вашей фирмы и продвигает ваши товары? А может, вам нужен сайт, который сам по себе приносит прибыль? Может быть, вы хотите вести личный дневник и получать за это деньги? Если на какой то из этих вопросов вы ответили утвердительно, то должны хотя бы в общих чертах представлять, что такое индексация сайта в поисковых системах.
Следуйте главному условию – создавайте сайт «для людей», удобный и с уникальнм контентом.
Действительно, если вашего сайта нет в поисковой выдаче крупнейших поисковиков (Яндекс, Google, Рамблер...), то на получение прибыли и на продвижение своих товаров или услуг вы можете даже не надеяться. Сайт будет лишним грузом, отъедающим бюджет фирмы на свое поддержание.
Совершенно иная ситуация возникнет, если сайт проиндексирован. Причем, чем больше страниц прошли индексацию – тем лучше. Главное, что необходимо для успешной индексации – оптимизация и уникальность контента сайта.
Поисковые системы стремительно развиваются, алгоритмы индексации постоянно совершенствуются. Теперь уже поисковикам не составляет труда определить плагиат или нечитаемый текст. Поэтому следуйте главному условию, которое необходимо для успешной индексации – создавайте сайт «для людей», удобный и с уникальнм контентом.
Индексация сайта дает не только большое количество целевых посетителей (что в конечном счете отражается на продажах товаров вашей компании), она ещё способствует развитию самого проекта и может направить владельца сайта по более перспективному пути расширения своего интернет проекта.
Как часто происходит индексация в Интернете?
На многих крупных форумах, посвященных раскрутке и продвижению сайтов, можно встретить темы с примерно одинаковыми названиями: АПы поисковой базы . Что же это такое, и как часто «ап»аются базы данных поисковых машин? Как всё это влияет на индексацию? Попробуем разобраться.
Человек, который немного разбирается в терминологии интернета , наверняка знает, что такое «ап». А вот что такое ап поисковой базы, или обновление индексации знают только те, кто занимается раскруткой и продвижением сайтов. Мы понимаем, что данные в поисковых системах не могут обновляться постоянно. Это чревато не только банальными перегрузками серверов, но и выходом из строя оборудования. Конечно, небольшие базы данных могут постоянно изменять свое состояние, а если речь зашла о базах поисковых систем, которые отвечают за индексацию сайтов, то тут совсем другое дело.
Представьте, какое огромное количество запросов получает база индексации каждую секунду. А что станет с ней, если параллельно ещё будет изменяться информация об индексации? Естественно, она может не выдержать, что и наблюдалось на заре развития поисковых машин.
Сегодня эта проблема решена довольно универсальным способом: данные об индексации с поисковых роботов хранятся во временных базах, а обновление «главной» базы данных происходит с задержкой в несколько суток. Поэтому индексация сайтов в крупных поисковых системах проходит довольно быстро и без «глюков».
Подготовка сайта к индексации.
Многие начинающие вебмастера на специализированных форумах задают один и тот же вопрос: как правильно подготовить сайт к индексации. Возможно эти рекомендации помогут Вам:
- Для успешной индексации необходим качественный уникальный контент. Это, пожалуй, первое и главное условие. Если на вашем сайте используется "ворованный"контент , то вероятность того, что индексация будет успешной, мала.
- Не используйте «серые» и «черные» методы оптимизации страниц: раз и навсегда откажитесь от списка ключевых слов в цвет фона страницы, а также различных ифреймовых структур. Если робот поисковой системы заподозрит вас в подобных нарушениях, то доменное имя будет вообще запрещено для индексации.
- После того, как вы выложили сайт на сервер, не спешите добавлять его везде, где только можно. Проверьте ещё раз контент, код на валидность , внутреннюю перелинковку страниц. Если всё сделано правильно, оповещайте поисковых ботов и приглашайте их на индексацию.
- Проверьте наличие метатегов , ключевых слов и описаний в них, тайтлов страниц и альтов изображений. Если всё это в наличии, то смело можете проводить индексацию.
- Добавьте свой сайт в поисковики через специальные панели.
Как видите, советы довольно простые. Но почему-то многие начинающие оптимизаторы не уделяют должного внимания им, а потом жалуются, что индексация их сайтов затягивается на несколько месяцев.
Другие материалы
В прошлый раз в серии из трех статей мы познакомились с первой статьей, где рассмотрели первую стадию работы поисковика: . Также мы рассмотрели возможные методы работы SEOшника с каждой из стадий.
Перед тем как продолжить, я считаю, что будет целесообразным освежить в памяти о чем шла речь в первой статье:
Поисковик обнаруживает, индексирует и ранжирует веб-страницы. должны основывать свои тактики продвижения на этих трех стадиях работы поисковика. Поэтому были сделаны следующие выводы:
- Все дело в обнаружении страницы
- Все дело в индексации.
- Все дело в ранжировании.
Но конечно же, Google как и любой другой поисковик существуют с одной целью - построить и развить бизнес, удовлетворяя потребности пользователей. Поэтому мы должны постоянно помнить следующее:
- Все дело в пользователях.
Зная все вышесказанное, мы можем разработать несколько методов продвижения на каждую из фаз работы поисковика, что в конце может привести к единой SEO стратегии.
Индексация сайта
Индексация является следующим шагом после обнаружения страницы. Выявление дубликатов контента является главной функцией данного шага работы поисковика. Возможно не будет преувеличением, если я скажу, что все крупные сайты имеют не уникальный контент хотя и на международном уровне.
Интернет-магазины могут иметь одинаковый контент в виде одних и тех же товаров. Об этом мы с точностью можем заявить, имея большой опыт работы с такими продавцами как Zappos и Charming Shoppes.
Еще больше проблем с новостными порталами известных газетных изданий и публикаций. Маршалл Симондс и его команда, работая над The New York Times и другими изданиями, ежедневно сталкиваются с дубликатами контента, что является основной SEO работой.
К сайту никогда не будут специально применяться санкции, если . Но существуют фильтры, которые способны отличать одинаковый или слегка измененный контент на множестве страниц. Эта проблема является одной из главных для SEO.
Дубликаты также повлияют на видимость сайта, поэтому нужно свести количество дубликатов к нулю. Различные версии одного и того же контента в индексе поисковика тоже не лучший результат оптимизации.
Мэтт Каттс , в своем интервью с Эриком Энгем, подтвердил существование "crawl cap" (колпак видимости сайта), который зависит от PR сайта (не тулбарного PR) и рассказал о том, какие проблемы могут появиться из-за :
Представьте, если мы сканируем три страницы сайта, а затем узнаем, что две из них являются копиями третьей. Мы выбрасываем эти две страницы и оставляем только одну и поэтому получается, что сайт имеет гораздо меньше хорошего контента... Но чем больше PR, тем больше шансов, что страницы не исчезнут из поиска...
Включает полнейшую информацию для любого серьезного SEOшника по проблеме дубликатов контента. Хотя и большинство, что вы услышите там будет не новостью, но подтвердить некоторые догадки и решения, с которыми мы сталкиваемся ежедневно, будет не лишним.
Определение уровня "проникновения" поисковика в сайт, "колпака видимости сайта", количества дубликатов контента, а затем их устранение, улучшит как видимость сайта в глазах поисковика, так и индексацию сайта.
Как определить качество индексации вашего сайта?
Существует несколько отличных способов узнать это:
- Анализ логов или анализ количества трафика по URL. Составив график по этим данным вы увидите, какие из частей сайта не нравятся поисковикам. А это и укажет на проблемы индексации.
- Анализ внутренней перелинковки сайта. Какие из частей сайта имеют меньше всего внутренних ссылок? Какие из частей сайта расположены в 6-7 кликах от главной страницы?
- Использование таких запросов как: site:jcrew.com inurl:72977 выявит дубликаты страницы. Самыми худшими дубликатами для являются дубликаты страниц с описанием товаров. Используйте похожие запросы в поиске: intitle и allintitle .
- Использование " " для объединения дубликатов и их сведения к главной версии . Но будьте осторожны, так как не правильное использование " " может навредить вашему сайту.
- Дайте Google и Yahoo (через панели вебмастеров) знать, что в поиске появляются дубликаты контента и во время следующего посещения сайта их можно не учитывать.
- Используйте robots.txt для запрета индексации ненужных страниц и контента, который не предназначен для поисковиков. Кроме этого, для запрета индексации некоторых частей страницы вы можете использовать тег meta robots и noindex.
- Использование XML карт сайта и Google Webmaster Tools для сравнения индексации по вертикали. (Google покажет проблемы в индексации для предложенной карты сайта).
Количество дубликатов и результаты поисковой выдачи
Проблема количества дубликатов для SEO очень сложна и требует отдельного рассмотрения. Если коротко, то проблему дубликатов можно решить использованием "rel=canonical" и стандартного "View All page" на страницах, которые служат главной.
Результаты поисковой выдачи - другая уникальная ситуация. Для управления этими результатами существует много способов.
Одним из хороших способов управления результатами поиска на сайте является канонизация этих результатов к определенной поисковой странице, которую потом сводят к качественной странице с контекстными и полезными ссылками. Это конечно не лучший выход из ситуации и использовать его лучше для поисковых страниц, которые не являются основой навигации сайта.
Выявление проблем индексации URL
Во время выявления проблем индексации сайта, любые "слабости" структуры URL страниц сайта всплывут наружу. Особенно это касается сайтов корпоративного уровня, где вы столкнетесь со всеми видами неожиданных результатов в индексе поисковика.
Эти проблемы возникают, когда у сайта появляется множество различных видов пользователей и членов администрации. Конечно же мы сами часто совершаем ошибки, SEO – не является решением всех проблем.
Индексация сайта является главным компонентом видимости сайта, индекса, ранжирования и обычно является главным объектом внимания SEOшников. Как следует почистите индекс вашего сайта и насладитесь эффективностью сканирования, скоростью индексации вашего сайта.
Оставайтесь с нами, так как будет еще и третья, заключительная статья из этой серии.
Если говорить в общем, то индексация сайта в поисковых системах – это внесение страниц вашего сайта в базу поисковых систем
Попробуем теперь разобраться и понять, для чего нужна индексация, на что она влияет, как этот процесс осуществляется и как проверить индексацию сайта в поисковых системах.
Как происходит индексация сайта поисковыми системами?
Прежде всего, индексация сайта в поисковых системах – важная составляющая продвижения сайта. От того, как быстро сайт будет проиндексирован, зависит его появление на страницах поисковых систем. Для индексации существуют специальные поисковые «роботы», которые регулярно заходят на сайты и анализируют данные. И если пользователю видна только визуальная и информативная составляющая сайта, то «робот» анализирует весь его html-код. Поэтому при поисковом продвижении сайта следует учитывать правильное заполнение всех тегов (теги