При запуску нового сайту перші днів 10 вебмастер змушений чекати, поки його ресурс пройде індексацію і потрапить в видачу пошукових систем. Google зазвичай індексує швидше і якісніше за інші системи. Але все одно обхід роботом всього сайту займає кілька днів. Індексацію можна прискорити і зробити це простіше, ніж здається.
Та ж ситуація стосується і випадків, коли ви вносите суттєві зміни в уже готовий сайт. Наприклад, змінюєте систему урлів або верстку. В такому випадку нас буде цікавити повторна індексація всіх сторінок.
Для початку потрібно змусити пошукові системи «полюбити» ваш сайт. У ньому не повинно бути загадки. Найкращий спосіб — це створення карти сайту для зручної навігації.
Створіть Sitemap
Для початку створіть собі карту сайта (Sitemap.xml).
Sitemap — це файл з даними про ваш сайт для пошукових систем. Він містить список сторінок, які потрібно проіндексувати. Завдяки xml-розмітці сайтмеп допомагає пошуковим системам швидко визначити структуру сайту, частоту його поновлення і «вага» одних сторінок в порівнянні з іншими.
Якщо ви не знаєте про sitemap, це нестрашно. Є безліч онлайн-ресурсів, які створюють його за вас. наприклад:
- Web-Site-Map.com (мова: англ., безкоштовно)
- xml-sitemaps.com (мова: англ., до 500 стр. безкоштовно)
Все просто: введіть урл і код безпеки, інші налаштування чіпати в 90% випадків не потрібно.
Після цього чекаємо, поки робот обійде ваш сайт і додасть всі знайдені сторінки в файл. Цей файл в результаті можна буде скачати. Індексація зазвичай триває хвилин 10-15. Отриманий файл краще перейменувати в sitemap.xml, його потрібно завантажити в кореневу папку вашого сайту.
Для коректної роботи дані про карту сайту треба зберегти в файл robots.txt. Почитати про те, що це можна тут. Вам же для початку потрібно просто додати адресу sitemap в цей файл:
User-agent: *
Allow: /
Sitemap: http://tokar.ua/sitemap.xml
Половину роботи зроблено. Так тримати.
Зайдіть в інструментах для веб-майстрів Google
У гугла є Інструменти для веб-майстрів. Працювати з ними просто. Додаємо адресу сайту:
Щоб ваш сайт не могли відслідковувати інші, права на нього потрібно буде підтвердити. Для цього є кілька способів. Найпростіший — поставити код Google Analytics в <head>. Просто встановіть код лічильника і натисніть «Перевірити».
До речі, GA — це один з найкращих способів стежити за поведінкою відвідувачів на сайті. Тому рекомендую їм активно користуватися і цікавитися, чим займаються гості у вас на сайті. І чи зручно їм там.
Сайт підтвердили:
Завантажте Sitemap
Відкрийте панель управління сайтом, в блоці «Сканування» відкрийте «Файли Sitemap»:
Вкажіть адресу карти сайту:
Після підтвердження дайте роботам час перевірити файл на помилки і внести список урлів в базу для індексації. Результати можна буде побачити пізніше в цьому ж розділі. В ідеалі кількість відправлених урлів має збігатися з кількістю проіндексованих.
Спрощуйте навігацію, прискорюйте сайт, генеруйте якісний контент. Так ваш сайт буде проіндексований повністю. І не потрапить під фільтр за копіпаст.
Як прискорити індексацію
А тепер невелика фішка, яку я побачив колись на англомовному форумі. Веб-майстер цікавився, як прискорити індексацію нового сайту. Sitemap він завантажив, але сторінки все не потрапляли в видачу. Рада була гранично проста: щоб «змусити» google відразу запустити сканування, потрібно в панелі управління запустити інструмент «Подивитись як Googlebot».
У формі, що з’явиться, потрібно ввести адресу карти сайту. Доданий файл з’явиться в списку під формою. Тиснемо «відправити в індекс». Після цього робот гугла пройдеться всіма посиланнями з карти сайту, прийнявши за вихідну сторінку карту сайту.
У примітці до форми вказано, що Google не гарантує, що всі файли сайту потраплять в індекс. Проте цей спосіб — найпростіший, щоб звернути на свій сайт увагу пошукача.
На десерт
Коли сайт проіндексовані, можна відпочити. На десерт для вас цей ролик про літо і активний відпочинк:
Про просмотр файла сайтмап гуглом сенкс. Казалось бы элементарно, но сам не додумался )
ускорение индексации зависит только от насыщенности ресурса и только ну и конечно внешний авторитет как uastend
А что скажете по поводу твитов и постинга в социалке, это ускоряет индексацию или просто миф ?
@Дмитрий, если акаунт живой и в нем есть ретвиты и избранные, это конечно повышает ваш уровень в глазах поисковиков. Но если накрученные тысячи фоловеров, то толку никакого, это все быстро проверяется.
Спасибо.Посмотрим удалось ли ускорить индексацию
Спасибо, очень помогло продвинуть свой сайт в топ
Спасибо, Назар.
Много интересного, главное все просто и понятно.
Я не профессионал, двигаю сайт методом “тыка”)
Ваш сайт уже в закладках, sitemap сделал, боту подсказал, да много чего с Ваших советов.
Сейчас “звонок” Ваш ставлю на сайт, пока не получается…)
Разберемся.
Спасибо.
@Ден, спасибо, успехов :)
Советую всем 2 актуальных сервиса, с помощью них страницы попадают в индекс с помощью бота за 10 минут в Яндекс и Google.
1 – …
2 – …
Alexander, ага, щас, вас тут не хватало :)
ЗА фишку спасибо, решила поискать, кто пробовал, а то индексация застряла на 150, а у меня больше 200 страниц… решила помочь гуглу..)
А если это не так, количество проиндексированных на много меньше. Как с этим бороться?
@Тимур, например, прочесть статью, которую вы комментируете :)
@Назар Токарь, не спрашивал бы если сделал что-то не так. Так в чем может быть причина?
подскажите, пожалуйста. я уже в отчаянии. сайт у меня новый. 11 дней. долгое время ничего не индексировалось, пока не нашла вашу статью. создала sitemap уже и удалила, потому что не помогает. сделала ваш метод “Посмотреть как Googlebot” и супер! тут же проиндексировались страницы, но в инструментах вебмастера гугл до сих пор написано проиндексировано 0. самое ужасное, что если проверять в гугле писать site:sdelaemgenia.ru то с утра сегодня показывало 99 страниц, сейчас уже 13 страниц, позавчера показывало 58 страниц, а вчера всего 2!!! то есть, количество страниц в поиске все время меняется и все время уменьшается! вот что меня пугает. и я не знаю, что делать. помогает только если каждый день вручную вводить ссылки в инструментах для вебмастера и нажимать Посмотреть как Googlebot надежда на вас, подскажите что не так и почем упропадают проиндексированные страницы из поиска.
@Надежда, надежда на то, что вы прочтете статью.
@Назар Токарь, я все и так читала и все выполнила. единственное, один из генераторов sitemap, предложенный вами, генерирует только одну ссылку на главную страницу сайта. в прошлый раз воспользовалась именно им. теперь я проверила все 3 генератора и закинула новый sitemap со всеми ссылками на сайт.
Все нормально написано, только вот у меня не получилось совместить две карты на Джумле – одну через плагин, одну через созданную внешними сервисами
Хорошая статья. Только есть один вопрос. Как ускорить индексацию сайта если его еще вообще нет в индексе?
Если по какой-то причине сайт не в выдаче (не забанен, а еще не добавлен), его можно добавить через этот сервис, а после этого использовать описанное в статье.
Отличная статья – про фишку – круто – впервые узнал. Спасибо. Будем смотреть
А если после создания файла карты сайта на самом сайте добавятся страницы?
@Олег, какие страницы добавятся?
@Назар Токарь, ну на сайте появится новый контент
Если вы загрузите, конечно появится. Что за вопросы странные.
Почему странные?
Мы создали сервисом файл карты сайта на текущий момент.
Загрузили в поисковики. Затем на сайте появляется новый контент, новые адреса следовательно.
Или каждый раз нужно создавать такой файл после добавления контента на сайт?
@Олег, ааа, так бы сразу и написали. Вы написали не так и я вообще не пони, о чем речь.
Автоматом не будет добавляться, нужно при добавлении новых страниц заново запускать создаине карты сайта. Либо поставить на сайт скрипт, который будет генерировать ее при обновлении. Например, в wordpress есть такие плагины. Вы этого даже не увидите, но при добавлении постов карта сайта автоматически обновляется.
Да, простите, не уточнил. Про плагины в курсе, а об этом методе не знал. Спасибо за информацию, полезно!
Спасибо, воспользовался хитростью, посмотрим результат
через недельку