Большая пошаговая инструкция как раскрутить сайт самостоятельно. Сразу предупреждаю, информации много, но она - довольно хорошо структурирована. Никто не обещал, что будет легко, но разобраться все же можно.
Как без лишних трат простыми и легальными методами раскрутить свой молодой сайт. Внимание! Это большой мануал по пошаговой оптимизации сайта. Хорошая новость в том, что если все делать внимательно и последовательно, то все получится даже у тех, кто не очень 'продвинут'.
Мои рекомендации подойдут тому, кто ничего не знает об оптимизации, кого картинка ниже ( исходный код сайта) приводит в ужас, но кто хочет, чтоб сайт находился в поиске. В прямом смысле - искался и находился будущими покупателями и заказчиками. Рассказываю все простым и понятным языком, пошагово. Для обычных людей. Поехали!
От чего зависит успешная оптимизация вашего сайта
Что должно быть в админке вашего сайта
Как приручить поисковые системы
Что нужно знать про Домен
Система управления сайтом - CMS
Возможность прописать 'title' ( заголовок) для каждой страницы
Возможность прописать 'alt' к фото
Возможность прописать мета-тег Description
Как узнать, есть ли нужные мета-теги на вашем сайте
Возможность создания новых страниц
Поговорим о контенте
Правила написания контента ( текстов сайта) для скорейшей оптимизации сайта
О статистике запросов в Яндексе - где ее посмотреть
Регистрация аккаунтов в Яндексе и Гугле для работы с сайтом в качестве web-мастера
Файлы robots.txt и sitemap.hml - завершающий аккорд первичной оптимизации молодого сайта
Резюме
Что должно быть в админке вашего сайта
1. Возможность прописать TITLE ( заголовок ) для каждой страницы.
2. Возможность прописать ALT для каждой картинки.
3. Возможность прописать в META-тегах тег DESCRIPTION ( описание содержания страницы сайта) и KEYWORDS ( ключевые слова уже не так актуальны для оптимизации сайта, как раньше, но все же стоит их указать.)
4. Возможность создания новых страниц с новым TITLE и DESCRIPTION ( описанием страницы)
5. Возможность пополнения контента сайта с включением в каждый текст на каждой странице нужных поисковых запросов. На языке профессионалов это называется - формирование семантического ядра. Это слова и запросы, объединенные в определенную систему.
Как приручить поисковые системы
1. Зарегистрировать аккаунт в Яндексе или использовать имеющийся, уже - в качестве Яндекс-вебмастера.
2. Зарегистрировать аккаунт в Гугле или использовать уже имеющийся.
3. В Яндексе на сайт поставить метрику, вебвизор ( для отслеживания поведения пользователей на сайте), начать использовать все инструменты Яндекс-вебмастера.
4. В Гугле так же молодому сайту присваивается идентификатор, формируется счетчик посещений сайта, остальные инструменты для Гугл-вебмастера. Сейчас это называется - работать в Гугл Серч Консоль. (Google Search Console)
5. В Яндексе использовать сервис Яндекс Бизнес и все имеющиеся инструменты для работы Вебмастера.
6. В Гугле использовать сервис и все возможности Гугл-вебмастера.
7. Когда сайт начинает наполняться контентом , этими добрыми новостями нужно делиться в Google Search Console, засылать каждую страницу сайта в индекс Гугла. Так же - в Яндексе. Но перед этим нужно всякий раз генерить новую карту сайта в XML. Так индексация новых страниц пойдет шустрее.
8. С 2020 г в Каталог Яндекса перестали брать сайты. Но можно использовать все возможности сервиса 'Яндекс Бизнес'.
8. Сделать файл robots.txt по всем правилам и сгенерировать Карту сайта - для поисковых систем, файл sitemap.xml. Я использую генератор карты сайта здесь https://www.mysitemapgenerator.com/
Что нужно знать про домен
В идеале ваш домен может содержать главный поисковый запрос или часть его. Вы хотите, чтоб у вас покупали комоды, ваш домен должен звучать как 'kupitkomod.ru' - это в идеале, и в случае, если вы уверены, что именно так звучит главный поисковый запрос в интернете на эту тему, и что люди именно это набирают при поиске. Не обязательно, но будет не лишне, использовать эту возможность звучания домена - как главного поискового запроса.
Рекомендации, что адрес сайта должен быть коротким и красивым, уже устарели, потому что никто адрес сайта не набирает в сети сегодня, набирают в поиске нужную фразу, когда хотят что-то купить или найти. Эта нужная фраза может быть у вас в имени сайта (в домене).
Если у вас уже есть домен, скажем, master-ivan-petrov.ru и вы, мастер Иван Петров, делаете комоды из дерева, купите второй домен, к примеру 'komod-iz-dereva.ru'- и сделайте его зеркалом. При наличии зеркал сайта нужно выполнить определенные процедуры указания главного домена, но это - уже углубленное изучение темы. Об этом - читайте в других источниках, от темы не уходим.
Так вы реализуете главное - для поисковых роботов имя сайта при анализе запросов - как бомба, они сразу устремляются туда и позже направят туда людей. Засветитесь прежде именем сайта, сходным по звучанию и смыслу с тематикой вашего сайта. Будет вам за это первый бонус от поисковых систем.
Следовательно, первое правило. ЖЕЛАТЕЛЬНО ЧТОБЫ ДОМЕН ЗВУЧАЛ КАК ВАШ ГЛАВНЫЙ ЗАПРОС ИЛИ ИМЕЛ СХОЖЕЕ ЗВУЧАНИЕ И СМЫСЛ.
Админка сайта (Система управления)
Админка - так упрощенно называют и панель редактирования сайта, которую вы получаете от разработчика вместе с самим веб-проектом ( созданным сайтом) и саму систему управления сайтом, у которой есть еще одно название - движок сайта.
У вас теперь есть сайт в Интернете, он находится по конкретному адресу (домен) , вы смотрите на сайт глазами посетителя и, конечно, в этой ситуации вы ничего не можете изменить на сайте. Вы же не можете ничего написать или добавить на сайт, который просто видите в Интернете. Правильно, вам нужно попасть 'вовнутрь' сайта, стать его редактором, админом, чтобы получить доступ в ту часть сайта, откуда можно добавлять и править статьи, размещать фото и прочее.
Если говорить о готовых программных продуктах, то админка сайта так же называется CMS. Эта аббревиатура чаще всего переводится как Content Management System, что означает Система управления контентом.
Есть платные CMS, есть бесплатные. CMS- это большая программа, где заложены все процедуры добавления и правки текстов, фото, доступ к редактированию дизайна сайта и прочее. Важно. Большую коробочную CMS ( а они все - большие) к готовому сайту прикрутить невозможно. Сайт делается НА CMS, на движке изначально.
Без CMS вы тоже можете управлять сайтом, если вы сами писали сайт на языке интернета html и для добавления новых страниц вы создаете новые страницы с html-кодами или php-кодами и отправляете их по протоколу FTP на сервер, где у вас хостинг ( где находится ваш сайт). Страшно звучит? Вот-вот. Давайте вернемся к нормальным людям, не обремененным этими знаниями и к нормальной лексике.
Что нам нужно от админки для успешного продвижения сайта
Как уже было сказано выше - это возможность прописать 'title' (заголовок) для каждой страницы.
Не каждая CMS и самописная админка предоставляют новоявленному администратору такую возможность в обычном редакторе, не в коде. А это - ключевой момент продвижения и раскрутки сайта.
Title - это сигнал поисковикам - что именно находится на этой странице сайта. Это самая главная заявка на поиск.
Если у вас в 'title' прописано то, что на картинке внизу, вы - очень мало делаете для оптимизации своего сайта. Это пример плохой оптимизации сайта к поисковым запросам.
Заголовок страницы (title) должен отображать главный смысл. Заголовок страницы (title) - сигнал поисковику о том, как вы озаглавили эту страницу. Заголовок страницы должен быть релевантен всему, что есть в тексте. Посетители могут видеть title страницы во всплывающем прямоугольном окошке, поднеся курсор мышки к вкладке сайта. Информация в title должна быть не общей, а емкой, конкретной, характеризующей.
В данном случае это может быть 'Мебель для школьников от 8 до 12 лет', к примеру, в зависимости о того, что есть на странице. Поисковики не любят короткие описания из одного или двух слов, они любят предложения и фразы.
Возможность прописать 'alt'
Любой системе управления сайтом совершенно необходима возможность прописать 'alt' к картинкам. ALT - это альтернативный текст. Альтернативный он в том смысле, что поисковые роботы картинки не видят, не оценивают, у них нет художественного вкуса. Как бы вы там не старались с созданием особого дизайна сайта, не делали его все привлекательней на ваш взгляд, какие бы не ставили - картинки, гифы и анимацию, поисковые роботы будут к этому глухи и слепы.
Поисковые роботы нацелены только на слова, на слова и фразы. Именно для этого и придумали альтернативный текст к каринкам. Это как бы ваша картинка, но в ином формате - в словах, в описании. Описывать в альтернативном тексте нужно именно то, что у вас изображено на иллюстрации. Тогда у вас будут очень большие шансы, что поисковые роботы предложат посетителю ваш сайт. Как - отвечающий запросам пользователей.
Альтернативный текст к картинкам ('alt') - очень важный момент в оптимизации сайта.
Если ваш разработчик сайта не дал вам возможность подписывать 'альты' к изображениям, значит, он совсем не думал о дальнейшей оптимизации вашего сайта.
У вас должна быть возможность самостоятельно прописывать alt ( альтернативный текст) к картинкам. к каждому загружаемому изображению.
Возможность прописать мета-тег Description
Наличие заполненного мета-тега Description для каждой страницы сайта сегодня обязательно для дальнейшей оптимизации веб-проекта, для продвижения и раскрутки сайта. Если title - заголовок страницы, то description - это описание страницы для тех же поисковых роботов. Причем чем больше будет текста в этом описании, тем лучше. Тут экономить не надо.
'Уголок администратора' на вашем сайте должен позволять прописывать это.
Description, как и title должны быть уникальными для каждой страницы сайта. У некоторых старых CMS и Конструкторов сайтов до сих пор описание всего сайта с одинаковым содержанием 'цепляется' в качестве description к каждой странице, и начинающему пользователю бывает довольно трудно разобраться, как убрать эту автоматическую функцию, чтоб сделать разные описания к разным разделам и страницам сделанного сайта.
И кстати. Несмотря на то, что сегодня многие утверждают, что поисковые роботы больше не обращают внимания на мета-теги KEYWORDS ( ключевые слова), если есть возможность, все же парочку-тройку стоит прописать. Гугл - уже не обращает внимания, а Яндекс - все еще заглядывает в них. Лишним не будет, а пользу, скорее всего, принесет.
В хороших CMS ( системах администрирования сайта) вам предлагается заполнить эти строки: title, description, alt в нормальном интерфейсе, конечно же не в коде HTML.
Запомнили? Title и description вы заполняете в мета-тегах каждой страницы. Alt - пишете при загрузке или редактировании каждого фото.
Итак, когда вам сделали сайт и отдали вам в управление, то для дальнейшей самостоятельной оптимизации, раскрутки и продвижения сайта, вышеуказанный пункт вы должны так же проконтролировать. И у вас должен быть доступ к тому, чтобы самостоятельно прописать title, description, keywords и alt.
Как узнать, прописаны ли в коде вашего сайта нужные мета-теги?
Очень просто. Встаете на страницу сайта курсором ( мышкой). И нажимаете правую кнопку и видите следующее, то что на фото ниже. Так вам покажет исходный код страницы браузер Хром.
В Мазилле выглядит немного по другому, но все равно вы увидите предложение просмотреть исходный код страницы, там это называется 'исследовать элемент'.
Вы можете просмотреть любой сайт на предмет, как записаны важные мета-теги.
Сервис просмотра кода дает всего лишь - просмотр. Таким образом вы можете посмотреть любой сайт, который видите в Интернете. В том числе и то, как заполняют эти страницы ваши более удачливые конкуренты, если такие есть.
Возможность создания новых страниц
Любая хорошая CMS предполагает возможность создания новых страниц на сайте. Их количество может быть ограничено лишь потребностями вашего бизнеса и - здравым смыслом. Опустим тонкости вашего бизнеса и не будем перечислять страницы, которые можно создать на сайте помимо стартовых. Такие как - 'Доставка', 'Особенности заказа', 'Оптовикам', 'МЫ на Ютуб' и прочее. Прежде всего, у вас должна быть возможность создания новых страниц с одной целью. Вам нужно ускорить оптимизацию вашего молодого сайта, а она будет тем более возможна, чем больше грамотных ключевых запросов вы запустите в тело вашего сайта, в его тексты.
Новые страницы со всеми прописанными мета-тегами, 'альтами' к картинкам и релевантными текстами должны служить одной цели - добавить ключевых запросов в ваш молодой сайт для его дальнейшей раскрутки и продвижения.
И как можно больше 'засветиться' прежде всего, у поисковых роботов, чтоб они ваш сайт заметили и стали предлагать людям.
Не нужно создавать страницу - 'Наш отдых в Тайланде', если вы продаете телевизоры или детские подгузники. Даже если вы там здорово провели время и хотите со всеми поделиться впечатлениями и рассказать, какая у вас крутая команда ( или семья). Рассказ про Отдых в Тайланде разместите на других ресурсах, а на страницах вашего сайта любой текст должен отвечать определенным требованиям запросов пользователей - на каждой странице должна отражаться тематика вашего сайта и она должна быть однозначной.
Это постепенно покажет поисковым роботам ваши 'серезные намерения' , что Вы - в теме и вас следует включить в поиск, проиндексировать ваш сайт и позже - выдвигать в топ.
Правила заголовков h1, h2, h3 и так далее до H6
Иерархия Заголовков, помеченных тегами от H1 до H6. Заголовок, содержащий ключевые слова. Это четвертая бомба для поискового робота, приманка, к которой он устремляется после того, как оценил ваш домен, в идеале содержащий в себе поисковый запрос или часть его , потом - ваш title ( заголовок страницы, то что появляется под вкладкой сайта, после наведения на нее курсора) , и если title прописан с указанием возможных поисковых фраз, то для робота - это очень привлекательная приманка. Потом робот внимательно проанализирует description и проверит, насколько описание страницы соответствует заголовку страницы. И затем робот устремляется к тексту, чтоб протестировать, что там написано и насколько это совпадает с темами, указанными и в title и в description.
Видит ALT-ы ( альтернативные тексты к каждой картинке) , сопоставляет все увиденное и прочитанное, и, если смысл совпадает, поисковому роботу это нравится и он идет дальше к тексту, написанному на странице. Но первое, на что он смотрит, это Заголовок.
То, что в коде сайта, невидимое глазу обычного пользователя, но хорошо читаемое поисковым роботом, выделяется тегами H1, H2,H3 и так далее.
Теги H1, H2,H3 и так далее до H6 - это теги заголовков статьи. Разница лишь в том, что традиционно - тег H1 - это большой заголовок, написанный большим шрифтом, H2 - поменьше, обычно тегом H2 обозначаются подзаголовки и остальные - все меньше и меньше. Различаются теги заголовка c H1 до H6 лишь дизайном и размером. Но для поисковой машины теги заголовков H1-H6 равнозначны по весу'.
Важно. Иерархия заголовков H1-H6 должна соблюдаться. Правильно, когда они идут по порядку. Неправильно, если после H2 идет H4, а потом снова в тексте ниже встречается H2 или H1.
Важно: ЭТО ОДИН ИЗ ГЛАВНЫХ МОМЕНТОВ НА СТРАНИЦЕ, ВЛИЯЮЩИЙ НА ОПТИМИЗАЦИЮ САЙТА.
Правила написания текстов сайта для скорейшей оптимизации сайта, для его раскрутки и продвижения
Как писать текст? Он должен отвечать двум правилам. Должен быть написан 'для людей' и 'не для людей'.
Для людей - тут понятно. В тексте должна быть нужная информация, изложенная грамотным русским языком.
Не для людей - это для поисковых роботов. Будем считать, что они очень дотошные, не сразу все понимают, поэтому им нужно повторять то, о чем вы хотите рассказать, не один раз. Следовательно раз 10-12 упомянуть на странице нужную поисковую фразу. Но не переборщить.
Идеальный текст для страницы сайта содержит поисковые запросы.
Поисковые системы реагируют на слова
Таким образом, мы видим, что все просто и все сложно. Просто то, что поисковые системы живут по четко прописанным правилам, машина реагирует на интуитивно понятные вещи. А сложно то, что заполнять контентом страницы сайта может далеко не каждый человек. Для этого нужно не только знать свой бизнес, но и уметь писать. Писать так, чтобы не терялся смысл, и поисковые фразы повторялись в нужных местах, определенное количество раз,- и несли определенную смысловую нагрузку, не превращаясь в поток сознания и словесный бред.
Сложно так же то, что на одной странице может находиться текст, который имеет задачей, упомянуть не одну поисковую фразу, а несколько.
Идеальный вариант, когда сайтом занимается человек, который хорошо знает свой бизнес или бизнес, для которого он пишет статьи на сайт.
О статистике запросов в Яндексе - где ее посмотреть.
В Яндексе существует очень полезная служба - Wordstat, статистика ключевых запросов. Находится по адресу https://wordstat.yandex.ru/
Что даст вам служба запросов WordStat? Возможность проверить, насколько ваши предполагаемые запросы ( для сайта) релевантны и вообще - существуют ли они в природе.
Релевантность запроса - это соответствие текстов сайта - запросам пользователя. Скажем, вы делаете лестницы, и у вас появился сайт. Вы в бизнесе уже больше 10 лет и вы даете список приблизительных запросов потенциальных клиентов человеку, который пишет вам на сайт тексты. В числе запросов есть фраза 'висячий узел'. Вы гордитесь этим 'висячим узлом', которым вы и ваша фирма обогатили индустрию 'лестницестроения' и хотите, чтоб о нем было написано на сайте.
Человек, который вам пишет тексты, выслушав вашу техническую лекцию о том, что такое висячий узел, высунув язык, пишет тексты, чтоб фраза 'висячий узел' повторилась на странице сайта много раз ( 10-12 раз). А потом выясняется, что такого понятия не существует, а фразу выдумали в фирме, назвав так определенную конструкцию.
В ключевых словах нужно использовать не собственные выдуманные термины, а обычные распространенные понятия.
Итак, какие запросы нужно использовать в текстах сайта для его хорошей оптимизации? Естественно те запросы, которые набирают в интернете обычные люди, не специалисты.
К примеру, с теми же лестницами, профессионалы используют слово - 'ограждение'. А не профессионалы могут написать 'перила'. И эти самые 'перила' - нужно так же учесть в написании текстов на сайт. И касается это абсолютно всего.
Службой статистики Яндекса ( wordstat) нужно пользоваться обязательно для набора этих самых пользовательских запросов. Например, у нас все тот же сайт фирмы, которая занимается изготовлением лестниц.
Нам нужно писать грамотные тексты для страниц сайта, которые выведут на сайт клиентов. Потенциальный клиент ищет, где и у кого ему заказать лестницу. И мы хотим, чтобы этот клиент в итоге оказался на страницах нашего сайта. Да, мы используем фразу 'заказать лестницу' в числе прочих других, но служба Wordstat нам так же поможет подобрать схожие по смыслу выражения, чтобы просто меньше ломать голову.
Работа с поисковыми системами: используем инструменты для вебмастеров в Яндекс и Гугл
Если мы хотим сообщить о нашем новом сайте главным поисковым системам - Яндексу и Гуглу, регистрируем в Яндексе и Гугле новые аккаунты или используем уже имеющиеся. Потому что если не зарегистрироваться там в качестве веб-мастера, то путь поисковиков к нашему сайту поисковых роботов будет не таким быстрым, как возможно. К тому же мы не сможем воспользоваться многочисленными инструментами для скорейшей оптимизации сайта, которые предлагаются.
Рассмотрим ниже необходимые и самые главные этапы первичной оптимизации сайта, основные шаги, которые нужно пройти для самостоятельной раскрутки и продвижения молодого сайта. Не углубляясь в тонкости процесса, самое основное. Потому что все остальное вы уже сможете сделать самостоятельно, впоследствии. Это - база. А база - это , прежде всего - создание аккаунтов.
Как регистрировать новый аккаунт, объяснять наверное не стоит, это очень простые действия, ваша задача - иметь аккаунт на Яндексе и иметь аккаунт на Гугл, чтобы воспользоваться всеми предоставляемыми возможностями.
На Яндексе ваши возможности открываются после того, как вы попадаете на страничку веб-мастера, она находится по ссылке https://webmaster.yandex.ru/sites/
Вам будет предложено 'Добавить сайт'. И после - заполнить все данные о новом сайте, которые Яндекс у вас попросит. Данные это - название сайта, разумеется его адрес в сети , описание сайта ( о чем ваш сайт, что он предлагает) и так далее. Все это - очень важная информация, поэтому заполняйте все внимательно.
Основные инструменты для веб-мастера или для - владельца сайта - это Яндекс-метрика ( привязана к Яндекс-Вебмастер ), вебвизор.
Яндекс метрика - это специальный код счетчика, который Яндекс вам предоставляет, индивидуальный код, который вам предоставит Яндекс, который вы, в свою очередь, должны разместить на страницах своего сайта. Желательно - на всех. Если вы поставили код Яндекс-метрики на своем сайте, поисковые роботы Яндекса уже будут обязаны 'на вас жениться', иными словами - не заметить вас поисковой системе уже будет невозможно. Это один из самых ярких сигналов поисковикам - появился новый сайт, его нужно отслеживать. Это раз.
Далее - что такое вебвизор. Это не только счетчик посетителей, кто, когда и откуда к вам зашел на сайт, но и - подробная запись поведения посетителя вашего сайта. По какой поисковой фразе зашел человек, какие страницы он смотрел, где задержался, куда потыкал мышкой и с какой страницы он покинул ваш сайт. Вы можете посмотреть кино, ролик, который для вас записал вебвизор, который в течение всего посещения сайта вашим потенциальным покупателем, подробно записывал на видео все действия посетителя сайта, движения его мышки и прочее. Так же вы получите подробную информацию, откуда на сайт пришел человек, с какого города, с какой страны, когда это было.
Не объясняю подробно, как установить код Яндекс метрики, как запустить вебвизор, так как подробное описание этих процессов сделает мой труд невероятно громадным. Информация, которую я здесь предлагаю, это - база, основные кирпичики, на которых строятся ключевые моменты самостоятельного продвижения и раскрутки своего сайта. Подробно и отдельно рассматривая разные моменты, можно углубляться в тонкости и сделать описание бесконечным, а это - нежелательно.
К тому же, когда вы начинаете следовать инструкциям Яндекса, как установить ту же метрику, все становится понятно сразу. То же самое про установку вебвизора.
На Гугле аналогичная схема, но чуть сложнее, и там , на мой взгляд, больше лишнего, хотя Гугл в отличие от Яндекса гораздо быстрее индексирует ( замечает) и оптимизирует ( выделяет в поиске) молодые сайты. Тем не менее пройдемся так же по основным этапам.
Если нет аккаунта Гугл, создаем его. Если есть, используем имеющийся. Наша задача - получить идентификационный код Гугла, чтоб подобно коду от Яндекс метрики, разместить его на страницах своего сайта.
Раньше мы попадали на страницы Гугл Аналитикс и работали там. Сейчас Гугл изменил свой подход, дал сервису новое название, обогатил другими возможностями. Сейчас это называется Гугл Серч Консоль. Так можно и набрать в том же Яндексе, например, и попадете туда, куда нужно:-)
В сервисе Гугла создаете ресурс - Ваш сайт, подробно заполняете форму, так же пишете описание сайта, указываете адрес сайта в сети и получаете специальный код. Этот код с вашим индивидуальным ID размещаете на страницах сайта. Он должен поместиться на каждой странице сайта перед закрывающим тегом . Если вы имеете доступ к конструированию и администрированию вашего сайта, то ваша 'админка' ( или - система управления сайтом) - должна позволять это делать.
И на Яндексе и на Гугле каждую страницу вашего сайта ( адрес в сети каждой отдельной страницы) нужно поместить в специальную форму, чтоб в прямом смысле - сообщить поисковой системе о каждой странице вашего сайта. Лениться не надо, нужно делать. Один раз поработаете, потом будете в шоколаде.
Файлы robots.txt и sitemap - завершающий аккорд первичной оптимизации молодого сайта для его дальнейшей раскрутки
Создание файла robots.txt и карты сайта sitemap.xml - это последнее, что вам нужно сделать после всего вышеперечисленного.
Зачем это нужно. Чтобы поисковые роботы не плутали в поисках семантического ядра вашего сайта, напомню, что семантическое ядро - это концентрация нужных поисковых запросов, которые указывают на принадлежность вашего сайта к определенной тематике.- Чтобы поисковик быстро находил ваш сайт и предлагал его людям.
Файл robots.txt диктует поисковому роботу, что смотреть на сайте, а что - не смотреть. Поисковый робот не любит делать лишнюю работу, он нацелен только на поиск тематических запросов, а ваша 'админка', к примеру - это довольно большой объем технической информации, которая не имеет отношения к тематике вашего сайта, это сплошь рабочие моменты, которые состоят из описания массы определенных действий. Описание процесса - к примеру как положить товар в корзину...
Первое ( технические моменты) нам нужно закрыть от посещения поисковыми роботами, потому что они, найдя ваш сайт, будут старательно оптимизировать все, что там увидят, а это - ни к чему. Вовсе не из соображений секретности, ее тут нет, а из тех соображений, что поисковый робот должен видеть концентрацию нужной текстовой информации и больше - ни на что не отвлекаться. Чем концентрированней будет нужная информация и чем - меньше будет лишней информации, тем лучше.
Файл robots.txt пишется именно с этой целью, направить энергию поискового робота в нужное русло и убрать то, что не имеет к оптимизации сайта никакого отношения. Как правило файл pobots.txt запрещает видеть всю админку, а это - довольно внушительная папка и остальное , по мелочи, что тоже не имеет прямого отношения к тематике сайта.
Файл для поисковых роботов учитывает два момента. Для каких роботов он пишется ( Яндекс, Гугл и остальные) и - что смотреть роботу , а куда не заглядывать. Это программная команда.
Простой robots.txt пишется к примеру так :
User-agent: *
Disallow: /admin.php/
Звездочка после 'User-agent' означает, что команда в файле относится ко всем роботам.
Фраза 'Disallow: /admin.php/' означает, что всем роботам запрещено заглядывать на страницу admin.php.
Понятно, что речь идет о странице администрирования сайта, где прописаны все тонкости админки. Роботам там лазить ни к чему, потому что они усиленно 'прожевывают' все, что увидят на сайте, а эта информация заставить их делать лишнюю работу, 'отвлекая' от основного.
Файл sitemap.xml - это карта сайта, как можно понять из названия. Присутствие этой карты сайта, которая легко генерируется в онлайне на специальных сервисах помогает поисковым работам выстроить маршрут по 'незнакомой местности' - по информации, размещенной на вашем сайте и опять-таки не делать лишнюю работу.
Файл robots.txt прописывается самостоятельно , это - не сложная работа, нужно просто указать роботов ( поисковую систему) и - запрет на посещение каких-то страниц. Или - разрешение - посещать все.
Файл sitemap.xml можно создать с помощью любого бесплатного генератора в сети, я рекомендую этот http://www.mysitemapgenerator.com/ Генератор создает файл, и вы размещаете его в корне вашего сайта.
И это еще не все.☝
Окончательное резюме смотрите ниже.
Резюме
Если вы сделали все, что перечислено в этом пособии, ваш сайт будет проиндексирован и оптимизирован впоследствии двумя мощнейшими поисковыми системами Яндексом и Гуглом в самое ближайшее время. Гуглом через неделю, Яндексом не дольше двух месяцев.
Если у вас возникли вопросы, вы можете задать их мне jekky1@yandex.ru
Все, что изложено в этом пособии - основная информация для первичной раскрутки и продвижения молодого сайта собственными силами, без найма дорогостоящих сотрудников. Все, что нужно будет потратить - это время. Но не забывайте, что те, кто соглашаются оптимизировать и продвинуть ваш молодой сайт за определенную плату, точно так же будут тратить на время, из этого и складывается требуемая за работу сумма. Иногда эта сумма не очень разумная, часто завышенная, иногда - в разы. Тем не менее , эта работа несомненно должна оплачиваться, вопрос в цене и объеме сделанных работ.
Для предпринимателей, которые решили своими силами оптимизировать свой молодой сайт, вопрос траты денег - очень актуальный, иначе они не задавались бы вопросом создания сайта. Денег пока нет, и сайт создается для того, чтобы приводить в фирму новых клиентов. Придется поработать самим, а заодно и обогатиться новыми знаниями, что никогда не бывает лишним. Удачи!!!:-))