Итак, файл robots.txt – это небольшая памятка для поисковиков, которая объясняет, что можно им делать на сайте, а что нельзя. Файл robots.txt должен находиться в корне каждого сайта. С его помощью можно закрыть от индексации отдельные файлы или целые директории на ресурсе, указать роботу на правильное «зеркалирование» домена, установить интервал между скачиваниями файлов.

Сам Яндекс в своей документации рекомендует всем веб-мастерам создавать robots.txt для качественного сайта и указывать в нем инструкции для ботов.

Как создать robots.txt

Создать robots.txt не сложно. Для этого потребуется любой текстовый редактор (например, стандартный блокнот или более «продвинутый» Notepad++). В первой строке нужно указать, для какого робота предназначены указания.

Например:

User-agent: * – такая надпись означает, что указания распространяются на всех роботов.
User-agent: googlebot – только для Гугла.
User-agent: Yandex – только для Яндекса.
User-agent: Slurp — только для Yahoo!

Далее нужно указать для роботов список инструкций. Каждая инструкция – с новой строки.
Disallow: – запрещает индексацию документа или целой директории.

Например:

Disallow: /contacts.html – запрет индексации страницы contacts.html.
Disallow: /cgi-bin/ – запрет индексации каталога /cgi-bin/.

Обратите внимание, что для запрета индексации нужно указывать относительный url. Запись типа «Disallow: http://site.ru/contacts.html» будет не верной!

Crawl-delay: – устанавливает временной промежуток, который робот должен выдерживать между загрузками страниц. Сейчас эта директива практически не применяется, так как поисковики по умолчанию используют задержку в 1-2 секунды.

Например:

Crawl-delay: 10 – пауза между скачиванием страниц равняется 10 сек.

Allow: – разрешает доступ к конкретному документу или директории. Эту директиву удобно использовать, чтобы разрешить индексировать несколько файлов из каталога, который в целом к индексации запрещен.

Вот такая конструкция запретит индексировать все файлы директории users, кроме marina.html:

Allow: /users/marina.html
Disallow: /users/

Host: – указывает Яндексу на главное зеркало домена.

Например:

Host: site.ru – главное зеркало домена без www.

Создание robots.txt займет несколько минут, зато поможет роботам правильно индексировать ваш сайт. Чтобы проверить, корректно ли составлен файл, можно воспользоваться специальными сервисами от Яндекса или от Гугла. Узнать подробнее о файле robots.txt для Яндекса и найти все инструкции можно тут.

Далее, я покажу примеры robots.txt для DLE и WordPress. Сам я использую только эти движки.

Robots.txt для Worpdpress

User-agent: *
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: */trackback/
Disallow: /feed/
Disallow: */feed/
Disallow: /?feed=
Disallow: /*page/
Disallow: /tag/
Disallow: /?s=

Sitemap: http://site.ru/sitemap.xml

Host: site.ru

Как видите, я не закрываю комментарии от поисковых ботов и считаю это правильным. Главное теперь фильтровать комментарии, отсеивая спам и комментарии не по теме. Также я не запрещаю к индексации страницы категории в WP. На собственных сайтах заметил, что категории собирают достаточно много поискового трафика при грамотной их оптимизации. А вот теги я закрываю. Ибо слишком много они создают дублей контента, что не приветствуется поисковыми системами.

Robots.txt для DLE

Вот такой роботс я использую для дле:

User-Agent: *
Disallow: /admin.php
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=sendfriend
Disallow: /autobackup.php
Disallow: /*engine/modules/
Disallow: /*engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /*print
Disallow: /*?cstart
Disallow: /templates/
Disallow: /*page/

Sitemap: http://site.ru/sitemap.xml

Host: site.ru

Все почти тоже самое, что и для ВП. Запрещаю индексировать всякий хлам.
Думаю, такой файл Robots.txt можно назвать правильным. Если кто-то хочет поспорить с этим, приглашаю в комментарии. Также задавайте вопросы, если что-то не понятно по созданию этого файла.

Читайте также схожие статьи:

• Нет схожих статей.

Похожие запси:

1. Создание сателлитов: как создать сайт сателлит?
2. Создание кошелька в платежной системе WebMoney
3. Как проиндексировать сайт в поисковиках

Для этого  можно воспользоваться специальными поисковыми запросами. В Яндексе можно использовать такую конструкцию:

host:primer.ru | host:www.primer.ru

А в Гугле такую:

site:primer.ru

Индексацию сайта можно узнать в панели Яндекс.Вебмастера. Для этого даже не обязательно быть владельцем сайта, достаточно вбить в строку интересующий URL и нажать кнопку «Проверить».

Для того, чтобы массово проверить, проиндексированы ли сайты, можно использовать специальный сервис .

Бывает, что нужно проверить индексацию конкретной страницы. Это можно сделать разными путями. Самый простой – скопировать со страницы кусок текста и вбить в поисковую строку. Если найдете свой сайт в выдаче, значит он проиндексирован

Для массовой проверки страниц я использую программу YCCY . Она бесплатная, удобная, занимает всего 513 kb. Очень хорошая программа.

YCCY позволяет проверять индексацию сайтов целиком и отдельных страниц, а так же ТИЦ, PR, обратные ссылки по Yahoo, AlexaRank и еще много всего интересного.

Отдельно стоит поговорить о том, как проверить индексацию ссылок. Существует несколько способов это сделать.

Во-первых, зайти в Яндекс.Вебмастер, кликнуть по нужному сайту, затем перейти на вкладку «Внешних ссылок на страницы сайта» и глазами отыскать там ссылку с нужного домена.
Во-вторых, можно использовать специальные операторы для поиска. В Яндексе можно проверить ссылку на индексацию, используя вот такую конструкцию:

(«анкор») (url:»www.site.ru/page.html» | url:»site.ru/page.html»)

Пример на картинке:

В Гугле индексация ссылки определяется при помощи другого оператора:

“анкор” site:site.ru

Если ваши сайты не проиндексированы в Гугле или Яндексе – не отчаивайтесь, читайте как можно быстро проиндексировать сайт. Всем успехов!

Читайте также схожие статьи:

• Нет схожих статей.

Из списка поисковиков, веб-мастерам, работающим в рунете, особенно интересны Гугл и Яндекс. Яндекс, все же, важнее. Если сайт не будет проиндексирован Яндексом, о продаже ссылок можно забыть. Да и трафика в Яндексе больше, чем в Гугле. Поэтому проиндексировать сайт в Яндексе – наиболее приоритетная задача для веб-мастера.

По опыту скажу, если сайт проиндексировал Яндекс, то и Гугл проиндексирует. Потому что у Яндекса требования к сайтам пожестче, и если его взяли в индекс, то и в Гугл сайт, скорее всего, попадет (или уже давно попал).

Как быстро проиндексировать сайт в Яндексе и Гугле?

Создав сайт, можно просто сидеть и ждать, когда поисковые роботы придут на сайт и что-нибудь возьмут в индекс. Ждать этого пришествия можно от нескольких часов до бесконечности. Поэтому я советую не ждать, а действовать. Действовать – значит быть

Для быстрой индексации сайта в поисковиках есть несколько манипуляций:
1. Самый древний и банальный способ для быстрого индексирования – это добавить сайт в аддурилки ПС.

2. Прежде чем добавлять сайт в аддурилки, советую привести его в порядок и создать благоприятные условия для роботов. Создайте xml карту сайта и правильный файл robots.txt.

3. Добавьте сайт в webmaster.yandex.ru и google.com/webmasters/tools и загрузите xml карту сайта.

4. Самый эффективный способ быстро проиндексировать сайт в поисковых системах – это проставить ссылки с других сайтов на ваш. Чем качественнее будут сайты-доноры, тем больше шанс, что сайт быстро проиндексится.

Где можно взять ссылок?
Мест на самом деле очень много. Кто-то ищет бесплатные ссылки – с профилей, форумов, каталогов и rss-агрегаторов, кто-то меняется ссылками или просит друзей проставить ссылку, кто-то настраивает кросспостинг, прогоняет сайт по закладкам и т.д..

Говорят, что довольно хорошо помогают в индексации ссылки с твиттера. Многие размещают анонс поста со ссылкой именно для того, чтобы пригласить робота на свой сайт.

Кто-то не парится и покупает ссылки. Лично я для молодых непроиндексированных сайтов покупаю вечные ссылки в ГГЛ. Беру пару ссылок с дорогих, трастовых сайтов. Специально выбираю такие сайты, на которых контент обновляется каждый день и посещаемость хорошая. Роботы просто живут на таких сайтах. И если мы проставим свою ссылку они последуют по ней. Ну и несколько штук покупаю с простеньких, но не загаженных сайтов.

Также, чтобы быстро проиндексировать сайт, можно купить немного ссылок в Сапе или другой подобной бирже. После индексации – ссылки можно снять. Но я такое не практикую, хотя думаю, ничего плохого в этом нет – главное, чтобы ссылок было не много.

Совет: не стоит молодой непроиндексированный сайт регистрировать в куче каталогов или спамить по блогам и форумам. Получив на свой сайт много некачественных бэков, вы только навредите сайту.

Никто не дает гарантию, что после всех этих манипуляций сайт проиндексируется. Если сайт упорно и долго не индексируется, значит либо проблема в контенте, либо в доменном имени. Часто бывает, что сайт не индексится из-за того, что у домена серая или черная история жизни в ПС. Если вы зарегисрируете домен, на котором совсем недавно был дорвей, то ждать индексации вам придется очень долго.

Если вы, все же, обнаружили проблему с доменом или проблем нет, но сайт долго не индексируется, то пишите вопрос через Я.Вебмастер в поддержку. Там вам, может быть, что-нибудь подскажут.

Ага, и не теряйте время. Вместо того, чтобы пассивно ждать индексации в поисковиках, лучше делайте еще один сайт или изучайте чего-нибудь. Всем успехов!

Читайте также схожие статьи:

• Аддурилки – добавить сайт в поисковики (50)
• Что такое SEO и кто такой сеошник? (26)
• Что такое траст сайта, как его проверить и нарастить (8)
• Поисковые системы интернета (20)
• Что такое юзабилити сайта? (9)

Похожие запси:

1. Что такое SEO и кто такой сеошник?
2. Аддурилки – добавить сайт в поисковики

Аддурилка – это специальная страница, которая есть почти у всех поисковых систем. На этой странице есть форма, с помощью которой веб-мастера могут уведомить поисковик о новом сайте. Слово аддурилка образовалось от английского «add url» – добавить урл (ссылка).

Несколько моментов:
- Добавление сайта в аддурилку не дает гарантию на появление в выдаче поисковика и ускорения индексации.

- Добавлять сайт в поисковые системы лучше тогда, когда сайт уже хоть немного сделан.

- Регистрация в поисковиках – не является обязательным шагом. Если у вас нормальный сайт, он сам рано или поздно появиться в поиске .

Список аддурилок поисковых систем, куда можно добавить свой сайт:

1. Добавить сайт в Яндекс (Yandex.ru)
Аддурилка Яндекса находится по адресу: http://webmaster.yandex.ru/addurl.xml
Яндекс – лидер в рунете. Появление сайта в его поиске может дать большой приток посетителей, а также возможность заработать на продаже ссылок.

2. Добавить сайт в Google. (Google.ru)
Аддурилка Гугла находится по адресу: http://www.google.com/addurl/
Гугл тоже способен приносить много трафика. Замечено, что после регистрации сайта в этом поисковике сайт быстрее попадает в индекс, чем в Яндекс.

3. Добавить сайт в Рамблер (Rambler).
Аддурилка Рамблера находится по адресу: http://robot.rambler.ru/cgi-bin/addsite.cgi
К регистрации подходят только те сайты, которые находится на территории (в национальных доменах) России и стран СНГ.

4. Добавить сайт в Mail (Поиск@Mail.Ru).
Аддурилка Mail находится по адресу: http://go.mail.ru/addurl
Хотя, Мэил использует базу Гугла, поэтому, если вы уже зарегистрировали сайт в Google, то в mail добавлять его не обязательно.

5. Добавить сайт в Yahoo (search.yahoo.com).
Аддурилка Яху находится тут: http://siteexplorer.search.yahoo.com/submit
С Yahoo тоже приходят посетители…

6. Добавить сайт в Bing (он же msn).
Аддурилка Бинг: http://www.bing.com/webmaster/SubmitSitePage.aspx

7. Добавить сайт в Нигму (nigma.ru).
Аддурилка Нигмы: http://nigma.ru/index_menu.php?action=click_menu&menu_element=add_site

8. Добавить сайт в Апорт (aport.ru)
Аддурилка Апорта: http://catalog.aport.ru/rus/add/AddUrl.aspx

Советую добавить сайт во все поисковики из этого списка, даже самые небольшие. С того же Бинга у меня на одном сайте идет 20-40 человек в сутки. Что хоть небольшое, но все же, прибавление.

В следующей статье вы узнаете другие способы, как ускорить индексацию сайта в поисковых системах.

Создание сайтов и заработок в интернете, интернет проекты – основные темы, которые интересны веб-мастеру в интернете. Ведь самый большой доход приносят свои сайты и сервисы.

P.S: Продолжаются мини конкурсы. Первые победители уже получили свои деньги. Всем удачи!

Читайте также схожие статьи:

• Как проиндексировать сайт в поисковиках (30)
• Что такое SEO и кто такой сеошник? (26)
• Что такое траст сайта, как его проверить и нарастить (8)
• Поисковые системы интернета (20)
• Что такое юзабилити сайта? (9)

Похожие запси:

1. Как проиндексировать сайт в поисковиках
2. Как установить счетчик посещений на сайт?
3. Что такое ап?

Форум Antichat.ru. Да, тут много чернухи, но форум весьма живой и интересный. Вы можете заказывать различного рода рекламу в разных ветках. Кстати, цены весьма умеренные. Сложно сказать, что форум дружный. Скорее каждый приходит по своему делу и не тратит время на излишнее общение. Тут вы можете посмотреть и подобрать для себя лучшую партнерскую программу , купить различного рода сервис, почитать отзывы на интересующую вас тему. Если вас интересуют «серые» услуги, вам тут помогут. Не злите модераторов, так как могут забанить без предупреждения. Админы очень не любят, когда создаются топики в неправильных разделах.

Сео форум Webmasters.ru. Сравнительно молодой, но быстро набирающий обороты и свое комьюнити форум. Здесь относительно рады новичкам, царит уважение и приличие. На форуме обитает много известных блоггеров и опытных веб-мастеров, постятся полезные статьи, проводятся конкурсы и т.д..Так что можно почерпнуть много полезной информации и весело пообщаться.

Gofuck.biz! Один из любимых форумов успешных веб-мастеров. Кстати, слово «успешных» написано не зря. Здесь общаются люди, которые уже давно живут в своих квартирах и ездят на своих авто. Форум достаточно старый и новичкам здесь сложно протиснуться. Общение самое различное, но доминирует гоп-панк-пафос наречие. Здесь вы можете задавать вопросы на самые специфические темы. Убойные аватары, юмор и профессиональный сленг — это визитка форума. Не факт, что к вам отнесутся серьезно. Кстати, это пожалуй один из минусов Gofuck. Самый популярный раздел «Треп». В общем понятно, что людей больше всего волнует

Master-x.com. Огромный и многообразный мир адалт индустрии. Тут общаются те, кто имеет дело с эротикой и порно. Форум старый, но популярный по сей день. Кстати, именно отсюда в свое время появились адалт-веб-мастера. Обсуждаются любые темы кроме жесткой чернухи. Регистрация открытая. Вы можете приятно и с пользой провести время. Народ довольно остроумный и общительный.

Maultalk. Довольно живенький и популярный форум с многочисленной аудиторией. Берет свое начало от известного блогга, который в свое время занимал первые места в ТОП. Здесь в отличие от многих других мест новичкам рады. Гнусной публики минимально, в основном народ вполне общительный и вежливый. Имеется классический выбор разделов для сеошников, финансистов, фри-лансеров, веб-мастеров и т.п.

Читайте также схожие статьи:

• Что такое траст сайта, как его проверить и нарастить (8)
• Как проиндексировать сайт в поисковиках (30)
• Аддурилки – добавить сайт в поисковики (50)
• Что такое юзабилити сайта? (9)
• Что такое сателлит? (25)