Правилно управление на бота на Гугъл

Всички предполагам знаят за атрибута nofollow и много от вас го използват по предназначение.
Но в този материал искам да обърна малко повече внимание на възможностите на този атрибут.
Има четири способа за манипулиране и управление на бота на Гугъл.
Това са:
Атрибут nofollow (т.н. таг «nofollow») – таг работи на нивото на връзката.
rel="nofollow"
Бота минава през него, но не предава "сока" (тежеста) на страницата.
Метатаг nofollow - тага, работи на нивото на самата страница където се намира когато го добавяте в секцията head.
mеta nаme="robots" content="nofollow"
Метатаг забрана за индексация – аналогичен на тага Метатаг nofollow
mеta nаme="robots" content="noindex"
Файла robots.txt – работи на нивото на сайта и контролира индексацията на всички страници на сайта, когато е поставен в root директорията на сайта.

Какво прави робота, когато посещава сайта?
- Събиране на информация
Първото нещо което прави е да събере информация за контента и връзките на всяка една страница която е посетил. Но това че е бил там, не означава, че тази страница е била записана и ще бъде показана! Правете разлика. Това означава, че бота е събрал информацията от тази страница и знае за съществуването и нищо повече от това.
- Индексация
Това е когато данните за страницата за записани в базата данни.
- Аранжировка или СЕРП
Това е комплекс от алгоритми, които определят контента на страницата която е била приндексирана и записана + авторитета на страницата, релевантноста на запитването и всички връзки които цитират тази страница за определянето на какво място да бъде показана тази страница при търсенето на определена дума.

Малко по подорбно за функциите на всеки таг.
Атрибут nofollow - много от хората, поради незнание вредят на сайта си, вместо да помагат за правилната му организация.
Не прекалявайте с използването на този таг!
Това, че за вас някоя страница не е важна, не означава линка към нея автоматично да бъде с nofollow, защото от тази страница излизат връзки към други важни страници и вие ще загубите част от вътрешната линкова маса, а от там и целият сайт като цяло може да влоши позициите си в СЕРП-а!
Особенно може да се влоши ситуацията, когато на сайта има много изходящи линкове (каквато е практиката на българите да слагат по 20-50 линка във футера).
Това може да бъде катастрофа за сайта.
Така, че използвайте много внимателно този таг!
Затваряйте в него страници като - "Условия за използване на сайта", "Обратна връзка", "Контакти", Администриране" и т.н.

Метатаг nofollow
Въпреки еднаквите си имена, то разликата е огромна между 2-та тага!
При слагане на Метатага nofollow на страницата, бота ще проиндексира страницата, но няма да мине през нито една от връзките които са на тази страница.
С този таг можете да нанесете огромна вреда на своя сайт, ако затворите няколко страници или раздела с него.
Ще се появи проблем с правилната индексация на сайта и като цяло сайта ще загуби огромна част от вътрешната си линкова маса.
Практически не се използва за открити за посещения сайтове, с изключения на някой определени случаи.

Метатаг забрана за индексация - noindex
Този таг позволява на бота да събира информация от страниците и да минава през връзките на нея, като се предава тежеста на линка, но самата страница ще бъде изключена в аранжировката на резултатите (СЕРП-а).

robots.txt
Това е файла, който бота чете най-напред и по който като правило се съобразява с командите и указанията които е получил там.
Чрез robots.txt можете да забраните за събиране на информация както от отделни страници, така и от цели директории от вашия сайт.
Но въпреки забраната, тези страници могат да получават PR и тежест, защото бота минава през всички линкове и ги обработва.
Понякога такива страници се появяват в СЕРП-а и можете да ги отличите от липсата на заглавие или описание на тези страници, освен, ако няма такова в ДМОЗ, тогава Гугъл взима информацията от там.
Така, че не съветвам никого да държи поверителна информация в страници или директории които се намират в robots.txt и са били забранени за индексиране.

Или с няколко думи като финал:
Атрибут nofollow - не предава тежест, не пречи за събирането на информация, не пречи за индексацията.
Метатаг nofollow - не предава тежест, не събира бота информация, не индексира
Метатаг noindex - предава тежест, не пречи за събирането на информацията, не се индексира.
robots.txt - предава тежест, не събира информация, не се индексира (но ако към страницата сочи някаква връзка, то може да се покаже в СЕРП-а)