Кратко ръководство за писане на файл Robots.txt

Единственият начин да се свържете с паяка на търсачката или Crawler, е чрез файл, наречен Robots.txt. Или по-добре. Когато изпратите предложението си за уебсайт на Google, той е изправен пред просто колосално количество информация.

Как да се консултирате с толкова голям учебник, че да имате чувството, че никога няма да намерите всичко, от което се нуждаете? Вие се консултирате уликата. Добре: файлът robots.txt е индексът на вашия уебсайт.

Това е лесен за попълване документ, който казва на робота на търсачката какво да търси. Накратко: ще му помогнете да разбере от какво е изграден вашия сайт, за да може алгоритъмът да ви даде класация, която е подходяща за работата, която сте свършили.

Може ли някой да напише файл robots.txt?

Краткият отговор е да. Честният отговор е не. Въпреки че граматиката на файла robots.txt е изключително проста и съставът му се състои от няколко реда, по-добре е да разчитате на грижата на опитен уеб администратор, който знае къде да сложи ръцете си. В края на краищата една малка грешка е достатъчна, за да компрометира позиционирането на вашия уебсайт и следователно да спре всички SEO операции, преди дори да започнат.

Преди да започнете, знайте едно нещо: всеки може да направи справка с файла robots.txt на всеки сайт, като напише /robots.txt след домейна. Можете дори да се консултирате с Google!

Можете да напишете такъв файл, без да изтегляте специален софтуер. Всъщност е достатъчно да използвате вашия бележник и да запишете, познайте какво, във формат .txt.

Нека напишем заедно robots.txt: заглавката

Да започнем отначало, както винаги е логично. Отварянето на файла, или по-скоро заглавието, е изцяло посветено на името на паяка, предшествано от малка формулировка, която винаги е една и съща. Да приемем, че искате да бъдете забелязани от Google. Така че първият ред ще бъде:

Потребителски агент: Googlebot

Този много кратък низ казва на Google, че всичко, което следва, със сигурност ще представлява интерес за него. В случай, че искате всички роботи, които четат този тип файл, да могат да се консултират с документа, заменете Googlebot с просто *, a звездичка.

Сега, след като сте посочили кой паяк, т.е. КОЙ, ще трябва да посочите също и КАКВО ще трябва да чете.

Всеки ред код, по дефиниция, съответства на действие на машината. От само себе си се разбира, че всяка команда във файла robots.txt отговаря на това, което машината не трябва да прави. И това е ключът, който ви позволява да напишете наистина ефективен. Говорим за командата DISALLOW.

Какво представлява командата DISALLOW?

Il забрани команда ви позволява да разсъждавате чрез изключване. С други думи, когато се каже, че първо трябва да се каже какво не трябва да се прави – добре, вие разсъждавате чрез изключване. В допълнение към забраната има и разрешение, което е изключение от блока.

Ако искате да напишете добър robots файл, ще трябва да мислите обратното, така че ще трябва да кажете на Google какво не трябва да чете. Ако напишете:

Забрани:

Паякът ще прочете целия ви сайт, без никакви спирачки.

Ако след “Disallow:” поставите наклонена черта (следователно Disallow: /), сайтът няма да бъде въведен в търсачките, точка.

Disallow: /директории/

Заменете думата директория с папката, която искате да бъдете отказани от изглед на паяк. Можете да направите същото с конкретен файл.

Забрана: /myfile.html

Внимание към препинателни знаци и букви, главни или малки букви. Този тип файл държи на тези видове "дреболии" високо, но те правят голяма разлика.

Защо бихте спрели Google да чете голяма част от вашия сайт? Когато пишете файл от този тип, важно е да разберете кои файлове не трябва да се показват в търсачката, но без да ги злоупотребявате. Знайте обаче, че всеки, който знае точния адрес на този конкретен файл, ще има достъп до него във всеки случай.

Какво представлява командата ALLOW?

Във файла можете да добавите изключение с командата ПОЗВОЛЯВА. Граматиката е идентична, но ще създаде някои изключения от DISALLOW, което ще позволи да се отворят интересни полета за изследване на паяка.

Малък примерен файл:

Потребителски агент: Googlebot

Забрана: /изображения/

Разрешаване: /images/holidays.jpg

По принцип казахме на Googlebot да не взема предвид папката с изображения, освен конкретна снимка в нея, а именно тази от празниците.

И това е, момчета. Написахме първия си файл robots.txt. Разбира се, това, което ще направим за действителния сайт, може да е малко по-различно, но не много. Ако се съмнявате, винаги търсете съвет от специализиран уеб администратор. Съветваме ви първо да опитате да го напишете сами и да му го изпратите за проверка, за да овладеете основите и да разберете по-добре как работи вашия сайт.

Каква е връзката между robots.txt и картите на сайта?

Картата на сайта е файл, генериран от специални добавки, който съдържа всички връзки на сайта. Когато паякът влезе в сайта, той първо чете роботите, след това обхожда сайта. Ако по време на обхождането роботът намери адреса на картата на сайта, целият процес ще бъде много по-лесен.

Добавете следното към горния код:

Карта на сайта: http://www.ilnomedeltuositobellissimo.com/sitemap.xml

В заключение

Всички файлове на роботи са еднакви. Това означава, че файл с роботи, написан за Google, също ще работи добре за Bing и следва същата граматика.

Добре организираният файл robots.txt ви позволява да спестете време за обхождане. Не се обезсърчавайте: това е първата стъпка към успеха!