KONFIGUROWANIE PLIKU ROBOTS.TXT NA WORDPRESS

Sekrety pliku robots.txt

Plik robots.txt i jego dobre konfigurowanie zwłąścia na WordPress jest ważnym narzędziem do optymalizacji SEO witryn. Jego zadaniem jest nawiązanie kontaktu z botami wyszukiwarek. Poinformowanie ich o tym, które foldery muszą przeglądać, aby skanować dane, a które ominąć.

Natychmiast należy powiedzieć, że nie ma idealnego pliku robots.txt dla WordPress, który pasowałby do wszystkich stron w tym CMS bez wyjątku. Istnieją jednak podstawowe rzeczy, które można dostosować w zależności od tego, które strony witryny chcesz otworzyć lub zamknąć dla wyszukiwarek.

Co należy określić w pliku robots.txt i jak utworzyć taki plik? Najpierw musisz zrozumieć, jakie polecenia zawiera i jak ogólnie „rozmawia” z robotami wyszukiwarek.

Głównymi składnikami pliku robota dla WordPress są dyrektywy i zmienne dane wskazujące na plik (grupę plików).

Rodzaje dyrektyw i cechy ich wypełniania

User-agent – nazywa imię robota wyszukującego, do którego kierowane są zespoły: Googlebot (Googlebot-news, Googlebot-image itp.), Yandexbot (YandexImages, YandexVideo itp.), Bing, Slurp, Mail.ru. Aby uzyskać dostęp do wszystkich botów, użyj symbolu * (User-agent: *). Jest to główna dyrektywa dotycząca plików robotów dla WordPress, powinna znajdować się na samym początku pliku.

Allow i Disallow, (Zezwalaj i nie zezwalaj) – otwiera i odpowiednio zamyka dostęp do plików i stron witryny. Warto od razu wspomnieć, że zespoły w pliku robots.txt nie zmuszają robotów wyszukujących do wykonania, raczej zdecydowanie go polecają. Jednocześnie boty mają prawo zachowywać się tak, jak im się podoba, a nawet skanować pliki zamknięte z ich oczu.

Do komunikacji z botami w pliku robots.txt używane są specjalne operatory:

• – dowolne znaki przed i po danych zmiennych.
• $ – jako kropka na końcu zdania, ten symbol oznacza, że ​​znak przed nim jest ostatnim znakiem na pasku adresu;
• # – oznacza, że ​​komentarze autora następują i nie są one uwzględniane przez PS;
• / – wskazuje, do których sekcji i stron odnosi się wskazanie.

Sitemap (Mapa witryny) – wskazuje ścieżkę do mapy witryny w pliku XML. Zazwyczaj jest wskazany na końcu pliku robots.txt. Standardowa forma linku do mapy witryny to https://domen.com/sitemap.xml, gdzie domen.com to nazwa domeny Twojej witryny WordPress. Sitemap.xml – nazwa pliku mapy witryny.

Host – wcześniej używany przez roboty wyszukiwania Yandex w celu określenia głównego lustra strony. Teraz ta dyrektywa straciła na znaczeniu i nie trzeba jej wskazywać robotowi. Robotami Google host nigdy nie został rozpatszony.

Jak zrobić plik robots.txt dla WordPress: instrukcje wypełniania krok po kroku

Jeśli chcesz określić różne warunki dla robotów Yandex i Google, powinieneś napisać dyrektywy z poleceniami dla każdej z tych wyszukiwarek osobno. Jeśli nie dążysz do osiągnięcia tego celu, możesz zastosować ogólne reguły, co oznacza, że ​​musisz podać * w polu User-agent.

Algorytm pisania właściwego dokumentu dla WordPress robots.txt :

• Określ miejsce docelowe poleceń (User-agent)
• Zamknij z indeksowania (Disallow):
  • pliki administracyjne;
  • konta osobiste, formularze rejestracyjne i autoryzacyjne;
  • narzędzia do pracy z zamówieniami (koszyk, formularze do wypełniania danych itp.);
  • podejścia do interaktywnych interfejsów użytkownika;
  • folder cgi;
  • dane dotyczące funkcji wyszukiwania;
  • strony serwisowe;
  • zduplikowane strony i sekcje;
  • dane dotyczące zasad filtrowania, porównywania i sortowania;
  • tagi UTM;
  • wtyczki i motywy graficzne.
• Otwórz (Allow) te pliki i dokumenty, których indeksowanie jest konieczne, ale znajdują się w już zamkniętych kategoriach, na przykład obrazy i JavaScript
• Wprowadź dane mapy witryny (Sitemap)
• W razie potrzeby przepisz Crawl-Delay
• W razie potrzeby przepisać Clean-Param (dotyczy tylko botów Yandex)
• Za pośrednictwem usług Google i Yandex weryfikujemy poprawność wypełnienia pliku robots.txt

Wydaje się, że nie ma nic skomplikowanego, ale dość często pojawia się wiele pytań dotyczących tego, które pliki i foldery powinny zostać zamknięte podczas skanowania, a które powinny być indeksowane.

Jak utworzyć plik robots.txt w WordPress

Istnieje kilka sposobów tworzenia pliku robots.txt dla WordPress – ręcznie i przy użyciu wtyczek. Rozważmy je bardziej szczegółowo.

Tworzenie dokument robots.txt za pomocą edytorów tekstu

Do pisania pliku robots.txt możemy użyć dowolnego standardowego edytora tekstu, tak samo zrobi Notatnik. Po wprowadzeniu wszystkich danych do dokumentu zapisz je na komputerze pod nazwą robots.txt. Pozostaje umieścić go na serwerze WordPress.

Przechodzimy do serwera FTP witryny, znajdujemy folder public_html katalogu głównego i przeciągamy do niego nasz plik robots.txt. To wszystko, boty wyszukiwania widzą rekomendacje dotyczące indeksowania.

Tworzenie pliku robots.txt za pomocą wtyczki WordPress

Przyjrzyjmy się jednocześnie dwóm najpopularniejszym wtyczkom do WP – Yoast SEO i All in One SEO Pack

1. Yoast SEO
   Po zainstalowaniu i aktywacji wtyczki przejdź do sekcji Narzędzia na karcie SEO i wybierz Edytor plików, a następnie kliknij Utwórz plik robots.txt. Na stronie, która zostanie otwarta, możesz utworzyć listę poleceń dla botów wyszukiwarek lub edytować istniejące dane. Po sprawdzeniu poprawności wypełnienia zapisz zmiany.
2. All in One SEO Pack
   Po zakończeniu instalacji wtyczki All in One dla WordPress, aby utworzyć plik robots.txt, przejdź do sekcji Zarządzaj modułami, wybierz ikonę robots.txt i kliknij Aktywuj. W formularzu, który zostanie otwarty, wprowadzamy dodatkowe reguły lub usuwamy (unieczynniamy) wcześniej dodane polecenia. Edytor samodzielnie rozmieszcza katalogi w miejscach; wpisanie nazwy katalogów nie jest wymagane.

Charakterystyczną cechą pakietu All in One SEO jest konfigurowalne blokowanie złośliwych botów, które przeciążają witrynę bez żadnych korzyści.