pitsi.pl – Tworzenie i projektowanie stron internetowychpitsi.pl – Tworzenie i projektowanie stron internetowych
  • Główna
  • O nas
  • Realizacje
  • Blog
  • Kontakt
03.10.2019 przez pitsi

KONFIGUROWANIE PLIKU ROBOTS.TXT NA WORDPRESS

KONFIGUROWANIE PLIKU ROBOTS.TXT NA WORDPRESS
03.10.2019 przez pitsi

Sekrety pliku robots.txt

Plik robots.txt i jego dobre konfigurowanie zwłąścia na WordPress jest ważnym narzędziem do optymalizacji SEO witryn. Jego zadaniem jest nawiązanie kontaktu z botami wyszukiwarek. Poinformowanie ich o tym, które foldery muszą przeglądać, aby skanować dane, a które ominąć.

Natychmiast należy powiedzieć, że nie ma idealnego pliku robots.txt dla WordPress, który pasowałby do wszystkich stron w tym CMS bez wyjątku. Istnieją jednak podstawowe rzeczy, które można dostosować w zależności od tego, które strony witryny chcesz otworzyć lub zamknąć dla wyszukiwarek.

Co należy określić w pliku robots.txt i jak utworzyć taki plik? Najpierw musisz zrozumieć, jakie polecenia zawiera i jak ogólnie „rozmawia” z robotami wyszukiwarek.

Głównymi składnikami pliku robota dla WordPress są dyrektywy i zmienne dane wskazujące na plik (grupę plików).

Rodzaje dyrektyw i cechy ich wypełniania

User-agent – nazywa imię robota wyszukującego, do którego kierowane są zespoły: Googlebot (Googlebot-news, Googlebot-image itp.), Yandexbot (YandexImages, YandexVideo itp.), Bing, Slurp, Mail.ru. Aby uzyskać dostęp do wszystkich botów, użyj symbolu * (User-agent: *). Jest to główna dyrektywa dotycząca plików robotów dla WordPress, powinna znajdować się na samym początku pliku.

Allow i Disallow, (Zezwalaj i nie zezwalaj) – otwiera i odpowiednio zamyka dostęp do plików i stron witryny. Warto od razu wspomnieć, że zespoły w pliku robots.txt nie zmuszają robotów wyszukujących do wykonania, raczej zdecydowanie go polecają. Jednocześnie boty mają prawo zachowywać się tak, jak im się podoba, a nawet skanować pliki zamknięte z ich oczu.

Do komunikacji z botami w pliku robots.txt używane są specjalne operatory:

  • – dowolne znaki przed i po danych zmiennych.
  • $ – jako kropka na końcu zdania, ten symbol oznacza, że ​​znak przed nim jest ostatnim znakiem na pasku adresu;
  • # – oznacza, że ​​komentarze autora następują i nie są one uwzględniane przez PS;
  • / – wskazuje, do których sekcji i stron odnosi się wskazanie.

Sitemap (Mapa witryny) – wskazuje ścieżkę do mapy witryny w pliku XML. Zazwyczaj jest wskazany na końcu pliku robots.txt. Standardowa forma linku do mapy witryny to https://domen.com/sitemap.xml, gdzie domen.com to nazwa domeny Twojej witryny WordPress. Sitemap.xml – nazwa pliku mapy witryny.

Host – wcześniej używany przez roboty wyszukiwania Yandex w celu określenia głównego lustra strony. Teraz ta dyrektywa straciła na znaczeniu i nie trzeba jej wskazywać robotowi. Robotami Google host nigdy nie został rozpatszony.

Jak zrobić plik robots.txt dla WordPress: instrukcje wypełniania krok po kroku

Jeśli chcesz określić różne warunki dla robotów Yandex i Google, powinieneś napisać dyrektywy z poleceniami dla każdej z tych wyszukiwarek osobno. Jeśli nie dążysz do osiągnięcia tego celu, możesz zastosować ogólne reguły, co oznacza, że ​​musisz podać * w polu User-agent.

robots.txt

Algorytm pisania właściwego dokumentu dla WordPress robots.txt :

  • Określ miejsce docelowe poleceń (User-agent)
  • Zamknij z indeksowania (Disallow):
    • pliki administracyjne;
    • konta osobiste, formularze rejestracyjne i autoryzacyjne;
    • narzędzia do pracy z zamówieniami (koszyk, formularze do wypełniania danych itp.);
    • podejścia do interaktywnych interfejsów użytkownika;
    • folder cgi;
    • dane dotyczące funkcji wyszukiwania;
    • strony serwisowe;
    • zduplikowane strony i sekcje;
    • dane dotyczące zasad filtrowania, porównywania i sortowania;
    • tagi UTM;
    • wtyczki i motywy graficzne.
  • Otwórz (Allow) te pliki i dokumenty, których indeksowanie jest konieczne, ale znajdują się w już zamkniętych kategoriach, na przykład obrazy i JavaScript
  • Wprowadź dane mapy witryny (Sitemap)
  • W razie potrzeby przepisz Crawl-Delay
  • W razie potrzeby przepisać Clean-Param (dotyczy tylko botów Yandex)
  • Za pośrednictwem usług Google i Yandex weryfikujemy poprawność wypełnienia pliku robots.txt

Wydaje się, że nie ma nic skomplikowanego, ale dość często pojawia się wiele pytań dotyczących tego, które pliki i foldery powinny zostać zamknięte podczas skanowania, a które powinny być indeksowane.

Jak utworzyć plik robots.txt w WordPress

Istnieje kilka sposobów tworzenia pliku robots.txt dla WordPress – ręcznie i przy użyciu wtyczek. Rozważmy je bardziej szczegółowo.

Tworzenie dokument robots.txt za pomocą edytorów tekstu

Do pisania pliku robots.txt możemy użyć dowolnego standardowego edytora tekstu, tak samo zrobi Notatnik. Po wprowadzeniu wszystkich danych do dokumentu zapisz je na komputerze pod nazwą robots.txt. Pozostaje umieścić go na serwerze WordPress.

Przechodzimy do serwera FTP witryny, znajdujemy folder public_html katalogu głównego i przeciągamy do niego nasz plik robots.txt. To wszystko, boty wyszukiwania widzą rekomendacje dotyczące indeksowania.

Tworzenie pliku robots.txt za pomocą wtyczki WordPress

Przyjrzyjmy się jednocześnie dwóm najpopularniejszym wtyczkom do WP – Yoast SEO i All in One SEO Pack

  1. Yoast SEO
    Po zainstalowaniu i aktywacji wtyczki przejdź do sekcji Narzędzia na karcie SEO i wybierz Edytor plików, a następnie kliknij Utwórz plik robots.txt. Na stronie, która zostanie otwarta, możesz utworzyć listę poleceń dla botów wyszukiwarek lub edytować istniejące dane. Po sprawdzeniu poprawności wypełnienia zapisz zmiany.
  2. All in One SEO Pack
    Po zakończeniu instalacji wtyczki All in One dla WordPress, aby utworzyć plik robots.txt, przejdź do sekcji Zarządzaj modułami, wybierz ikonę robots.txt i kliknij Aktywuj. W formularzu, który zostanie otwarty, wprowadzamy dodatkowe reguły lub usuwamy (unieczynniamy) wcześniej dodane polecenia. Edytor samodzielnie rozmieszcza katalogi w miejscach; wpisanie nazwy katalogów nie jest wymagane.

Charakterystyczną cechą pakietu All in One SEO jest konfigurowalne blokowanie złośliwych botów, które przeciążają witrynę bez żadnych korzyści.

Poprzedni wpisOPTYMALNA DŁUGOŚĆ TEKSTU SEO NA STRONIE WITRYNYNastępny wpis JAK ZMNIEJSZYĆ WSPÓŁCZYNNIK ODRZUCEŃ

2 komentarzy

Michał pisze:
05.10.2019 o 00:41

Treść tego artykuły jest już nieaktualna. Od 1 września 2019 roku wyszukiwarka Google przestała brać pod uwagę zawartość pliku robots.txt.

Odpowiedz
pitsi pisze:
05.10.2019 o 11:41

Witam, google nadal bierze pod uwagę robots.txt.
Jednak Google przypomniało webmasterom, że od 1 września przestanie wspierać dyrektywę noindex w pliku robots.txt. Wyszukiwarka wysłała wiadomość na ten temat jeszcze w lipcu za pośrednictwem powiadomień w Search Console.

Odpowiedz

Dodaj komentarz Anuluj pisanie odpowiedzi

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

O naszym blogu

U nas dowiesz się jak promować stronę internetową, prowadzić bloga, pisać teksty SEO oraz wszystko co jest związane z promocją i prowadzeniem własnej strony internetowej.

Najnowsze wpisy

Co to jest HTTPS i SSL20.10.2019
JAK ZMNIEJSZYĆ WSPÓŁCZYNNIK ODRZUCEŃ13.10.2019
KONFIGUROWANIE PLIKU ROBOTS.TXT NA WORDPRESS03.10.2019

Kategorie

  • Optymalizacja strony WWW
  • Promocja strony WWW
  • SEO

Tagi

Certyfikat SSL google adwords marketing internetowy optymalizacja strony internetowej projekt strony internetowej promocja w internecie Protokół HTTPS reklama kontekstowa reklama w google responsywność sea sem seo smm smo SSL strona internetowa strona www szybkość strony internetowej tworzenie stron internetowych

Meta

  • Zaloguj się
  • Kanał wpisów
  • Kanał komentarzy
  • WordPress.org

Dlaczego my?

Po prostu współpraca z nami jest przyjemnością. Skontaktuj się z nami już dziś.

 

Kontakt

Warszawa
pitsipolska@gmail.com
+48 794 756 104
Pon. - Sob. 9:00 - 18:00

Najnowsze wpisy

Co to jest HTTPS i SSL20.10.2019
JAK ZMNIEJSZYĆ WSPÓŁCZYNNIK ODRZUCEŃ13.10.2019
KONFIGUROWANIE PLIKU ROBOTS.TXT NA WORDPRESS03.10.2019
Built By PITSI

Informacje kontaktowe

794 756 104
pitsipolska@gmail.compitsi.pl
Poniediałek-Piątek: 9:00-19:00

Najnowsze prace