Robots.txt

Co to jest plik robots.txt?

Robots.txt to plik tekstowy tworzony przez webmasterów w celu instruowania robotów internetowych (zwykle robotów wyszukiwarek), jak indeksować strony w ich witrynie. Plik robots.txt jest częścią protokołu wykluczania robotów (REP), grupy standardów internetowych, które regulują sposób, w jaki roboty przemierzają sieć, uzyskują dostęp do treści i indeksują oraz udostępniają ją użytkownikom. REP zawiera również dyrektywy, takie jak meta robots, a także instrukcje dotyczące strony, podkatalogu lub całej witryny -dotyczące sposobu, w jaki wyszukiwarki powinny traktować linki (takie jak „dofollow” lub „nofollow”). W praktyce pliki robots.txt wskazują, czy określone programy użytkownika (oprogramowanie do przeszukiwania sieci) mogą, czy nie mogą indeksować części witryny. Te instrukcje indeksowania są określone przez „nie zezwalanie” lub „zezwalanie” na zachowanie niektórych (lub wszystkich) programów użytkownika.