Čo je súbor robots.txt
Robots.txt je jednoduchý textový súbor, ktorý slúži na riadenie prístupu vyhľadávacích robotov (tzv. crawlerov) na váš web.
Nachádza sa v koreňovom adresári webu (napr. https://webglobe.sk/robots.txt) a obsahuje pokyny, ktoré určujú, ktoré časti webu môžu alebo nemôžu roboti indexovať.
Tento súbor je dôležitým nástrojom na správu indexácie a pomáha optimalizovať spôsob, akým vyhľadávače, ako Google, Zoznam alebo Bing, prechádzajú váš web.
Kedy sa robots.txt upravuje?
- Obmedzenie prístupu: Pomocou robots.txt môžete robotom zakázať prístup k citlivým častiam webu (napr. administrácia, testovacie stránky alebo duplicitný obsah).
- Optimalizácia indexácie: Robots.txt určuje, na ktoré stránky alebo adresáre sa majú vyhľadávače zamerať, vďaka čomu šetrí kapacitu prechádzania (tzv. crawl budget).
- Pokyny pre špecifické roboty: Robots.txt umožňuje zadať pravidlá pre konkrétne vyhľadávače alebo roboty.
Príklad súboru robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private-data/
Sitemap: https://priklad.sk/sitemap.xml
- User-agent: * znamená, že pravidlá platia pro všetky roboty.
- Disallow: Zakazuje prístup do zložiek /admin/ a /private-data/.
- Sitemap: Umožňuje robotom jednoducho nájsť XML sitemapu, ktorá obsahuje zoznam stránok určených na indexáciu.
Čo robots.txt nedokáže?
Robots.txt nechráni dáta pred prístupom – zakázané stránky môžu byť stále prístupné pre používateľov, ktorí poznajú priamy odkaz.
Takisto neposkytuje 100 % garanciu, že všetci roboti budú pravidlá rešpektovať. Nezodpovední roboti môžu súbor ignorovať.
Prečo je robots.txt dôležitý?
Správne nastavenie súboru robots.txt je dôležité pre optimalizáciu pre vyhľadávače (SEO).
Pomáha zabrániť tomu, aby boli indexované zbytočné alebo nežiadúce stránky, vďaka čomu sa zlepšuje kvalita indexácie vášho webu.
Je to jednoduchý, ale účinný nástroj na riadenie správania vyhľadávacích robotov.
Prečítajte si, ako vytvoiť sitemapu svojho webu.