Un fisier robots.txt este un fisier pentru a impiedica spider-ii motoarelor de cautare sa iti indexeze o parte din site (sau chiar tot site-ul). Poti intalni acest fisier si sub numele de Robots Exclusion Protocol. Robots.txt e o metoda complementara fata de Sitemap.xml.

Ce face un fisier robots.txt? Un astfel de fisier are rolul unei cereri catre roboti (pot fi toti robotii, sau se pot specifica doar niste roboti anume).

De ce ai exclude unele lucruri de la motoarele de cautare? E util sa faci acest lucru daca consideri ca continutul acela poate fi irelevant pentru motoarele de cautare. De asemenea, exista lucruri care poate doresti sa fie invizibile in cautarile Google din motive personale (vrei unele lucruri sa fie secrete).

Din pacate insa, protocolul e doar un sfat adresat robotilor de cautare, acestia il pot ignora. De asemenea, continutul poate fi invizibil robotilor, dar e perfect vizibil utilizatorilor obisnuiti ai site-ului.

Exemple de folosire a fisierului:

Asa permiti tuturor robotilor sa indexeze site-ul (varianta implicita, nu e nevoie de fisierul robots.txt in acest caz):
User-agent: *
Disallow:

In acest fel ii respingi pe toti:
User-agent: *
Disallow: /

Poti ignora doar anumite directoare de pe site-ul tau
User-agent: *
Disallow: /cgi-bin/
Disallow: /poze/
Disallow: /temporar/
Disallow: /masini/

Daca in loc de *, specifici un anume bot, doar acel bot va ignora continutul respectiv.

Daca vrei sa ne impartasesti parerea ta despre fisierul robots.txt, asteptam cu interes opinia ta.

Tags: bot, boti, cautare, cerere, cereri, crawler, fisier, fisiere, google, motoare de cautare, motor de cautare, request, requests, respingere, robot, roboti, robots.txt, sitemap, spider-ii, utilizator, vizibilitate

This entry was posted on Marţi, Februarie 3rd, 2009 at 4:19 pm and is filed under Optimizare pentru motoarele de cautare. You can follow any responses to this entry through the RSS 2.0 feed. You can leave a response, or trackback from your own site.