Un fisier robots.txt este un fisier pentru a impiedica spider-ii motoarelor de cautare sa iti indexeze o parte din site (sau chiar tot site-ul). Poti intalni acest fisier si sub numele de Robots Exclusion Protocol. Robots.txt e o metoda complementara fata de Sitemap.xml. (more…)