Maximus eredeti hozzászólása
Na megvolt a cachelés, de még mindig látható valamiért a robots.txt, amit már töröltem.
Akkor nem törölted. Meg amúgy baromira mindegy, mert ez a robots.txt csak az admin mappát tiltja, minden mást enged. Meg szerintem a WP generálja a robots.txt file-t, szóval így FTP-n fölöslegesen törlöd, nem érsz vele semmit. szerintem hozz létre inkább a WP gökrében egy robots.txt filet, amibe rakd ezt:
Kód:
User-agent: *
Disallow: /
Sitemap: http://doimain.tld/sitemap.xml.gz
A doimain.tld helyett a saját domain címed, meg úgy a Sitemap: ... -nál a ... helyén az a webcím, ahol elérhető a sitemap.
Plusz 1: nézd meg a privacy settingst (adatvédemi beállítások), és hogy ott nincs-e blokkolva a robotoknak a weboldal feltérképezése.
Könyvjelzők