Téma: Robots.txt help

Ha jól értem akkor, ha a következőt írom be:

User-agent: *
Disallow: /

akkor megakadályozom az oldal teljes beindexelését?
Csinálok egy teljesen belső használatú oldalt, amit a nem regisztráltak nem is olvashatnak és nem akarom, hogy a keresőkben megjelenjen.

G.

Igen, jól érted. (ki volt az a lütyő aki kitalálta a 25-ös szabályt?)

Köszönöm. Még egy kérdés:
az eredeti file-ban szerepel egy ilyen sor:
Crawl-delay: 10
ez minek az időzítésére szolgál?

G.

Ha a szervered nem bírja a robotok másodpercenkénti elérését, a crawl delay-el megadhatod másodpercben a két elérés közti gyakoríságot.

Köszönöm. Sejtettem, hogy valami ilyesmi lesz, de jobb a megerősítés. Bár nem hiszem, hogy egyelőre olyan nagyon sürűn látogatnának.
Mondjuk mióta ide járok megduplázodott a pagerankem. (egyesből lett kettes ) De akkor is látványos a fejlődés.

Na most jobban megnézve nem is. A főoldalam maradt egyes csak a belsők kettesek. ill. azokat nem is néztem régebben. Érdekes ez.

G.

Bagi Zoltán eredeti hozzászólása

Mármint a PageRank Prediction tool által jelzett értéke? Vagy a toolbar-ban kijelzettre gondolsz? Az lehetlen lenne, mert update körül indultunk

Hát közben javítottam a hozzászólásom, mert kicsit benéztem. (pironkodik, de nagyon)

G.

A robots.txt-vel kapcsolatban azt szeretném kérdezni, hogy ha nekem nincs az oldalak indexelésével kapcsolatban különös elvárásom, akkor van-e értelme ilyen file készítésének. Csak azért kérdezem mert a google webmaster central-ban hiányolja a robots.txt file-t.

Mastinaro, ha nem akarsz kizárni semmit az indexelésből, akkor semmiképpen se használj robots.txt-t, mert eléggé veszélyes is tud lenni a mutatvány.