Téma: Robots.txt - mindent letiltanék kivéve a főoldalt, de hogyan?

djarni eredeti hozzászólása

Mindenképpen tiltani akarsz? Az nem játszik, hogy minden aloldalt a főoldalra irányítasz? Csak kíváncsiságból, hátha ez nem jutott eszedbe..

Az nem játszik, tiltani szeretnék. Ezek olyan oldalak (jó sok, kb 1M) amiknek minél előbb meg akarom szüntetni az indexelését és ennek a robotok kitiltása a legjobb módja. Ötletek?

noindex, nofollow metába, mindenhova, kivéve főoldal.

Harder eredeti hozzászólása

noindex, nofollow metába, mindenhova, kivéve főoldal.

1,5M legenerált HTML fájlról beszélünk amit nem tudok tömegesen szerkeszteni. Robots.txt tiltási megoldást keresek, más nem megy.

Harder eredeti hozzászólása

Amúgy ez szerintem a jó megoldás:

User-agent: *
Allow: /index.html
Disallow: /

A szabványkövető crawlerek esetében fontos a sorrend, ott mindig az 1. szabály az érvényes. A Google esetében ez nem így van, ugyanis az allow nyer amennyiben azonos vagy több karaktert tartalmaz, mint a disallow szabály. Szóval a "/index.html" üti ez esetben a sima "/"-t.

Hozzáteszem gyakorlatban ilyesmit még nem próbáltam, ezért írtam elsőként a noindex, nofollow megoldást, de akkor az ezek szerint most nem opció.

Nekem is ez a bajom, hogy nem tudom hogy hogyan reagál erre a parancsra. Hiszen ha az allow üti a disallowt akkor akár az egész 3. sort is ütheti és akkor nem ér semmit az egész Vagy ezt rosszul gondolom?

Szerintem rosszul. Az allowban meghatározott fájl nem fogja ütni a disallow-ban lévő /-t. Akkor ütné, ha az allow és a disallow is csak ennyit tartalmazna: "/".

Harder eredeti hozzászólása

Szerintem rosszul. Az allowban meghatározott fájl nem fogja ütni a disallow-ban lévő /-t. Akkor ütné, ha az allow és a disallow is csak ennyit tartalmazna: "/".

Ezer köszönet. Kipróbálom és beszámolok hogy mi lett

Wirg eredeti hozzászólása

Ezer köszönet. Kipróbálom és beszámolok hogy mi lett

Nem jó. Kipróbáltam a WMT tesztcuccal és ezt írta ki a főoldalra:
Blokkolja a 3. sor: Disallow: /