re: robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájl
Srácok, köszönöm az infókat.
Mivel vannak merőben ellentétes vélemények is, ezért úgy gondoltam, hogy az egyik honlapunkon kiprobálom mindegyiket (az ellentéteseket is), kiváncsi leszek, hogy melyikre mit lép a Google.
Ezzel kezdem:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-includes/js/
Allow: /wp-includes/js/jquery/
Disallow: /wp-includes/
re: robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájl
Nekem ezzel elfogadta, de utánaolvasva, igazából az egész wp-includes tiltást kiveheted.
re: robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájl
Idézet:
djarni eredeti hozzászólása
Nem kell foglalkozni a google ilyen hülyeségeivel (van amúgy sok más is..).
Furcsa hozzáállás. Csak akkor ne csodálkozz, ha hátrább sorol a Google. Ez szerintem a reszponzív/mobil megjelenések ellenőrzését szolgálja.
Ahogy előttem is írták, elég hozzá a googlebotnak engedélyezni js-t, css-t
Kód:
User-agent: Googlebot
Allow: *.css
Allow: *.js
re: robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájl
Idézet:
mfkzt eredeti hozzászólása
Furcsa hozzáállás. Csak akkor ne csodálkozz, ha hátrább sorol a Google. Ez szerintem a reszponzív/mobil megjelenések ellenőrzését szolgálja.
Ahogy előttem is írták, elég hozzá a googlebotnak engedélyezni js-t, css-t
Kód:
User-agent: Googlebot
Allow: *.css
Allow: *.js
khm.. :) Én csak az előre sorolás fogalmát ismerem ;)
Ahhoz, hogy reszponzív legyen egy oldal, nem kell indexelnie a js fájlokat.. Mi több, se a reszponzív megjelenéshez, se az előre soroláshoz nem szükséges semmilyen google eszközt használni.. SzG jól mondja egyébként..
Üdv.
re: robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájl
Idézet:
djarni eredeti hozzászólása
A tiltás az indexelésre vonatkozik, ami teljesen logikus, hogy a wp mappákból ne indexeljen semmit, mert az nem vezet jóra..
Ez nem igaz. A robots.txt a robot látogatására vonatkozik, nem az indexelésre. Ez két különböző dolog. Ha pedig nem tudja a robot meglátogatni a .js és .css fájlokat, akkor értelmezi majd (elméletileg) az oldalt, mintha ezek nem lennének (majd az indexbe is így kerül be, de a látogatása alkalmával is ezek nélkül látja majd az oldalt). Más kérdés, hogy a G ezt betartja-e.
re: robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájl
Idézet:
Emphus eredeti hozzászólása
Más kérdés, hogy a G ezt betartja-e.
Eddig sem tartotta be, hiszen a pagespeed tester ezelőtt is simán beolvasta azokat a fájlokat is, amikről elvileg le volt tiltva. :)
Ez most csak utólagos bohóckodás, aminek viszont meg kell felelni, mert ezek a Google játékszabályai.
re: robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájl
Jó, ez a topik, ezen agyalok pár napja mióta én is megkaptam a figyelmeztetést. Joomla oldalon a cache mappámat tiltom, mert minek akarná lecachelni.
Kipróbálom ezt az allow .js .css dolgot köszönöm.
És mi a helyzet, ha a pluginem a css és js fájlokat egy .php fájlba kombinálja?
Engedélyezzem a php fájlokat is?
Ez nekem sem világos, hogy a robots.txt-ben most mit adok meg, csak azt hogy a googlebot hozzáférjen/ne férjen hozzá vagy azt is, hogy le is cachelje / ne cachelje a szervereire.
Miután a cache mappámat nem szeretném ha lecachelné a google, szép is lenne, ha kidobná a keresési találatai között a php fájlba csomagolt js meg css dolgokat. :D
re: robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájl
Idézet:
petron1 eredeti hozzászólása
Jó, ez a topik, ezen agyalok pár napja mióta én is megkaptam a figyelmeztetést. Joomla oldalon a cache mappámat tiltom, mert minek akarná lecachelni.
Kipróbálom ezt az allow .js .css dolgot köszönöm.
És mi a helyzet, ha a pluginem a css és js fájlokat egy .php fájlba kombinálja?
Engedélyezzem a php fájlokat is?
Ez nekem sem világos, hogy a robots.txt-ben most mit adok meg, csak azt hogy a googlebot hozzáférjen/ne férjen hozzá vagy azt is, hogy le is cachelje / ne cachelje a szervereire.
Miután a cache mappámat nem szeretném ha lecachelné a google, szép is lenne, ha kidobná a keresési találatai között a php fájlba csomagolt js meg css dolgokat. :D
A robots.txt-ben elméletileg azt tudod megadni, hogy a robotok (beleértve a Google feltérképező robotját is, de nem kizárólagosan azt) mit látogathatnak meg és mit nem. Elméletileg ez úgy működik, hogy mielőtt bármit megnéznek a weboldaladon/meglátogatják, belelesnek a robots.txt-be, hogy ott engedélyezve van-e / nincs-e letiltva. Gyakorlatban nagyon kevés robot veszi ezt a fájlt figyelembe, és nagyon lazán is kezelik (még a G is).
A kereső robotja meglátogatja az oldalt. Ezt szabályozod a robots.txt-vel. Miután meglátogatta, azután menti a tartalmát, indexeli az adatbázisába (nem éppen cachelés). Majd ebből az adatbázisból listáz neked, amikor rákeresel dolgokra (leegyszerüsítve).
A weboldal úgy épül fel, hogy egy HTML forráskódot kap meg a böngésző/robot (kliens) - ezt lehet, hogy egy PHP fájl állítja elő, de ettől még HTML forráskódot kap alapvetően. Ebben a HTML forrásban szokott lenni gyakorlagilag "include"-ként JavaScript (JS) és CSS. Ezek szükségesek ahhoz, hogy megfelelő kinézetben és kliens oldali interakciókkal jelenjen meg az oldal. Hogyha a CSS és JS fájlok le vannak tiltva a robots.txt-be, akkor az vezetHET ahhoz, hogy a Google esetleg ezeket nem tudja lekérni a szervertől, így nem is tudja a teljes weboldalt olyan formában (kinézetben, kliensoldali interakciókban stb.) összerakni magának, mint a böngésző, aminek rendelkezésre állnak ezek a források. Ha ezek hiányoznak, akkor gyakorlatilag egy plain textet kap meg a Google, formázások nélkül. Gyakorlatban persze ezt eddig úgy láttuk, nem zavarja, és simán lekéri a fájlokat úgy is, hogy valójában meg van neeki tiltva. De hát Google...
Visszatérve: Joomla oldalon (meg més CMS-ben) is érdemes tiltani a cache mappát, mert az arra szolgál, hogy a Joomla onnan szolgálja ki az általa, magának cachelt tartalmat. Ami ha változik, a cache is változik. Ahogy a pluginek sem olyan dolgok, amik egy az egyben elérhetőek, hanem általában az oldal egy-egy komponenseit teszik ki, így fölösleges külön engedni a robotnak, hogy azokat elérje - bár az itteni .js és .css fájlok a fentiek miatt fontosak lehetnek. Ilyenkor érdemes tiltani mindent, ami nem szükséges, és külön engedélyezni minden js és css fáljt.
re: robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájl
A robots.txt-m ezeket tartalmazza:
User-agent: *
Disallow: /wp-admin/
Viszont látom hogy fentebb némelyeknek benne van a Sitemap is, ezt érdemes megadni?
re: robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájl
Idézet:
Baker eredeti hozzászólása
A robots.txt-m ezeket tartalmazza:
User-agent: *
Disallow: /wp-admin/
Viszont látom hogy fentebb némelyeknek benne van a Sitemap is, ezt érdemes megadni?
Ártani nem fogsz vele, de szerintem sokat nem is használ. Inkább GWT-ben érdemes beküldeni, esetleg a domain.tld/sitemap.xml helyen elérhetővé tenni (a domain.tld nyilván a saját domained), mert ezt szerintem megpróbálják a robotok.