robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájlt?
Ma az alábbi értesítést kaptam a Google-től:
"A Googlebot nem tud hozzáférni CSS- és JS-fájlokhoz itt: hxxx://www.akarmi.hu/
A(z) hxxx://www.akarmi.hu/ webhely webmesterének
A Google rendszerei mostanában azt észlelték, hogy probléma van a kezdőlapjával, amely befolyásolja, hogy az algoritmusok mennyire jól jelenítik meg vagy indexelik a tartalmát. A konkrét probléma az, hogy a Googlebot a robots.txt fájlban megadott korlátozások miatt nem fér hozzá az Ön JavaScript- és/vagy CSS-fájljaihoz. Ezek a fájlok segítenek a Google-nak eldönteni, hogy a webhely megfelelően működik-e, így az elemekhez való hozzáférés letiltása nem ideális pozícióhoz vezethet a rangsorban.
A következőképpen orvosolhatja a problémát:
1. Azonosítsa a letiltott forrásokat
A „Megtekintés Google-ként” funkció segítségével azonosíthatja azokat az elemeket, amelyeket a robots.txt utasításai letiltanak.
Megtekintés Google-ként
2. Frissítse a robots.txt fájlt
Távolítsa el a webhely CSS- és JavaScript-fájljaira vonatkozó korlátozásokat a robots.txt utasításai közül, majd tesztelje a módosításokat a robots.txt tesztelőjével. Ezt követően webhelyén frissítse a robots.txt fájlt, és küldje el azt a Search Console szolgáltatásba.
Tesztelje a Robots.txt fájlt
3. Ellenőrizze a javítást a „Megtekintés Google-ként” funkcióval
Kérje le és jelenítse meg oldalát a „Mobil: okostelefon” lehetőség kiválasztásával annak ellenőrzéséhez, hogy az okostelefonokhoz készült Googlebot megfelelően megjeleníti-e a tartalmat.
Megtekintés Google-ként"
Jelenleg az alábbiak jelennek meg az oldalunk robots.txt fájlban (Az All In One SEO Pack így állítja be):
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: hxxx://www.akarmi.hu/sitemap.xml.gz
A WMT-ban a "Letíltott oldalak"-nál az alábbiak láthatók:
1. hxxx://www.akarmi.hu/wp-includes/js/jquery/jquery-migrate.min.js?ver=1.2.1
2. hxxx://www.akarmi.hu/wp-includes/js/jquery/jquery.js?ver=1.11.2
3. hxxx://www.akarmi.hu/wp-includes/js/wp-emoji-release.min.js?ver=4.2.2
4. hxxx://www.akarmi.hu/wp-includes/js/jquery/jquery.js?ver=1.11.1
Kérdésem, hogy
- szerintetek mit rontottam el, mit és hol kellene javítani ahhoz, hogy az oldalunk robots.txt fájlja megfeleljen a Google-nak?
- Ahhoz, hogy a Google hozzáférhessen a fenti elemekhez mit kell eltávolítani robots.txt fájlból? ("Távolítsa el a webhely CSS- és JavaScript-fájljaira vonatkozó korlátozásokat a robots.txt utasításai közül ...") Csak nem a Disallow: /wp-includes/-t?
Előre is köszönöm a segítségeteket.
re: robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájl
Nemrégiben magam is megkaptam ezt az üzenetet. A plugin-ok tiltása se tetszett neki. Most ezt használom, nem jelez hibát:
User-agent: *
Allow: /
Disallow: /wp-admin/
Sitemap: valami.hu/sitemap.xml
re: robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájl
Szerintem egyértelmű, ahol használatban lévő css és js található ahhoz hozzá akar férni. A robots.txt pedig ebben megakadályozza. Már mintha eddig ez probléma lett volna neki.
re: robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájl
Szerintem meg valamit elcsesztek a G-nél. Legalábbis én is kaptam ilyen üzenetet, pedig semmi nincs tiltva robots.txt-ben, és három éve hozzá nem nyúltam a forráskódhoz, eddig tökéletesen látott mindent. Nem WP oldal.
re: robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájl
Engedélyezzétek ideiglenesen a robots.txt-ben azokat a mappákat amiket akar, de az includes-t magát tiltsátok szerintem. Én így adtam meg és benyelte.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-includes/js/
Allow: /wp-includes/js/jquery/
Disallow: /wp-includes/
re: robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájl
Mi is minden oldalunkra kaptunk ilyen üzenetet. Engem is érdekelne a dolog.
re: robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájl
Találtam róla egy elég érdekes cikket, ami a Yoast-tól jött ki. Ők azt javasolják, hogy minden tiltást szedjünk ki a robots.txt-ből.
A cikket itt találjátok: _https://yoast.com/wordpress-robots-txt-example/
Ettől függetlenül én a wordpress-es oldalaimon most így használom:
User-agent: *
Disallow: /wp-admin/
Sitemap: pelda.hu/sitemap.xml
Search Console-ban azóta jónak tűnik.
re: robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájl
Nem kell foglalkozni a google ilyen hülyeségeivel (van amúgy sok más is..). A tiltás az indexelésre vonatkozik, ami teljesen logikus, hogy a wp mappákból ne indexeljen semmit, mert az nem vezet jóra..
Csak is az oldalakat indexelje, ne a wp-ben található különböző fájlokat. Egyáltalán mi a francért akar onnan indexelni akármit is? Oké, hogy a js-ek onnan vannak meghívva, de azokat csak ne indexelje. Ha akarja, úgyis beleolvas, aztán kész..
Üdv.
re: robots.txt - Hogyan kell Wordpress oldalnál helyesen beállítani a robots.txt fájl
Egyébként meg kell mindent engedni a googlebotnak? Nekem is küldött ilyet, én hagyom úgy ahogy van. Végül is a tartalmat be tudja járni ha akarja így is.
Már úgy vagyok vele, szerintem jobban teljesít egy olyan oldal ahol nincs oldaltérkép, nincs seo plugin, nincs webmaster tools, nincsenek bele nyalva a nagy könyv szerint a google szolgáltatások. Lehet csak belegondolom, de talán figyelembe veszi, hogy amelyik oldalnál nem dolgoznak alá az lehet inkább egy erős független tartalom, ami mintha nem is szorulna a google -re. Persze rászorul, csak a google nem tudhatja 100% -ban hogyan, miért, mennyire.