sitemap VS ping.. Hogy tévedt el G-Bot?

phantomalfi · 2013-06-14, 21:41

Sziasztok.
Szeretnék némi tanácsot kérni..

Hónapok óta figyelem egy weboldalunkat a ( bing által normálisan indexelt oldalról van szó), visszanéztem a logokat és a googleboot sajnos nem követi sem a sitemap-emet sem a robots txt -ben meghatározott szabályaimat

Sajnos nap-mint nap a public_html-ben elhelyezett mappát látogatja a következő módon: tarolo_mappa/=?/kepek/és_itt_már_egy_létező_kép_linkje_van.jpg.

Azt szeretném kérdezni, hogy szerintetek ha valami "véletlen folytán" pingelve vannak ezek a keresési linkek a mappára, hogy lehet megmagyarázni, a google-nak szerintetek hogy nem jó a link ahol keresgél (több ezer bot-látogatásról van szó), a robots.txt-ben ezt beleraktam már régebben: "disallow: /*?*" be kell raknom vajon így is: */=?* Vagy ez így nem jó?

Csináltam külön sitemap-et a képeknek, sajnos nem foglalkozik a google ezzel sem - tehát kissé tehetetlen vagyok

Nem tudom járt-e valaki hasonló cipőben? - Ha igen kérem ossza meg velem a tapasztalatait.

Koszi előre is segítséget ás a lehetőséget.

**Emphus** · 2013-06-14, 21:48

A robots.txt-t ugye nem köteles követnie, az csak ajánlás. És mi a Googlnek ajánlás...
Szerintem próbáld megjavítani a pingelést, mert ott sülhet el valami rosszul. Egyébként meg szerintem a képeknek fölösleges sitemap. Inkább azokat az oldalakat rakd bele, amik tartalmazzák a képeket. Önmagában a képeket nem hiszem, hogy indexeli, inkább tekint rájuk a weboldal részeként.

phantomalfi · 2013-06-15, 10:28

Emphus eredeti hozzászólása

A robots.txt-t ugye nem köteles követnie, az csak ajánlás. És mi a Googlnek ajánlás...
Szerintem próbáld megjavítani a pingelést, mert ott sülhet el valami rosszul. Egyébként meg szerintem a képeknek fölösleges sitemap. Inkább azokat az oldalakat rakd bele, amik tartalmazzák a képeket. Önmagában a képeket nem hiszem, hogy indexeli, inkább tekint rájuk a weboldal részeként.

Köszi - megerősítettél a gyanúmban, hasonló hibát keresek, azt-hiszem talán lementek mindent a lapról, és nekiállok a tartalmat ujra feltölteni egy szűz rendszerre a pinget letiltom es csak asitemap-et küldöm be talán akkor közelebb jutok a hiba megértéséhez.
Nem szoktam a képeknek én sem sitemap-et keszíteni - ezt már kínomban próbáltam csak meg

**0xFF** · 2013-06-15, 10:37

A robots.txt-t a Google koteles betartani.

**Emphus** · 2013-06-15, 13:54

0xFF eredeti hozzászólása

A robots.txt-t a Google koteles betartani.

Elméletben igen. Talán van szabályozás, hogy be kell tartaniuk. Gyakorlatban viszont szerintem nem ilyen biztos. Simán el tudom képzelni, hogy azok is feltérképezésre kerülnek, csak épp nem használja fel a találati lista kialakításában. Elvégre a Google-ről beszélünk.

Egyébként még a kérdezőnek: a robots.txt a robot látogatását tiltja, de az indexelést nem. Tehát ha már beindexelte a G az oldalt, majd letiltod, hogy visszalátogasson, az indexben attól még ott lesz. Ezt noindex meta taggel lehet kitakarítani, de az meg akár elég sok idő is lehet.

**0xFF** · 2013-06-15, 17:45

Ha robotsban kitiltod akor a talalati listarol is kikerul.

Ha valami tiltva van a robotsban akkor a a google nem kockaztatja meg, hiszen nagyon egyszeruen le lehetne buktatni, cloakingal stb.

Ha en pl csinalok egy botot Bot1 user agentel es kitiltasz csinalhatok egy Bot2-t gond nelkul viszont a g nem enedgeti meg.

Persze itt meg van rDNS meg a rekord de senki nem ellorzi le.

Tehat en hasznalhatok alma.googlebot.com hostot es ha lekerded a ptrt akor google bot vagyok viszont ha neznel egyba recordot akkor latnad, hogy az ip nem passzol. De e ez egy teljesenas tema.

**Emphus** · 2013-06-15, 18:07

Szerintem ha akarja, a G megoldja, hogy ne tudd, hogy ő járt az oldalon.

**rendszergazda** · 2013-06-15, 20:45

Sajnos nem minden esetben elegendő a robots.txt. Pl. ha egy adott állományt meglinkeli egy másik weboldal, amit fel tud térképezni a Google, akkor onnan követi az oldaladra mutató hivatkozást, és letölti a tartalmat.

Pl. hiába tiltod le a /img mappa indexelését, ha valaki egyik képedet felhasználja az oldalán, akkor le fogja tölteni az adott képet a Google az oldaladról, ilyen esetben nem is tölt tobots.txt-t sem, viszont küld referer mezőt, így látod, honnan jutott el hozzád, de ezzel mondjuk nem mész sokra, attól még leindexelt valamit, amit nem akartál. Sajnos ez van, ugyan ez a helyzet pl. pdf esetében is, hiába tiltod az indexelését, ha valaki más belinkeli az oldalára a pdf-et az oldaladról, akkor letölti és beindexeli a Google, hiába a robots.txt.

**rendszergazda** · 2013-06-16, 11:08

Ha meg akarod akadályozni, hogy a Google letöltsön és indexeljen adott tartalmakat a weboldaladról, akkor szerintem a leg célravezetőbb IP cím alapján szűrni a Google "pókjait". Ha egy adott könyvtár összes állománya és alkönyvtára tabu kell legyen a Google felé, akkor elegendő az adott könyvtárba elhelyezni egy .htaccess állományt az alábbi tartalommal:

<Limit GET>
Order Allow,Deny
Deny from 66.249.64.0/19
Allow from All
</Limit>

Ugyanis elemezve webszerverek access logjait, úgy láttam, hogy ebből az IP tartományból indexel a Google, de "paranoid"

felhasználók innen letölthetik a Google IP tartományának aktuális listáját, ezt megfelelően beillesztve a .htaccess állományba blokkolható az összes Google-hoz tartozó IP cím. Természetesen a <Limit> </Limit>d blokk helyett nyugodtan használható a <Files></Files> vagy a <Directory></Directory> is, attól függöen, hogy a weboldal mely részeitől kell a Google-t távol tartani.