A 404 és ami mögötte van

Bekapcsoltam a 404 kérések loggolását, és nem is volt rossz ötlet, mert saját hibáimat is kihozza, ha véletlenül rossz linket tettem valahova.

Viszont van egy csomó furcsa kérés, amiket nem értek.

A Yahoo Slurp rendületlenül megpróbál átírt URL-ekben mászkálni. Pl. a site.neve/nehany-kulcszo/param URL-ben belenéz a site.neve/nehany-kulcszó könyvtárba is, ami nem létezik.

Ez probléma? Innen át kellene irányítanom a gyökérbe inkább? Vagy nem érdemes törődni vele?


A másik furcsaság a Mediapartners-Google agent, aki mindig plusz dolgokat fűz az URL mögé: site.neve/valami.php?p=1&p=2?4957432

A dőltbetűs rész az övé. Ez általában azzal jár, hogy egy hibaoldalra jut, mert a plusz dolog belekavar a paraméterekbe. Számomra rejtély, hogy hozzáfűz valami szemetet az URL-hez és azt hiszi, menni fog. Ezzel érdemes tenni valamit?


Azokat a kéréseket sem értem, amikor a gyökérből különböző karaktereket akarnak lekérni: pl. /_


Ti találkoztok hasonlókkal? Mit csináltok vele?

Ha fontosnak találod az oldalad maradéktalan indexelését, akkor mindenképpen kezeld ezeket a furcsaságokat, ezek a gyógyírek jutnak először eszembe:

A Yahoo szülőkönyvtár-komplexusát megszüntetheted egy 301-es átirányítással, bár a helyedben nem a gyökérbe mutatna, hanem eggyel lejjebb, a /param oldalra. Jól gondolom, hogy Te sem optimalizálsz Yahoo-ra? Ez esetben nem kell, hogy emiatt fájjon a fejed.

A médiapartneres Google-ügynök elég durván belerondít az url-be, teljesen más jelentést adva neki - nekem úgy tűnik, hogy nem is feltételezik, hogy valaki még dinamikus url-t használ. :)
Szerveroldalon elkerülheted a problémát, ha (PHP esetében) $p=(int) $p; sorral kibővíted a bejövő adatok vizslatását, így visszanyered az eredeti szándékodat. (Nyilván valami valószínűtlenség következménye, hogy a példában két p paraméter van, igaz? :) )

Ha a helyedben lennék, a különböző karakterekre minden esetben az önálló 404-es hibaoldalt adnám. Feltételezem, Neked már van ilyen.

Idézet:

---

pestaa eredeti hozzászólása

Ha a helyedben lennék, a különböző karakterekre minden esetben az önálló 404-es hibaoldalt adnám. Feltételezem, Neked már van ilyen.

---

Persze, midenre megy alapból a custom 404 oldal, csak ugye csökkenteni szeretném ezek számát, hogy minél több esetben jusson a user inkább értelmes oldalra.

Csak azt nem tudom, hogy érdemes-e azzal szórakoznom, hogy a bot-ok mindenféle URL-lel hívják meg az oldalakat.

Pl. nem tudom, hogy a Mediapartners-Google meghívja-e úgy is az oldalakat, hogy nincs szemét hozzáfűzve az URL-hez, és a hozzáfűzés csak valami teszt, vagy ez a kérés maga az egyetlen kérés, máshogy nem is jön, ezért saját érdekemben jobb lenne, hogy ilyenkor is valami helyes oldalt adjak vissza, ha hülyeséget kér, akkor is.

Hát ha nem optimalizáltad túl jól a 404-es hibaoldalad, akkor aligha jön fel találatoknál. :)
Ha mégis aggódsz emiatt, akkor tedd még egy fokkal felhasználóbarátabbá (vagy zsargonosan: landing oldallá) a 404-es oldalad, és mindenképp élj a fent említett szerveroldali „trükkel” - már csak a biztonság kedvéért is. Ha nem csupaszítod le a paraméterek szükségtelen/érvénytelen részeit, akár SQL-injekcióra vagy XSS-re is felhasználhatja az „odatévedő”. :/ Másrészről pedig a robotoknak is úgy dobja vissza az oldalt, mintha értelmes kérés érkezett volna Hozzád.