Téma: Indexelési probléma

Be fogtok szarni.

Egy most indult weboldalt 1 évre előre feltöltöttem tartalommal. Ezek ilyen örökzöld tartalmak, sok munkám volt vele. Azt gondoltam, hogy megkönnyítem a napi frissítést. A gond az, hogy ezeket valahogyan beindexelte a google.

A "CMS-t" én csináltam. A frontend oldalon, a tartalom listázásakor figyelembe vettem a mysql-ben tárolt timestampot. Magyarul, hogy csak olyan cikk jelenjen meg, ami az adott pillanattól régebbi. Ugyanígy a sitemapnél is és minden pluginnál. Azt a hibát viszont elkövettem, hogy a cikkoldalak megnyitásakor ezt már nem tettem meg. Tehát ha beírtad a cikk urljét, akkor megjelent, itt már nem volt timestamp ellenőrzés. Persze ehhez tudnod kellett a cikk azonosítóját. (?cikk_id=1, ?cikk_id=2, ?cikk_id=3, ...) Volt az url-ben még keresőbarát címke is, de az csak dísznek, mert az ID alapján történik a lekérdezés.

Na most nem az a bajom, hogy 1-2 ilyet megtalált, hanem az összeset! Én maximum néhányat nyitottam meg böngészőben, de ezek az oldalak sehonnan sem voltak linkelve. Hogy tudta ezt megcsinálni? Hogyan találta meg? Megnéztem a szerveroldali statisztikát (AWSTATS), van olyan cikk, amit még sosem nyitottak meg böngészőből, mégis benne van az indexben.

Azóta már javítottam a hibát és minden lekérdezéskor figyelembe veszem a dátum mezőt, viszont így lett jó sok 404-es oldalam. Mit javasoltok? Hogyan lehetne visszalapátolni a szart a lóba?

Az egész nagyon furcsa és rejtélyes.

Robots.txt -t probaltad? Reg kiffel letiltani a parameteres urlek indexeleset

Ezt a mini cms-t én csináltam, 2-3 php fájlból áll, a többi egy jelszóval védett mappában van. Van sitemap.xml is, de az is dinamikusan készül hasonló logika mentén. Csak az admin-ból voltak ezek meglinkelve, az viszont jelszóval védett. Viszont tényleg az az érdekes, hogy elég sok olyan oldal van, amit a szerveroldali (tehát nem GA) statisztika szerint még nem látogattak meg, de mégis benne van az indexben az összes meta adattal (title, description, opengraph cuccok (kép!), breadcrumb, canonical). Ezek az adatok meg nincsenek benne a sitemapban.

Viszont úgy döntöttem, hogy mivel ez egy most indult oldal, ezért megváltoztatom az url struktúrát. A régi linkeket egységesen a rovat kezdőlapjára irányítom 301-gyel. Mondjuk úgy, hogy tiszta lappal kezdek. Az a rengeteg 404-es oldal felhasználói szemmel nem túl biztató. Mit gondoltok erről?

Ja, és a 404-es oldalak, az csak egy következmény már. A gond az, hogy beindexelt olyan tartalmat, ami véletlenül publikus lett. Szóval a karácsonyi üdvözlés 33 fokban nem biztos hogy releváns. De van még sok ilyen szezonális tartalmam, ezért lett minden olyan oldal 404, ami csak a jövőben fog megjelenni. Viszont ha marad az URL struktúra, az szerintem rosszabb, mint ha most (így az elején) teljesen újat csinálok. Kábé akkorra kopna ki a találatok közül, mint amikor meg kéne jelennie ténylegesen.