Téma: Hatalmas látogatottság növekedés 1 napon belül?

Sziasztok!

Tegnap 9 óta óránként majdnem száz látogató érkezik az oldalra, akik valószínűleg robotok, mert 10mpnél többet nem tartózkodnak az oldalon.
Screenshot by Lightshot

Kinek milyen tippje van, hogy mit lehet ilyen esetben tenni?

Nem kijátszhatatlan, de tudsz csinálni egy böngésző validálást, mint a hackforums-on: http://hackforums.net/
Nem jelenik meg egyből a tartalom, csak miután egy script leellenőrzi, hogy valódi böngészőben van-e megnyitva az oldal.
Nem tudom, hogy ez pontosan milyen plugin vagy szoftver, de a forráskódban biztos látszik ha megnézed. SEO hatás: ?

earnnet eredeti hozzászólása

Terms of Service részbe beírni, hogy robotok számára tilos a hozzáférés. Egyes User-Agenteket letiltani. A többit meg beperelni. Már ha ez téged zavar. Nem tulajdonítanék neki nagy figyelmet, hacsak nem lopják a tartalmad a robottal.

Az a gond, hogy szétcseszik a statisztikát, ill. fölöslegesen terhelik a servert.

User-agent letiltást sose csináltam. Tipp, hogy hogyan kezdjek hozzá?

snetface eredeti hozzászólása

Nem tudom, hogy ez pontosan milyen plugin vagy szoftver, de a forráskódban biztos látszik ha megnézed. SEO hatás: ?

Köszi, de ennyire azért nem értek a programozáshoz, mást kell találnom.

seos eredeti hozzászólása

Köszi, de ennyire azért nem értek a programozáshoz, mást kell találnom.

Érthető.
Azt egyébként vedd számításba, hogy csak user-agent szűréssel szerintem nem fogsz messzire jutni. Én pl ha hasonló automatikus programokat írok teljesen más célra, mindig valódi user-agenteket, és valós browser fejleceket használok. Szerintem ha valaki legalább egyszer írt már ilyet, akkor szintén ugyanezt teszi, szóval engem így nem tudnál kiszűrni. Nem tudom mekkora a projekted, vagy mekkora költségkereted van, de lehet jobban megéri felkérned valakit, aki ért hozzá.

használj inkább google analyticset az ilyen semmire nem való beépített statisztikák helyett, amik minden egyes szerverkérést látogatóként tüntetnek fel, és akkor nem látod ezeket a kamu adatokat, vagy ha mégis (pl. referrer spam), akkor ki tudod szűrni. percenként egy látogató az még nem hatalmas látogatottság, nem kell vele foglalkozni...

"Terms of Service részbe beírni"

ennek szerintem semmi értelme, mert az oldalt eleve egy robot találta, az meg nem fogja értelmezni a jogi szövegeket.
Ennek a legális menete az, hogy az oldal tart robots.txt-t amiben leírja hogy kinek (user agent alapján) és milyen oldalakat szabad látogatni
illetve magán az oldalon a robots meta tag, ami az indexelést szabályozza

A kérdezőnek viszont szerintem inkább csak statisztikai baja van az egésszel, nem a tartalmát félti. Valaki már javasolta a google analytics-et, én is erre nyomnék egy pluszt. Pont azért mert én nem azt csinálom, hanem szűrök user agent alapján, és ez nem jó. Átcsúszik egy csomó robot, előfordulhat hogy valamilyen egzotikus browsert nem szolgálok ki etc.

A mi oldalainkat is elképesztő mennyiségű robot pásztázza, egyik amerikai szolgáltatót ezért hagytuk ott mert szerintük leterheltük a szerverüket a sok robottal.
A látogatók szűrésére egyértelműen google analytics használj, nagyon sok analitikát próbáltam de minden szempontból az a legjobb.
Nekünk minden oldal külön külön és egy gyűjtő analitsc kóddal is mérve van. Egy egy erősebb oldal adatbázisa döbbenetesen tud nőni egy saját analitikával.

Köszönöm a tippeket, egy hét kellett és vissza állta természet rendje - mondjuk nem bántam volna ha az a heti 20000 nem robot lett volna.
Végül azon gondolkodtunk, hogy ország alapján tiltsuk ki az IPket. 4 országból bombáztak, de ők nem jelentettek célcsoportot.