Téma: Copyscape klón készítése

Akka eredeti hozzászólása

Egy példa: van olyan adatbázisom, ami 300Giga, ami önmagában nem sok, de amikor mentés után vissza akarom importálni, akkor 2-3 napig fut a művelet, mert sok millió soror, tele indexekkel. És ez csak 300G, ami tényleg nem sok. Itt meg legalább 10-szeres léptékek lesznek, ezt is bele kell tervezni, hogy "mi van, ha valami elszáll?".

Azert tart ennyi ideig, mert rosszul csinaljatok. Az indexet felesleges minden insert-nel ujraepiteni, elegendo a teljes import vegen, es maris toredeke ennyi ido alatt fut a muvelet.

earnnet eredeti hozzászólása

Az IP nem gond, többszáz szerverről beszélek külön-külön IP-vel. Az, hogy egyszerre húzol le egy weblap teljes tartalmát az összes aloldallal együtt, az meg elhatározás kérdése. A felderített linkeket berakod a poolba, ahonnan random válasz egyet valamelyik feltérképező kliens. Valahogy így

Igy van. Van egy egesz jo go crawler, az peldaul domainenkent futtat egy go routine-t es rate limit-el.

earnnet eredeti hozzászólása

Ha még mindig mysqlről van szó, nem ajánlom. Én úgy képzelem el, hogy egy nosql adatbázisba kerülnek a bot által begyűjtött adatok, és onnan egy külön program dolgozza fel őket egy strapabíróbb relációs adatbázisba (postgres). Ha valami elszáll, akkor az adatbázisnaplóból helyreállítható, többféle naplózási/visszaállítási módszer van, ezeket külön befolyásolni is lehet a program igényei szerint.

Ehhez teljesen felesleges a SQL, a google peldaul bigtable-t hasznal, de van ingyenes jo nosql adatbazis is ami megfelel erre a celra.