Téma: Mysql Ram és CPU túlterhelés - my.cnf kérdés

Nem értem, hogy mindehez hogy jön az apache. Tényleg nem. Egy crawler elvileg független kell, hogy legyen a webszervertől, sőt, egyáltalán semmilyen tartalmat nem kell kiszolgálnia, csak begyűjtenie.

No, közben sok minden történt: már mysql 5.6-ot, és php 5.6-ot használok, a php7 nem akart jó lenni sehogy (pl. phpmyadminnal sem tudtam összehozni, mindenféle függőségi gondok jöttek ki). De végül is úgy tűnik, hogy nem ez a szük keresztmetszet, mert igazából mindegy, hogy a gép lelke ki van hajtva és fullra fel van húzva, vagy éppen 10-20%-os terheléssel megy, nem tudok napi 300E elemzés fölé menni, ezt a szintet már kis terheléssel is elérem.
Kaptam egy tippet, hogy valamiféle dns limitről lehet szó a gépen (ha van ilyen), mert ha megy az elemző, akkor egy idő után nem nem tudok a gépemről megnyitni egyetlen weboldalt sem, vagy csak nagyon lassan (proci, ram 20%-on, a használt sávszálesség is nagy alacsony max 1MB lefelé, 51-100KB felfelé), a gép nem akad, minden flottul megy rajta, csak a weboldalak nem jönnek be.
A házban lévő egyéb gépeken/telókon viszont csont nélkül bejön minden weboldal (ez megint csak furcsa). Most itt tartok, és erre próbálok megoldsát/igazolást/cáfolatot keresni.

Cachelni kell a DNS-t ha az a szuk keresztmetszet, de mint mar tobben is irtak, a PHP minden csak nem idealis erre a feladatra. Ha migralnal pl go-ra, akkor valoszinuleg fenyevekkel komolyabb teljesitmenyt lehetne elerni ugyanannyi hardware-el. De meg akar ruby/pyhton/nodejs is sokkal jobb lenne, de hosszutavon szerintem go ami a legjobb valasztas egy crawlerhez.

Érdemes megnézni, hogy a korábban nyitott hálózati kapcsolatok rendesen lezáródtak-e. Valószínű vagy a gépeden, vagy a hálózati eszközödön van valamilyen limitáció.
pl. lsof -n |grep WAIT
Ha automatikusan rendesen záródnak a kapcsolatok, akkor érdemes a sysctl hálózati részét megnézni, és ott a várakozási időt csökkenteni, illetve a növelni a párhuzamos kapcsolatok számát.

Akka eredeti hozzászólása

No, közben sok minden történt: már mysql 5.6-ot, és php 5.6-ot használok, a php7 nem akart jó lenni sehogy (pl. phpmyadminnal sem tudtam összehozni, mindenféle függőségi gondok jöttek ki). De végül is úgy tűnik, hogy nem ez a szük keresztmetszet, mert igazából mindegy, hogy a gép lelke ki van hajtva és fullra fel van húzva, vagy éppen 10-20%-os terheléssel megy, nem tudok napi 300E elemzés fölé menni, ezt a szintet már kis terheléssel is elérem.
Kaptam egy tippet, hogy valamiféle dns limitről lehet szó a gépen (ha van ilyen), mert ha megy az elemző, akkor egy idő után nem nem tudok a gépemről megnyitni egyetlen weboldalt sem, vagy csak nagyon lassan (proci, ram 20%-on, a használt sávszálesség is nagy alacsony max 1MB lefelé, 51-100KB felfelé), a gép nem akad, minden flottul megy rajta, csak a weboldalak nem jönnek be.
A házban lévő egyéb gépeken/telókon viszont csont nélkül bejön minden weboldal (ez megint csak furcsa). Most itt tartok, és erre próbálok megoldsát/igazolást/cáfolatot keresni.

Akka: Állj át a google dns-re, vagy ha az nem megy, akkor húz fel egy gépre saját resolve dns szervert. Ez egy megoldás. Amikor mi irtunk crawlert akkor ez a két dolog segített.