Oldal: 2 / 2 ElsőElső 12
Eredmény: 11 - 16 (16) összesen

Téma: Mysql Ram és CPU túlterhelés - my.cnf kérdés

  1. #11
    Tag
    Csatlakozott
    15-02-03
    Hozzászólás
    72
    Begyűjtött 23 köszönetet
    23 hozzászólásával

    Alapbeállítás re: Mysql Ram és CPU túlterhelés - my.cnf kérdés

    Az se mindegy milyen apache, php. Szerintem ide ha már apache (nginx jobb lenne: kevesebb memória) akkor mpm-worker mod-fcgid -vel (kevesebb memóriát eszik mint a mod-php) kell és főleg php7.0-fpm. Pár százalékot biztos hoz a MySQL > MariaDB csere is.



  2. #12
    Bölcs earnnet logója
    Csatlakozott
    12-08-15
    Hely
    Budapest
    Hozzászólás
    1.310
    Begyűjtött 548 köszönetet
    394 hozzászólásával

    Alapbeállítás re: Mysql Ram és CPU túlterhelés - my.cnf kérdés

    Nem értem, hogy mindehez hogy jön az apache. Tényleg nem. Egy crawler elvileg független kell, hogy legyen a webszervertől, sőt, egyáltalán semmilyen tartalmat nem kell kiszolgálnia, csak begyűjtenie.



  3. #13
    búgócsiga Akka logója
    Csatlakozott
    10-05-06
    Hozzászólás
    3.718
    Begyűjtött 1.271 köszönetet
    653 hozzászólásával

    Alapbeállítás re: Mysql Ram és CPU túlterhelés - my.cnf kérdés

    No, közben sok minden történt: már mysql 5.6-ot, és php 5.6-ot használok, a php7 nem akart jó lenni sehogy (pl. phpmyadminnal sem tudtam összehozni, mindenféle függőségi gondok jöttek ki). De végül is úgy tűnik, hogy nem ez a szük keresztmetszet, mert igazából mindegy, hogy a gép lelke ki van hajtva és fullra fel van húzva, vagy éppen 10-20%-os terheléssel megy, nem tudok napi 300E elemzés fölé menni, ezt a szintet már kis terheléssel is elérem.
    Kaptam egy tippet, hogy valamiféle dns limitről lehet szó a gépen (ha van ilyen), mert ha megy az elemző, akkor egy idő után nem nem tudok a gépemről megnyitni egyetlen weboldalt sem, vagy csak nagyon lassan (proci, ram 20%-on, a használt sávszálesség is nagy alacsony max 1MB lefelé, 51-100KB felfelé), a gép nem akad, minden flottul megy rajta, csak a weboldalak nem jönnek be.
    A házban lévő egyéb gépeken/telókon viszont csont nélkül bejön minden weboldal (ez megint csak furcsa). Most itt tartok, és erre próbálok megoldsát/igazolást/cáfolatot keresni.


    Itt is elérsz: Optimization Tips

  4. #14
    Rubyist Geri logója
    Csatlakozott
    07-12-15
    Hely
    \x90
    Hozzászólás
    5.533
    Begyűjtött 1.185 köszönetet
    735 hozzászólásával

    Alapbeállítás re: Mysql Ram és CPU túlterhelés - my.cnf kérdés

    Cachelni kell a DNS-t ha az a szuk keresztmetszet, de mint mar tobben is irtak, a PHP minden csak nem idealis erre a feladatra. Ha migralnal pl go-ra, akkor valoszinuleg fenyevekkel komolyabb teljesitmenyt lehetne elerni ugyanannyi hardware-el. De meg akar ruby/pyhton/nodejs is sokkal jobb lenne, de hosszutavon szerintem go ami a legjobb valasztas egy crawlerhez.


    If debugging is the process of removing software bugs, then programming must be the process of putting them in.
    Github | Ruby tutorial
    Give a man a fish and you feed him for a day. Teach a man to fish and you feed him for a lifetime.
    Respect all, fear none

  5. Az alábbi felhasználók hálásak a válaszért:

    Akka (2016-01-05)

  6. #15
    Bölcs
    Csatlakozott
    09-08-20
    Hozzászólás
    523
    Begyűjtött 47 köszönetet
    39 hozzászólásával

    Alapbeállítás re: Mysql Ram és CPU túlterhelés - my.cnf kérdés

    Érdemes megnézni, hogy a korábban nyitott hálózati kapcsolatok rendesen lezáródtak-e. Valószínű vagy a gépeden, vagy a hálózati eszközödön van valamilyen limitáció.
    pl. lsof -n |grep WAIT
    Ha automatikusan rendesen záródnak a kapcsolatok, akkor érdemes a sysctl hálózati részét megnézni, és ott a várakozási időt csökkenteni, illetve a növelni a párhuzamos kapcsolatok számát.


    Idézet Akka eredeti hozzászólása Hozzászólás megtekintése
    No, közben sok minden történt: már mysql 5.6-ot, és php 5.6-ot használok, a php7 nem akart jó lenni sehogy (pl. phpmyadminnal sem tudtam összehozni, mindenféle függőségi gondok jöttek ki). De végül is úgy tűnik, hogy nem ez a szük keresztmetszet, mert igazából mindegy, hogy a gép lelke ki van hajtva és fullra fel van húzva, vagy éppen 10-20%-os terheléssel megy, nem tudok napi 300E elemzés fölé menni, ezt a szintet már kis terheléssel is elérem.
    Kaptam egy tippet, hogy valamiféle dns limitről lehet szó a gépen (ha van ilyen), mert ha megy az elemző, akkor egy idő után nem nem tudok a gépemről megnyitni egyetlen weboldalt sem, vagy csak nagyon lassan (proci, ram 20%-on, a használt sávszálesség is nagy alacsony max 1MB lefelé, 51-100KB felfelé), a gép nem akad, minden flottul megy rajta, csak a weboldalak nem jönnek be.
    A házban lévő egyéb gépeken/telókon viszont csont nélkül bejön minden weboldal (ez megint csak furcsa). Most itt tartok, és erre próbálok megoldsát/igazolást/cáfolatot keresni.




  7. Az alábbi felhasználók hálásak a válaszért:

    Akka (2016-01-05)

  8. #16
    Bölcs
    Csatlakozott
    07-08-28
    Hozzászólás
    979
    Begyűjtött 132 köszönetet
    94 hozzászólásával

    Alapbeállítás re: Mysql Ram és CPU túlterhelés - my.cnf kérdés

    Akka: Állj át a google dns-re, vagy ha az nem megy, akkor húz fel egy gépre saját resolve dns szervert. Ez egy megoldás. Amikor mi irtunk crawlert akkor ez a két dolog segített.



  9. The Following 2 Users Say Thank You to TLoF For This Useful Post:

    Akka (2016-01-05), earnnet (2016-01-05)

Oldal: 2 / 2 ElsőElső 12

Könyvjelzők

Hozzászólás szabályai

  • Új témákat nem hozhatsz létre
  • Válaszokat nem küldhetsz
  • Fájlokat nem csatolhatsz
  • A hozzászólásaidat nem módosíthatod
  •