Téma: Mysql Ram és CPU túlterhelés - my.cnf kérdés

Van egy crawlerem, amit Ubuntu alól futtatok localhostról (mysql, apache, php5).
A gépem: 16GB Ram, i7 (8 core), SSD.

A crawler sok-sok szálon fut, ezért van egy olyan kötöttség, hogy a my.cnf-ben a "max_connections = 8000" van beállítva.

A mysqltunernél már minden zöld, de a ramom futás közben mégis "elfogy", a proci is komolyan igénybe van véve.
Annyi mindent összeolvastam a neten, hogy tudtam némileg optimalizálni, most ezt használom:

PHP kód:

key_buffer        = 256M
max_allowed_packet    = 128M
thread_stack        = 196K
thread_cache_size       = 8
# This replaces the startup script and checks MyISAM tables if needed
# the first time they are touched
myisam-recover         = BACKUP
max_connections        = 8000
#table_cache            = 64
#thread_concurrency     = 10 


Illetve:

PHP kód:

#
# * Query Cache Configuration
#
query_cache_type = 0
query_cache_size = 132M
query_cache_limit = 8M
sort_buffer_size = 512K
join_buffer_size = 128K
innodb_buffer_pool_size = 2196M 


Néztem a mysqlcalculator.com-ot is, és ez alapján állítani az értékeket, de mégsem akar igazán jó lenni a cucc. Azzal tudok játszani, ha sokkal kevesebb szálon megy a crawler, de szeretném kimaxolni amennyire csak lehet.

Tudtok adni tippeket, hogy mit hogy érdemes változtatni a jobb működés érdekében?

Akár a max connenction-re valamilyen beállítási alternatívát, vagy bármelyik másik értékre.

Köszi előre is.

Van egy gyanúm, hogy az a crawler egy php szkript. Ugye? A php lassú. Át is lehetne fordítani mondjuk C kóddá (php2c), így előre meglesz a bináris és nem futásidőben fog interpretálódni. Vagy külön futtatható fájlra is fordíthatod ezzel: http://www.phpcompiler.org/ Ezen kívül persze érdemes lenne megnézni, hogy azon a kódon lehet-e javítani. Az is okozhat bajt, ha az egyik futása nem fejeződik be, amire az új szálat létrehozza a következő cron parancs.

earnnet eredeti hozzászólása

Van egy gyanúm, hogy az a crawler egy php szkript. Ugye? A php lassú. Át is lehetne fordítani mondjuk C kóddá (php2c), így előre meglesz a bináris és nem futásidőben fog interpretálódni. Vagy külön futtatható fájlra is fordíthatod ezzel: phc -- the open source PHP compiler Ezen kívül persze érdemes lenne megnézni, hogy azon a kódon lehet-e javítani. Az is okozhat bajt, ha az egyik futása nem fejeződik be, amire az új szálat létrehozza a következő cron parancs.

Az opcache szerintem jobb megoldás, mert az az előre fordított bytekódot teszi a memóriába.

A kérdező feltehetne egy mysqltuner.pl kimenetet is.

Nem a MySQL lesz a szúk keresztmetszet egy crawler esetében. Sokkal valószínűbb, hogy van a crawlerben egy memory leaked, php esetében túl sok rekurzió, JS ben meg kismillió helyen lehet, ha rosszul van megírva a kód.

A mysqltuner.pl kimenetében látszik, hogy a mysql nincs szét hajtava

35 konkurens kapcsolat 1.5 query / sec. Ez vicc, át kell nézni, hogy milyen táblákat, milyen indexeket használsz, és a query-k hogy illeszkednek az indexekhez.

Ha lehet, akkor megoldani, hogy az apache kikerüljön a játékból, és parancs sorból futatni a crawlert, jobb memória kihasználtságot lehet elérni. El lehet játszani azzal, hogy megnézed, hogy egy futás alatt melyik parancsra mennyit kellet várni, és megnézni, hogy azzal tudsz-e valamit kezdeni.

Ehhez ajánlott eszközök a zend server, nagyon jó futás idejú elemzéseket tud, az ingyenes változat bőven elég erre.
Ha ezt nincs kedved telepíteni akkor egy xdebug -s egy webgrind ( https://github.com/jokkedk/webgrind ) már jó támpotot ad, hogy mit kell elkezdeni nézni.

Ha parancs sorból futtatod, akkor vigyázz arra, hogy a php-ban vannak memory leakek. Jó megoldás, hogyha van egy buta master processed ami csak elinditja a szükséges számú childot amik a tényleges munkát végzik. A child-ok pedig 100-1000 elem feldolgozás után kilépnek, és a master indít egy új processzt. Igy kezelni tudod a memória problémákat, ha vannak.