Hogy számoljuk ki a szükséges szerver méretét?

**JJJ001** · 2014-12-14, 15:38

Milyen szerver igénye van egy videómegosztó oldalnak, ahol a feltöltött videók mérete 500 MB, és napi 10.000 egyedi látogatója van? Illetve ez árban kb. hány Ft-ot jelent?

**Vittore1982** · 2014-12-14, 19:27

JJJ001 eredeti hozzászólása

Milyen szerver igénye van egy videómegosztó oldalnak, ahol a feltöltött videók mérete 500 MB, és napi 10.000 egyedi látogatója van? Illetve ez árban kb. hány Ft-ot jelent?

- hány videót fogsz feltölteni?
- hány videót néz meg átlagban egy-egy user?

**Imot** · 2014-12-14, 20:50

Fontos kerdes meg hogy a videokat transzkodolni is fogod, vagy a szerver csak tartalmat szolgaltatni fog? A megfelelo formatumra / meretre valo transzkodolast mashol vegzed?
Sima streamingre nem kell eros szerver, itt foleg csak bitlapatolasrol van szo. Ami kritikus az viszont a halozat minosege, a savszelesseg es adatforgalmi korlatok. Ez konnyen kiszamithato a videok meretebol es felhasznaok szamabol.

**gzoli** · 2014-12-15, 09:04

Számolni akkor tudod, ha ismered a látogatóidat, milyen tartalmat töltenek, mikor aktívak a látogatóid. Ha pl. diákok, akkor iskola utáni időszaktól este 9-10 óráig lehet csúcsidőszak, stb. vagyis a forgalom nagy része ekkor generálódik. Számold ki párhuzamosan hány videót fognak nézni, átlag milyen hosszúak a videók, a szoftvered működéséből adódó egyedi hw igényeket is vedd figyelembe, ebből megkapod a sávszélesség igényedet.

A 10e egyedi látogató semmit sem jelent, nem kalkulálható. A megtekintett videók száma ami igazán számít, valamint a csúcsidőszakok kezelése, és a megjelenítés módja.
500MB-os videó méret az elég nagy, szerintem számolás nélkül is kevés lesz az 1Gbps-os hálózati kapcsolat.
Feltételezve a számoláshoz:
-A weboldalad forgalmával és teljesítmény igényével nem számolva
-Feltételezve, hogy a videók letöltődési sebességét szabályozod
-Videó hossza kb. 30 perc, azaz 2+Mbps sávszélesség kell egy videónak
-a letöltések egyenletesen oszlanak el minden napszakban, ami biztos nem lesz igaz
-kb. 200 videó megtekintés fog menni párhuzamosan

Minimum igényelt sávszélesség 600Mbps, minimum 200 szálat párhuzamosan képesek legyen kiszolgálni a szerverek, ami minimum 4db 2 processzoros E5-26xxv3-as CPU-kkal.
A videó átalakításhoz egy külön szervert használnék ami egy 5. 2 processzoros szerver lenne, persze itt függ a használt szoftveredtől, hogy mennyire tud több szálon dolgozni, mindig egyet fog konvertálni valamilyen queue-ból, vagy párhuzamosan pl. 5-6 szálon.
A háttértár a várható videók mennyiségétől függően kb. indulásnak 150-200TB-ra biztos szükséged lesz.

Szerintem a csúcsok kiszolgálásához 10Gbps-os sávszélesség kellene, átlagos 1Gbps-os forgalommal. kb. 10U-nyi eszköz elhelyezésére kb. 2KW-os össz fogyasztásra már tudsz ajánlatot kérni adatközpontoktól, vagy azok viszonteladóitól. Ha venni akarod, akkor 12M Ft-ot számolhatsz nyugodtan, a hosting költség évi minimum 2,5M Ft lesz. Feltételezem, hogy a tervezésben és a kivitelezésben nem vagy jártas, így mérnöki óra vagy napidíjakkal is számolhatsz.

**charlie** · 2014-12-15, 09:54

Már megbocsáss de kicsit tőllőtted az árakat, sőt nem is kicsit, baromira, meg úgy mással is.

Ha csak a streaminget nézzük (a kódolás nem on-the-fly megy, hanem előtte van elvégezve), akkor ezek kellenek:

Sok-sok ram (hogy beférjen ramba a cucc)
Ha sok a videó és random megtekintések vannak akkor SSD
Sok hálózati sávszél

A streaming nem más mint kiolvasni a ramból/hdd-ből az adatot és kitolni a hálózatra, ehhez egyáltalán nem kell sok processzor, a processzor a kódoláshoz kell.

Elég nagy tapasztalatom van streaming platformok építésében, üzemeltetésében (***** oldal, magyar tv valóságshow streaming platformja), ha gondolod keress meg.

**gzoli** · 2014-12-15, 21:48

Köszönöm a felajánlást, és valószínű ha lehet jövő év elején érdekelne a dolog. (már ha nekem szólt).

Mivel egy sornyi kérdésből nem sok információ derült ki, így én ahogy írtam, feltételezések alapján nem ajánlatot, hanem írtam draft árakat írtam.

Amikből kiindultam:
-1db videó 500MB, kicsit soknak tartom, de ezt írta többszöri elolvasásra is
-videómegosztó oldal, vagyis bárki feltölthet és le is játszhat videót, ha csak óránként 10 videót töltenek fel..., darabja 500MB
-unicast streamingre gondoltam számoláskor
-ha átlagosan egy egyedi látogató 1 videót néznek meg, ami szerintem akár könnyen lehet 2-3 videó is
-ennyi látogatónál lesz pár ezer, inkább 100.000 feletti videó mennyiség, hogy legyen mire jönnie annak a látogatónak

Nem vettem figyelembe, hogy a user által feltöltött videót hány formátumra konvertálja... pl. html5 esetén ajánlott a 2 formátum, ha jól emlékszem.

Persze meg lehet tervezni, hogy a gyakrabban nézett videókat ssd-re, a ritkábban nézetteket hdd-re rakja és onnan szolgálja ki, de ez szoftver kérdése... ezt írtam is.
Ha csak 10TB-nyi SSD-t raksz be R10-ben, az már is 20db 1TB-os 180e*20db~3.6m Ft + nem árt 10% tartalék ilyen mennyiségnél. A jelenlegi tapasztalataim szerint az IO műveletek is igénylik a CPU erőforrásokat függetlenül raid vezérlő van-e, főleg ha kirakod pl. NFS-re a frontend rendszereknek. Hogy közvetlen fájl eléréssel, streaming szoftverrel, esetleg valami egyéb programmal lapátolja ki a biteket a látogatónak, nincs tisztázva, így én alapból a direkt fájl elérést veszem alapul webszerver korlátozásokkal és vezérléssel.
Ha veszel egy L3-as switchet, amin van legalább 4db 10Gbps-os port, persze lehet szolgáltatói portot is bérelni, és mellett pár gigabites, akkor a szolgáltatói linket az SSD-s tömböt és a HDD-s tömböt rákötöd 10Gbps-ra, a webszervereket és az adatbázis szervert pedig gigabitre kötöd rá. Veszel minimum WD black, vagy RE SATA HDD-ket, és beállítasz R60-at, akkor is kelleni fog 4TB-os HDD-k esetén legalább 24db. 24x70-90e Ft, ami 1.7-2.1m Ft. Ha csak a kb. 50-60TB-nyi tároló kapacitást veszed, akkor jársz 5-6m Ft-nál. Aztán ezeket valamibe bele kell rakni, és párhuzamosan 200, de csúcsidőben inkább 500 szálat kiszolgálni.

Elosztott fájlrendszerben gondolkodtál?

Kíváncsi lennék Te mivel szolgálnád ki ezt az igényt, mire gondoltál, amikor az árak túlzására gondoltál.

**TLoF** · 2014-12-16, 10:19

Én a mostani tudásom szerint egyszerű, olcsó megoldásként CEPH -el kezdeném, igy nem kell raid a videók alá, és egy gép megállása nem okozza az adott videó elérhetetlenségét. Ezen felül a rendszer támogatja az auto tiering -et tehát a látogatottabb videók automatikusan gyorsabb storage-re kerülnek.

A seagate-nek van 1 unitos vasa amibe 8 diszk belefér, tehát 3-4 unitiból igen durva tároló mennyiséget össze tudsz rakni, vagy ha kisérletezőbb kedvű vagy akkor itt van egy kifejezetten CEPH-re szánt szerver 1U Server - 12+2 drive bays = Hadoop / CEPH - Avantek Computer Limited

Ezen felül kell egy olyan vas amibe ssd-ket tudsz rakni a cache tier-nek, kell pár webszerver, és készen vagy. Az ár persze igy sem lessz sokkal kissebb, csak bővithetőbb, tervezhetőbb megoldást kapsz. Vagy ha nagyon alacson költségvetésből kell dolgozni, akkor vegyél egy marék HP microserver G8-at, azokba belemegy négy diszk, van 2 db gigabites portja, ez már elég ahhoz hogy 8 TB disket on-line hozzál.

**pokolpek** · 2015-02-07, 16:20

Szerintetek, ha egy olyan híroldalunk van, amin eddig percenként 30-50 aktív oldalletöltés van, azaz kb havi 20ezerre felmegy, de most nyomattunk cikket, ami igencsak leterhelte a szervert, ugyanis percenként átlag 300-600 között jöttek fel, ilyen 80-100 ezer közötti napi egyedi látogatóval, ezt ha még tovább fokozódna, akkor milyen gép fog hozzá kelleni?
Jelen pillanatban ESXI alatt fut egy szerver amin virtuálisan van adva egy gépnek 5giga ram, abból szinte max 20%ot sem használt a megterhelés alatt, viszont van alatta egy Xeon 3426 1,8 Ghzes prociból (ami 4mag 8 szál, adtam neki 3magot 6 szálat) és annál a nagy látogatottságnál felment a proci használat több, mint 50% fölé, meddig fog tudni ez így elketyegni, illetve mikor fingana ez ki?

**charlie** · 2015-02-07, 18:29

Ezt nem lehet így megmondani, meg kell keresni, hogy hol van a szűk keresztmetszet, mi eszi a CPU-t, PHP kód, MySQL, és azt optimalizálni.

Amúgy jó megoldással akár havi 200e lapletöltéses oldal is elmegy egy 1 gigás VPS-ben is simán.