Quel OS pour lancer un tres grand nombre de processus simultanément? - Débats - Linux et OS Alternatifs
Marsh Posté le 19-03-2003 à 16:55:27
En général, on conseille Linux 2.4. Pour les situations à forte charge, c'est l'un de ceux qui s'en sortent le mieux.
Marsh Posté le 19-03-2003 à 16:57:47
pospos a écrit : |
Non, non, rien...
Marsh Posté le 19-03-2003 à 21:36:25
Jar Jar a écrit : En général, on conseille Linux 2.4. Pour les situations à forte charge, c'est l'un de ceux qui s'en sortent le mieux. |
Merci pour cette reponse
Sinon faire tourner 200 à 300 processus sur une meme machine (bien puissante et gonflée en ram) ca vous semble "faisable"?
Ya des exemple de telle applications?
Marsh Posté le 19-03-2003 à 22:23:29
pospos a écrit : |
Je conseillerais vivement d'essayer un noyau 2.5 sur cette machine. Le fameux scheduler en O(1) devrait faire des miracles dans cette situation.
Marsh Posté le 19-03-2003 à 23:09:29
pospos a écrit : Sinon faire tourner 200 à 300 processus sur une meme machine (bien puissante et gonflée en ram) ca vous semble "faisable"? |
Sur une machine de bureau, y'a déjà une bonne centaine de processus, alors 200 ou 300, c'est franchement ridicule, surtout s'ils ne bossent pas. Allez, soyons généreux, ta charge atteindra peut-être 0,01. Tu pourras t'inquiéter quand elle atteindra 20, mais là...
Marsh Posté le 20-03-2003 à 00:01:48
2.4? 2.5? c koi la difference? c koi celui kl'on trouve dans les distrib actuelles?
en, fait le probelme avec mes processus, c'est que effectivement ils vont beaucoup dormir (mais pas tout le temps tout de meme), mais en fait il sont totalement indépendant les uns des autres, ce qui fait k'il pourrait bien yen avoir un tres grand nombre d'actif en meme temps par moments!
En fait chaque processus capture des truc du web et les analyse. Il dorment beaucoup car il maintiennent chacun un debit assez faible (de l'ordre de 30kb/s), mais l'ensemble doit pouvoir occuper une ligne de l'ordre de 10mb/s...
Ca me fait penser à une autre question:
esque toute "attente" se vaut? Esque bloquer sur un socket est un facon sattisfaisante de dormir?
Marsh Posté le 20-03-2003 à 00:14:41
zeb_ a écrit : T'as essayé multideskos ? |
Ha putain! mais keskque c'est que ce truc!!!
je viens d'aller voir le site officiel de ce "machin", c'est une blague ou c'est serieux? L'argumentaire est totalement fou!
Marsh Posté le 20-03-2003 à 00:15:16
pospos a écrit : |
je viens de regarder les messages du forum qui en parlent, je vois que tout a été dis!
Marsh Posté le 20-03-2003 à 00:22:05
C'était une blague en fait, mais les messages de Jayce valent le coup d'oeil :
http://lordoric.free.fr/fortunes/multidesk
Marsh Posté le 20-03-2003 à 00:25:31
zeb_ a écrit : |
merde c fort si c'est uen blague! maisd c dur à croire!!
Marsh Posté le 20-03-2003 à 00:27:58
pospos a écrit : |
Ca fait quand même 2 ans qu'elle dure la blague.
Même samuelp n'est pas encore arrivé à ce niveau.
Marsh Posté le 20-03-2003 à 00:35:33
cmotsch a écrit : |
En fait c'est sur ce forum que j'ai lu que c'était une blague. Faut dire que ce mec est tellement mégalo que ça paraît gros, mais pourquoi pas.
Marsh Posté le 20-03-2003 à 02:29:33
zeb_ a écrit : |
si tu parles de son forum ou 45 faiques de jayce ( le "createur" de multideskdos ) disait que c etait une blague n oublie , meme moi j ai dit des conneries , nan serieux j ai pas l impression que ce soit une blague
Marsh Posté le 20-03-2003 à 08:53:47
pospos a écrit : 2.4? 2.5? c koi la difference? c koi celui kl'on trouve dans les distrib actuelles? |
La difference est le fameux scheduler O(1) comme l'a ecrit Kristoph.
C'est bourrin d'avoir 10 millions de threads pour 10 millions de connexions. Essaye "select" ou les I/O asynchrones
Marsh Posté le 20-03-2003 à 09:49:28
ce scheduler, c'est pas celui qui va être intégré dans le 2.6 ?
Marsh Posté le 20-03-2003 à 09:58:15
houplaboom42 a écrit : |
Ca doit etre un de ces futurs "decideurs" du boom de la niou-economaille...
Marsh Posté le 20-03-2003 à 09:59:02
pospos a écrit : En fait chaque processus capture des truc du web et les analyse. Il dorment beaucoup car il maintiennent chacun un debit assez faible (de l'ordre de 30kb/s), mais l'ensemble doit pouvoir occuper une ligne de l'ordre de 10mb/s... |
Ouh là, grave trop dur pour un petit PC.
Citation : esque toute "attente" se vaut? Esque bloquer sur un socket est un facon sattisfaisante de dormir? |
Oui. Tant que tu ne fais pas d'attente active, tout revient quasiment au même.
Marsh Posté le 20-03-2003 à 10:19:35
pospos a écrit : |
oui avec soit beaucoup de ram et une machine correcte,
ou mieux encore une machine sur plateforme serveur hardware.
genre 4*sparc64 avec 1Go de ram et full UWscsi3 pas de souci tu peux charger la mulle.
par contre sur un vieux pentium2 avec 256Mo ça va ramer grave.....
à mon avis il faut au moins du 2*PIII-500 avec 512Go de RAM
pour tourner une grosse charge sur un simple PC.
maintenant ça depand de la frequence à la quelle tu vas surcharger la machine, de la charge par processus....
donc il faut trouver le bon compromis.....hardware/processus
Marsh Posté le 20-03-2003 à 10:22:26
vimaster a écrit : |
quand aux systems, kernel recent 2.4 ou 2.5
2.5 ? est deja stable ?
Marsh Posté le 20-03-2003 à 11:07:23
vimaster a écrit : |
non puiske c'est un 2.5
Marsh Posté le 20-03-2003 à 11:17:04
KazeKami a écrit : |
je disais ça parceque souvent 2.0 2.5 3.0 sont stables bref les multiples de .5 dumoins sur des version des softs.
pourkoi ce pseudo au fait ?
神風 ok ça veut dire vent divin mais kazekami ça veut rien dire...
Marsh Posté le 20-03-2003 à 11:20:24
vimaster a écrit : |
si si, en faisant une legere inversion des syllabes
Marsh Posté le 20-03-2003 à 11:45:17
vimaster a écrit : |
2.0 et 3.0 sont stables car 0 est pairs, 5 est impair.
ce sont les versions x.n avec n paire qui sont stables.
Marsh Posté le 20-03-2003 à 14:40:47
vimaster a écrit : |
bah bien sur ; pourquoi pas un octo-xeon 2.4HT avec 8Go de Ram pendant qu on y est , tu serais pas du genre a jeter l argent pas les fenetres toi ?
Marsh Posté le 20-03-2003 à 14:45:11
Pour des connexions simultanées très nombreuses, rien ne valait les architectures VAX/VMS
Marsh Posté le 20-03-2003 à 15:44:53
houplaboom42 a écrit : |
un BI PIII d'ocas avec ecran et carte RAID0,1,3,5 ca vaut 300?
avec l'ecran 1 DAT 20Go DVDROM bootable et 18.2Go de disques UWSCSI3
moins cher qu'un PC neuf meme chez :leclerc !!
Marsh Posté le 20-03-2003 à 15:48:39
philou_a7 a écrit : Pour des connexions simultanées très nombreuses, rien ne valait les architectures VAX/VMS |
ouai mais vas y pour trouver un VAX4300 d'occas avec sa baie de disque....
si t'arrive s a trouver t'es fort....
Marsh Posté le 20-03-2003 à 16:09:19
Et en plus je rigole pas
Je viens d'aller voir, en ce moment y a 2 microVAX en enchères
Marsh Posté le 20-03-2003 à 16:15:44
philou_a7 a écrit : Et en plus je rigole pas |
ebay une mine d'or mais bon souvent on trouve des super trucs mais des fois c'est 100* trop chere ou un couillon à encheri plus cher que la valeur du materiel et donc tu est (GRILLED²)²
pour l'acheter....
Marsh Posté le 20-03-2003 à 17:55:50
Ca depend de ce que tu cherches
Par exemple, pour trouver des workstations ou des petits serveurs (HP9000, SUN, etc...) c'est une vraie mine d'or et comme c'est du materiel de "connaisseur", les gars n'encherissent pas n'importe comment
Marsh Posté le 20-03-2003 à 19:32:59
pospos a écrit : |
Bah entre Debian et RedHat, la seule difference c'est au niveau des logiciels d'install, des versions des programmes fournis, etc...
Mais l'architecture du noyau c'est la meme (pisque c'est le meme). Comme ici c'est ca qui t'interesse, hesiter etre RedHat et Debian <message subliminal>Debian c'est mieux(tm)</message subliminal> n'a que peu d'interets, c'est tout...
Marsh Posté le 20-03-2003 à 19:55:00
ok merci à tous!
Ca me rassure pas mal, car je n'ai pas encore testé mais ca tournera sur des machines puissantes (PIV 1.6 1Go de ram).
e_esprit a écrit : |
c noté!
kenshiro182 a écrit : |
le select il tiendrait le coup? j'avais entendu dire que c'etait pas trop scalable...
sinon c'est meme pas des thred, c'est carrément des processus indépendant, donc c'est plus lourd de passer de l'un à l'autre...
En fait ca aurait été beaucoup plus simple de tout mettre dans une appli multithread ou avec un select effectivement (je fait ca pour une autre appli du meme genre, avec une 50aine de connexions), mais la il faut que ca soit des processus indépendants...
Merci encore à tous!
Marsh Posté le 19-03-2003 à 16:47:55
Bonjour,
J'ai besoin de lancer un tres grand nombre de process en meme temps (forkés a partir d'un meme processus pere), qui dormirons la plupart du temps, et se reveillerons suivant un timing interne, ou l'orsqu'ils seront contactés (ils scannent leur socket toutes les 1 à 10 secondes).
J'aimerais savoir kel OS serait le plus adapté à un tel système (freeBSD? linux debian ou redhat,solaris, etc...)
En gros j'ai besoin d'un systeme qui ne s'ecroule pas sous les processus, qui gere bien le copy on write, qui soit souple au niveau des priorités, et qui puisse eventuellment gere des choses comme l'hyperthreading
Merci de vos indications