Quel OS pour lancer un tres grand nombre de processus simultanément?

Quel OS pour lancer un tres grand nombre de processus simultanément? - Débats - Linux et OS Alternatifs

Marsh Posté le 19-03-2003 à 16:47:55    

Bonjour,
 
J'ai besoin de lancer un tres grand nombre de process en meme temps (forkés a partir d'un meme processus pere), qui dormirons la plupart du temps, et se reveillerons suivant un timing interne, ou l'orsqu'ils seront contactés (ils scannent leur socket toutes les 1 à 10 secondes).
 
J'aimerais savoir kel OS serait le plus adapté à un tel système (freeBSD? linux debian ou redhat,solaris, etc...)
 
En gros j'ai besoin d'un systeme qui ne s'ecroule pas sous les processus, qui gere bien le copy on write, qui soit souple au niveau des priorités, et qui puisse eventuellment gere des choses comme l'hyperthreading
 
Merci de vos indications

Reply

Marsh Posté le 19-03-2003 à 16:47:55   

Reply

Marsh Posté le 19-03-2003 à 16:55:27    

En général, on conseille Linux 2.4. Pour les situations à forte charge, c'est l'un de ceux qui s'en sortent le mieux.


---------------
« No question is too silly to ask, but, of course, some are too silly to answer. » -- Perl book
Reply

Marsh Posté le 19-03-2003 à 16:57:47    

pospos a écrit :


J'aimerais savoir kel OS serait le plus adapté à un tel système (freeBSD? linux debian ou redhat,solaris, etc...)


Non, non, rien... :pt1cable:

Reply

Marsh Posté le 19-03-2003 à 21:36:25    

Jar Jar a écrit :

En général, on conseille Linux 2.4. Pour les situations à forte charge, c'est l'un de ceux qui s'en sortent le mieux.


 
Merci pour cette reponse :jap:  
Sinon faire tourner 200 à 300 processus sur une meme machine (bien puissante et gonflée en ram) ca vous semble "faisable"?
Ya des exemple de telle applications?

Reply

Marsh Posté le 19-03-2003 à 21:37:23    

e_esprit a écrit :


Non, non, rien... :pt1cable:  


 
oui?

Reply

Marsh Posté le 19-03-2003 à 22:23:29    

pospos a écrit :


 
Merci pour cette reponse :jap:  
Sinon faire tourner 200 à 300 processus sur une meme machine (bien puissante et gonflée en ram) ca vous semble "faisable"?
Ya des exemple de telle applications?
 


 
Je conseillerais vivement d'essayer un noyau 2.5 sur cette machine. Le fameux scheduler en O(1) devrait faire des miracles dans cette situation.

Reply

Marsh Posté le 19-03-2003 à 23:09:29    

pospos a écrit :

Sinon faire tourner 200 à 300 processus sur une meme machine (bien puissante et gonflée en ram) ca vous semble "faisable"?
Ya des exemple de telle applications?

Sur une machine de bureau, y'a déjà une bonne centaine de processus, alors 200 ou 300, c'est franchement ridicule, surtout s'ils ne bossent pas. Allez, soyons généreux, ta charge atteindra peut-être 0,01. Tu pourras t'inquiéter quand elle atteindra 20, mais là...


---------------
« No question is too silly to ask, but, of course, some are too silly to answer. » -- Perl book
Reply

Marsh Posté le 20-03-2003 à 00:01:48    

2.4? 2.5? c koi la difference? c koi celui kl'on trouve dans les distrib actuelles?
 
en, fait le probelme avec mes processus, c'est que effectivement ils vont beaucoup dormir (mais pas tout le temps tout de meme), mais en fait il sont totalement indépendant les uns des autres, ce qui fait k'il pourrait bien yen avoir un tres grand nombre d'actif en meme temps par moments!
 
En fait chaque processus capture des truc du web et les analyse. Il dorment beaucoup car il maintiennent chacun un debit assez faible (de l'ordre de 30kb/s), mais l'ensemble doit pouvoir occuper une ligne de l'ordre de 10mb/s...
 
Ca me fait penser à une autre question:
esque toute "attente" se vaut? Esque bloquer sur un socket est un facon sattisfaisante de dormir?
 

Reply

Marsh Posté le 20-03-2003 à 00:03:22    

T'as essayé multideskos ?  :whistle:

Reply

Marsh Posté le 20-03-2003 à 00:14:41    

zeb_ a écrit :

T'as essayé multideskos ?  :whistle:  


 
Ha putain! mais keskque c'est que ce truc!!! :lol:  
je viens d'aller voir le site officiel de ce "machin", c'est une blague ou c'est serieux? L'argumentaire est totalement fou!

Reply

Marsh Posté le 20-03-2003 à 00:14:41   

Reply

Marsh Posté le 20-03-2003 à 00:15:16    

pospos a écrit :


 
Ha putain! mais keskque c'est que ce truc!!! :lol:  
je viens d'aller voir le site officiel de ce "machin", c'est une blague ou c'est serieux? L'argumentaire est totalement fou!


 
je viens de regarder les messages du forum qui en parlent, je vois que tout a été dis!

Reply

Marsh Posté le 20-03-2003 à 00:22:05    

:D
 
C'était une blague en fait, mais les messages de Jayce valent le coup d'oeil :
http://lordoric.free.fr/fortunes/multidesk

Reply

Marsh Posté le 20-03-2003 à 00:25:31    

zeb_ a écrit :

:D
 
C'était une blague en fait, mais les messages de Jayce valent le coup d'oeil :
http://lordoric.free.fr/fortunes/multidesk


 
merde c fort si c'est uen blague! maisd c dur à croire!!

Reply

Marsh Posté le 20-03-2003 à 00:27:58    

pospos a écrit :


 
merde c fort si c'est uen blague! maisd c dur à croire!!


 
Ca fait quand même 2 ans qu'elle dure la blague.  :sarcastic:  
 
Même samuelp n'est pas encore arrivé à ce niveau.

Reply

Marsh Posté le 20-03-2003 à 00:35:33    

cmotsch a écrit :


 
Ca fait quand même 2 ans qu'elle dure la blague.  :sarcastic:  
 
Même samuelp n'est pas encore arrivé à ce niveau.


 
En fait c'est sur ce forum que j'ai lu que c'était une blague. Faut dire que ce mec est tellement mégalo que ça paraît gros, mais pourquoi pas.

Reply

Marsh Posté le 20-03-2003 à 02:29:33    

zeb_ a écrit :


 
En fait c'est sur ce forum que j'ai lu que c'était une blague. Faut dire que ce mec est tellement mégalo que ça paraît gros, mais pourquoi pas.


 
si tu parles de son forum ou 45 faiques de jayce ( le "createur" de multideskdos ) disait que c etait une blague n oublie , meme moi j ai dit des conneries :D , nan serieux j ai pas l impression que ce soit une blague :/

Reply

Marsh Posté le 20-03-2003 à 08:53:47    

pospos a écrit :

2.4? 2.5? c koi la difference? c koi celui kl'on trouve dans les distrib actuelles?
 
Ca me fait penser à une autre question:
esque toute "attente" se vaut? Esque bloquer sur un socket est un facon sattisfaisante de dormir?


La difference est le fameux scheduler O(1) comme l'a ecrit Kristoph.
 
C'est bourrin d'avoir 10 millions de threads pour 10 millions de connexions. Essaye "select" ou les I/O asynchrones

Reply

Marsh Posté le 20-03-2003 à 09:49:28    

ce scheduler, c'est pas celui qui va être intégré dans le 2.6 ?


---------------
Celui qui pose une question est idiot 5 minutes. Celui qui n'en pose pas le reste toute sa vie. |  Membre du grand complot pharmaceutico-médico-scientifico-judéo-maçonnique.
Reply

Marsh Posté le 20-03-2003 à 09:58:15    

houplaboom42 a écrit :


 
si tu parles de son forum ou 45 faiques de jayce ( le "createur" de multideskdos ) disait que c etait une blague n oublie , meme moi j ai dit des conneries :D , nan serieux j ai pas l impression que ce soit une blague :/


 
Ca doit etre un de ces futurs "decideurs" du boom de la niou-economaille...

Reply

Marsh Posté le 20-03-2003 à 09:59:02    

pospos a écrit :

En fait chaque processus capture des truc du web et les analyse. Il dorment beaucoup car il maintiennent chacun un debit assez faible (de l'ordre de 30kb/s), mais l'ensemble doit pouvoir occuper une ligne de l'ordre de 10mb/s...

Ouh là, grave trop dur pour un petit PC.
 

Citation :

esque toute "attente" se vaut? Esque bloquer sur un socket est un facon sattisfaisante de dormir?


Oui. Tant que tu ne fais pas d'attente active, tout revient quasiment au même.


---------------
« No question is too silly to ask, but, of course, some are too silly to answer. » -- Perl book
Reply

Marsh Posté le 20-03-2003 à 10:19:35    

pospos a écrit :


 
Merci pour cette reponse :jap:  
Sinon faire tourner 200 à 300 processus sur une meme machine (bien puissante et gonflée en ram) ca vous semble "faisable"?
Ya des exemple de telle applications?
 


 
oui avec soit beaucoup de ram et une machine correcte,  
ou mieux encore une machine sur plateforme serveur hardware.
genre 4*sparc64 avec 1Go de ram et full UWscsi3 pas de souci tu peux charger la mulle.
 
par contre sur un vieux pentium2 avec 256Mo ça va ramer grave.....
 
à mon avis il faut au moins du 2*PIII-500 avec 512Go de RAM
pour tourner une grosse charge sur un simple PC.
 
maintenant ça depand de la frequence à la quelle tu vas surcharger la machine, de la charge par processus....
donc il faut trouver le bon compromis.....hardware/processus  
 


---------------
I love vi editor. it's the best one.
Reply

Marsh Posté le 20-03-2003 à 10:22:26    

vimaster a écrit :


 
oui avec soit beaucoup de ram et une machine correcte,  
ou mieux encore une machine sur plateforme serveur hardware.
genre 4*sparc64 avec 1Go de ram et full UWscsi3 pas de souci tu peux charger la mulle.
 
par contre sur un vieux pentium2 avec 256Mo ça va ramer grave.....
 
à mon avis il faut au moins du 2*PIII-500 avec 512Go de RAM
pour tourner une grosse charge sur un simple PC.
 
maintenant ça depand de la frequence à la quelle tu vas surcharger la machine, de la charge par processus....
donc il faut trouver le bon compromis.....hardware/processus  
 
 


 
quand aux systems, kernel recent 2.4 ou 2.5
2.5 ? est deja stable ?


---------------
I love vi editor. it's the best one.
Reply

Marsh Posté le 20-03-2003 à 11:07:23    

vimaster a écrit :


 
2.5 ? est deja stable ?


 
non puiske c'est un 2.5


---------------
Self Destruction Might Be The Answer - http://www.kazekami.org
Reply

Marsh Posté le 20-03-2003 à 11:17:04    

KazeKami a écrit :


 
non puiske c'est un 2.5


 
je disais ça parceque souvent 2.0 2.5 3.0 sont stables bref les multiples de .5 dumoins sur des version des softs.
 
pourkoi ce pseudo au fait ?
神風 ok ça veut dire vent divin mais kazekami ça veut rien dire...


---------------
I love vi editor. it's the best one.
Reply

Marsh Posté le 20-03-2003 à 11:20:24    

vimaster a écrit :


神風 ok ça veut dire vent divin mais kazekami ça veut rien dire...


 
si si, en faisant une legere inversion des syllabes ;)


---------------
Self Destruction Might Be The Answer - http://www.kazekami.org
Reply

Marsh Posté le 20-03-2003 à 11:45:17    

vimaster a écrit :


 
je disais ça parceque souvent 2.0 2.5 3.0 sont stables bref les multiples de .5 dumoins sur des version des softs.
 
pourkoi ce pseudo au fait ?
神風 ok ça veut dire vent divin mais kazekami ça veut rien dire...


2.0 et 3.0 sont stables car 0 est pairs, 5 est impair.
ce sont les versions x.n avec n paire qui sont stables.

Reply

Marsh Posté le 20-03-2003 à 14:40:47    

vimaster a écrit :


 
à mon avis il faut au moins du 2*PIII-500 avec 512Go de RAM
pour tourner une grosse charge sur un simple PC.
 
 


 
bah bien sur ; pourquoi pas un octo-xeon 2.4HT avec 8Go de Ram pendant qu on y est , tu serais pas du genre a jeter l argent pas les fenetres toi ?

Reply

Marsh Posté le 20-03-2003 à 14:45:11    

Pour des connexions simultanées très nombreuses, rien ne valait les architectures VAX/VMS ;)

Reply

Marsh Posté le 20-03-2003 à 15:44:53    

houplaboom42 a écrit :


 
bah bien sur ; pourquoi pas un octo-xeon 2.4HT avec 8Go de Ram pendant qu on y est , tu serais pas du genre a jeter l argent pas les fenetres toi ?


 
 
un BI PIII d'ocas avec ecran et carte RAID0,1,3,5 ca vaut 300?
avec l'ecran 1 DAT 20Go DVDROM bootable et 18.2Go de disques UWSCSI3  
 
moins cher qu'un PC neuf meme chez :leclerc !!
 


---------------
I love vi editor. it's the best one.
Reply

Marsh Posté le 20-03-2003 à 15:48:39    

philou_a7 a écrit :

Pour des connexions simultanées très nombreuses, rien ne valait les architectures VAX/VMS ;)


 
ouai mais vas y pour trouver un VAX4300 d'occas avec sa baie de disque....
si t'arrive s a trouver t'es fort....


---------------
I love vi editor. it's the best one.
Reply

Marsh Posté le 20-03-2003 à 15:58:18    

Reply

Marsh Posté le 20-03-2003 à 16:09:19    

Et en plus je rigole pas ;)
 
Je viens d'aller voir, en ce moment y a 2 microVAX en enchères :)

Reply

Marsh Posté le 20-03-2003 à 16:15:44    

philou_a7 a écrit :

Et en plus je rigole pas ;)
 
Je viens d'aller voir, en ce moment y a 2 microVAX en enchères :)


 
ebay une mine d'or mais bon souvent on trouve des super trucs mais des fois c'est 100* trop chere ou un couillon à encheri plus cher que la valeur du materiel et donc tu est (GRILLED²)²
pour l'acheter....
 
 :pt1cable:


---------------
I love vi editor. it's the best one.
Reply

Marsh Posté le 20-03-2003 à 17:55:50    

Ca depend de ce que tu cherches ;)
 
Par exemple, pour trouver des workstations ou des petits serveurs (HP9000, SUN, etc...) c'est une vraie mine d'or :) et comme c'est du materiel de "connaisseur", les gars n'encherissent pas n'importe comment ;)

Reply

Marsh Posté le 20-03-2003 à 19:32:59    


Bah entre Debian et RedHat, la seule difference c'est au niveau des logiciels d'install, des versions des programmes fournis, etc...
Mais l'architecture du noyau c'est la meme (pisque c'est le meme). Comme ici c'est ca qui t'interesse, hesiter etre RedHat et Debian <message subliminal>Debian c'est mieux(tm)</message subliminal> n'a que peu d'interets, c'est tout...

Reply

Marsh Posté le 20-03-2003 à 19:55:00    

ok merci à tous!
Ca me rassure pas mal, car je n'ai pas encore testé mais ca tournera sur des machines puissantes (PIV 1.6 1Go de ram).
 
 

e_esprit a écrit :


Bah entre Debian et RedHat, la seule difference c'est au niveau des logiciels d'install, des versions des programmes fournis, etc...
Mais l'architecture du noyau c'est la meme (pisque c'est le meme). Comme ici c'est ca qui t'interesse, hesiter etre RedHat et Debian <message subliminal>Debian c'est mieux(tm)</message subliminal> n'a que peu d'interets, c'est tout...
 


 
c noté!  :)  
 

kenshiro182 a écrit :


La difference est le fameux scheduler O(1) comme l'a ecrit Kristoph.
 
C'est bourrin d'avoir 10 millions de threads pour 10 millions de connexions. Essaye "select" ou les I/O asynchrones


 
 
le select il tiendrait le coup? j'avais entendu dire que c'etait pas trop scalable...
sinon c'est meme pas des thred, c'est carrément des processus indépendant, donc c'est plus lourd de passer de l'un à l'autre...
En fait ca aurait été beaucoup plus simple de tout mettre dans une appli multithread ou avec un select effectivement (je fait ca pour une autre appli du meme genre, avec une 50aine de connexions), mais la il faut que ca soit des processus indépendants...
 
 
Merci encore à tous! :jap:

Reply

Marsh Posté le    

Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed