Téléchargement massif

Téléchargement massif - Logiciels - Windows & Software

Marsh Posté le 17-06-2007 à 12:50:58    

Bonjour,
 
Je cherche un logiciel qui soit capable de traiter le plus rapidement possible le téléchargement de quelques milliers (disons 30000) de fichiers de petite taille (des fichiers html de 10ko chacun). Les url sont toutes écrites dans un fichier sous forme de liste que j'aimerais importer via ce logiciel.
 
J'ai essayé flashget, c'est catastrophique. La phase d'importation du fichier lst prend déjà 10min, et puis au bout de 1h30 j'avais seulement téléchargé moins de 3000 fichiers.
 
Le problème est donc relatif à la gestion des téléchargements (et non à mon pc ou à ma connexion qui valent beaucoup mieux que ça - et je suis à peu prêt sûr que le serveur sur lequel je télécharge possède un très haut débit lui aussi). Je recherche donc un logiciel intelligent à ce niveau ... Merci pour votre aide.

Reply

Marsh Posté le 17-06-2007 à 12:50:58   

Reply

Marsh Posté le 17-06-2007 à 12:54:21    

wget, avec l'option -i ?


---------------
Filmstory : gardez trace des films que vous avez vu ! :D
Reply

Marsh Posté le 17-06-2007 à 13:16:29    

Ok merci freds45, je découvre ce programme mais il n'a malheureusement pas l'air beaucoup plus rapide que flashget. La vitesse est de l'ordre d'un fichier à la seconde, soit environ 10ko/sec, c'est vraiment très faible.

Reply

Marsh Posté le 19-06-2007 à 00:38:21    

pk un fichier d url si c'est sur le meme serveur ?
Si tu as accès au serveur pk tu les zippes pas tes fichiers ?
et par ftp ?
 


---------------
L'informatique ça évolue très vite ou pas.
Reply

Marsh Posté le 19-06-2007 à 08:02:21    

babar4321 a écrit :

Ok merci freds45, je découvre ce programme mais il n'a malheureusement pas l'air beaucoup plus rapide que flashget. La vitesse est de l'ordre d'un fichier à la seconde, soit environ 10ko/sec, c'est vraiment très faible.


c'est normal,  
 
il faut établir la connexion, transférer le fichier et finalement fermer la connexion....
 
pour des gros fichier, c'est négligeable. pour des millier de petit fichiers, c'est ce qui prend le plus de temps


---------------
#mais-chut
Reply

Marsh Posté le 19-06-2007 à 12:28:52    

Exact Z_cool, il faut un logiciel qui traite intelligemment le téléchargement simultané de plusieurs fichiers...
 
OdbO, je n'ai aucun accès spécial au serveur.

Reply

Marsh Posté le 19-06-2007 à 12:31:14    

babar4321 a écrit :

Exact Z_cool, il faut un logiciel qui traite intelligemment le téléchargement simultané de plusieurs fichiers...
 
OdbO, je n'ai aucun accès spécial au serveur.


Ba... c'est techniquemment pas possible, a moins que tu ne le developre toi meme.
 
et meme dans ce cas la, copie 10000 petit fichiers d un total de 600Mo d'un HD a un autre.
et copie 1 fichier de 600Mo, tu vera que ce dernier est plus rapide. et pas de peut.


---------------
#mais-chut
Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed