perl - lister les fichiers d'un rep

perl - lister les fichiers d'un rep - Perl - Programmation

Marsh Posté le 11-07-2011 à 19:12:34    

Hello !  
 
J'aurais besoin de l'équivalent de la commande suivante en perl :
 

Code :
  1. /usr/bin/find /home/belette//?/?/ -type f -name "*.log" -exec /usr/bin/stat -c "%s %n" {} \;


 
car le problème, c'est que c'est lent car il y a environ 1 000 000 de fichiers.
On m'a dit que parser les sous rep en perl était beaucoup plus rapide mais je n'en ai jamais fait :(
 
Est ce que vous auriez qqch sous la main ?.
 
Merci
 


---------------

Reply

Marsh Posté le 11-07-2011 à 19:12:34   

Reply

Marsh Posté le 11-07-2011 à 21:56:27    

Sur mon PC, ceci:

C:\Perl>find2perl /home/belette//?/?/ -type f -name "*.log" -exec /usr/bin/stat -c "%s %n" {} \;


génère ce script:
 

Code :
  1. #! C:\Perl\bin\perl.exe -w
  2.     eval 'exec C:\Perl\bin\perl.exe -S $0 ${1+"$@"}'
  3.         if 0; #$running_under_some_shell
  4.  
  5. use strict;
  6. use File::Find ();
  7.  
  8. # Set the variable $File::Find::dont_use_nlink if you're using AFS,
  9. # since AFS cheats.
  10.  
  11. # for the convenience of &wanted calls, including -eval statements:
  12. use vars qw/*name *dir *prune/;
  13. *name   = *File::Find::name;
  14. *dir    = *File::Find::dir;
  15. *prune  = *File::Find::prune;
  16.  
  17. sub wanted;
  18. sub doexec ($@);
  19.  
  20.  
  21. use Cwd ();
  22. my $cwd = Cwd::cwd();
  23.  
  24.  
  25. # Traverse desired filesystems
  26. File::Find::find({wanted => \&wanted}, '/home/belette//?/?/');
  27. exit;
  28.  
  29.  
  30. sub wanted {
  31.     my ($dev,$ino,$mode,$nlink,$uid,$gid);
  32.  
  33.     (($dev,$ino,$mode,$nlink,$uid,$gid) = lstat($_)) &&
  34.     -f _ &&
  35.     /^.*\.log\z/s &&
  36.     doexec(0, '/usr/bin/stat','-c','%s %n','{}','\;');
  37. }
  38.  
  39.  
  40. sub doexec ($@) {
  41.     my $ok = shift;
  42.     my @command = @_; # copy so we don't try to s/// aliases to constants
  43.     for my $word (@command)
  44.         { $word =~ s#{}#$name#g }
  45.     if ($ok) {
  46.         my $old = select(STDOUT);
  47.         $| = 1;
  48.         print "@command";
  49.         select($old);
  50.         return 0 unless <STDIN> =~ /^y/;
  51.     }
  52.     chdir $cwd; #sigh
  53.     system @command;
  54.     chdir $File::Find::dir;
  55.     return !$?;
  56. }


A toi de voir ce que la commande génère dans ton environnement linux ou unix, puis à toi d'optimiser, comme je l'avais fait dans cet exemple ci: http://forum.hardware.fr/hfr/Progr [...] m#t1940849
 
A+,


---------------
There's more than what can be linked! --    Iyashikei Anime Forever!    --  AngularJS c'est un framework d'engulé!  --
Reply

Marsh Posté le 11-07-2011 à 22:07:15    

Pas sur que ton path initial avec des ? marche dans File::Find::find({wanted => \&wanted}, '/home/belette//?/?/'); d'ailleurs.
Il faudra peut être d'abord établir la liste des répertoires qui matchent ce pattern.
le // après belette, c'est volontaire (avec quel sens alors) ou bien c'est une faute de frappe pour un seul /  :??:  
A+,


---------------
There's more than what can be linked! --    Iyashikei Anime Forever!    --  AngularJS c'est un framework d'engulé!  --
Reply

Marsh Posté le 11-07-2011 à 22:17:04    

Hello,  
merci pour vos infos.
 
Sinon, oui, le ?, c'est fait expres, car j'ai des sous repertoires A, B, C, D, E, F, G et H ( et la meme chose en sous-sous rep), ya du postfix qui tourne dessus.
 
sinon, oui, le //, c'est une faute de frappe :)


---------------

Reply

Marsh Posté le 12-07-2011 à 12:04:24    

Bon, en regardant d'un peu plus près ce qu'il y a à simplifier, ceci devrait coller, si j'ai bien pigé ce que tu veux faire.

Code :
  1. #!/usr/bin/perl
  2. use strict;
  3. use warnings;
  4.  
  5. use File::Find;
  6.  
  7. my $level = -1;
  8. sub wanted {
  9.   if (-d) {
  10.     $level++;
  11.     if (($level > 2) or (!/^.$/o)) {
  12.       $File::Find::prune = 1;
  13.     }
  14.     else {
  15.       $File::Find::prune = 0;
  16.     }
  17.     $level--;
  18.   }
  19.   if (-f) {
  20.     if (($level == 2) and (/\.log$/o)) {
  21.       my $fsize = (stat($_))[7];
  22.       print "$fsize octets $File::Find::name\n"; # a adapter a son format voulu
  23.     }
  24.   }
  25. }
  26.  
  27.  
  28. File::Find::find({wanted => \&wanted,
  29.           preprocess =>  sub {$level++; return @_},
  30.           postprocess => sub {$level--}}, '/home/belette');


(le but étant d'éviter de faire system @command; à de nombreuses reprises, comme dans le script généré par find2perl, ce qui ralentit l’exécution, quand il y a des commandes built-in perl qui peuvent le faire)
 
PS: Ma solution précédente supposait que tous tes fichiers étaient dans des sous répertoires à deux niveaux en dessous de /home/belette et pas plus bas.
Mais si on a aussi des sous répertoires plus bas, il faut alors modifier le code:

Code :
  1. #!/usr/bin/perl
  2. use strict;
  3. use warnings;
  4.  
  5. use File::Find;
  6.  
  7. my $level = -1;
  8. sub wanted {
  9.   if (-d) {
  10.     $level++;
  11.     if ((!/^.$/o)) {
  12.       $File::Find::prune = 1;
  13.     }
  14.     else {
  15.       $File::Find::prune = 0;
  16.     }
  17.     $level--;
  18.   }
  19.   if (-f) {
  20.     if (($level >= 2) and (/\.log$/o)) {
  21.       my $fsize = (stat($_))[7];
  22.       print "$fsize octets $File::Find::name\n"; # a adapter a son format voulu
  23.     }
  24.   }
  25. }
  26.  
  27.  
  28. File::Find::find({wanted => \&wanted,
  29.           preprocess =>  sub {$level++; return @_},
  30.           postprocess => sub {$level--}}, '/home/belette');


A+,


Message édité par gilou le 12-07-2011 à 13:15:26

---------------
There's more than what can be linked! --    Iyashikei Anime Forever!    --  AngularJS c'est un framework d'engulé!  --
Reply

Marsh Posté le 12-07-2011 à 14:12:33    

ok merci bcp !


---------------

Reply

Marsh Posté le 12-07-2011 à 14:24:25    

Tiens au fait, tu peux éventuellement rajouter ceci à la fin du code:
print "Warning: unexpected ending level: $level\n" if ($level != -1);
Pour avertir, si on est pas revenu au niveau de départ à la fin du traitement, qu'il doit y avoir un problème.
A+,


Message édité par gilou le 12-07-2011 à 14:25:17

---------------
There's more than what can be linked! --    Iyashikei Anime Forever!    --  AngularJS c'est un framework d'engulé!  --
Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed