Optimisation du code

Optimisation du code - C - Programmation

Marsh Posté le 28-12-2012 à 12:48:06    

salut a tous,  :jap:  
 
Voila en ce moment la je travaille sur projet qui consiste a :
 
Vérifiez mémoire vive du système, à partir de là déterminer la taille maximale des fichiers qu'il peut gérer. (suggérer 10-20% de la fréquence max de RAM) Si le fichier est plus grand que la taille de fichier maximale, fractionnés automatiquement en fichiers temporaires et les utiliser.
 
donc voici la demarche:
 
Ouvrir le fichier
Vérifier la quantité de lignes définissent comme [lignes]
Crée un tableau [lignes]
Chargez toutes les urls dans un tableau
fermer le fichier
 
split.c :

Code :
  1. / *
  2. split.c accueillera les fonctions pour découper les fichiers d'entrée qui sont trop grands.
  3. Cela devrait garder l'utilisation de la mémoire faible.
  4. Taille du fichier(FileSize) max est déterminé par l'entrée d'utilisateur (-m 4096) ou par le programme lui-même s'il n'est pas spécifié
  5. * /
  7. #include <split.h>
  8. #include <stdio.h>
  9. #include <stdlib.h>
  10. #include <string.h>
  11. #include <Windows.h>
  13. int fileSize ( char File[] ); //int pour stocker la taille du fichier
  14. void fileNameExt ( char Name[], char Ext[], char File[] );
  16. int splitmain( int argc, char *argv[] ) //méthode principale
  17. {
  18. FILE *source, *destination; //définir source et la destination des pointeurs de fichiers  
  19. int size, parts; //int pour la taille du fichier de sortie et la quantité de fichiers de sortie
  20. char name[100], ext[100], aux[100];
  22. if( argc < 3 ) //vérifier combien de args ont été entrés
  23. {
  24. printf( "Il n'y a pas suffisamment de args!" );
  25. system( "pause" );
  26. return 0;
  27. }
  29. fileNameExt( name, ext, argv[1] );
  30. parts = atoi( argv[2] );
  32. size = fileSize( argv[1] ); //taille variable = filesize de arg1, le fichier d'entrée.
  33. if( (source = fopen(argv[1], "rb" )) == NULL ) //si fopen renvoie NULL le fichier n'est pas présent, les fichiers vides commence par \ n?
  34. {
  35. printf( "Erreur! Fichier source n'a pas pu être ouvert!" );
  36. system( "pause" );
  37. return 0;
  38. }
  41. for( int i = 0; i < parts; i++ ) //jusqu'à int i est le même que les parties int, boucle.
  43. sprintf( aux, "%s%s-%d", name, ext, i );
  44. printf( "Generating %s file! -- ", aux );
  46. if( (destination = fopen(aux, "wb" )) == NULL ) //si le fichier de destination fopen renvoie NULL alors il n'ya pas de sortie
  47. {
  48. printf( "Errer! fichier de destination %s n'a pas pu etre cree!", aux );
  49. system( "pause" );
  50. return 0;
  51. }
  53. char car = getc( source );
  54. for( int j = 0; j < size/parts && !feof(source); j++ )
  55. {
  56. putc( car, destination );
  57. car = getc( source );
  58. }
  60. printf( "OK!
  61. " );
  62. fclose( destination );
  63. }
  65. fclose( source );
  66. system( "pause" );
  67. return 0;
  68. }
  70. int fileSize( char File[] ) //calculer la taille du fichier
  71. {
  72. FILE *f; //initier pointeur du fichier
  74. if( (f = fopen(File,"rb" )) == NULL ) //si fopen renvoie NULL le fichier n'est pas présent, les fichiers vides commence par \n?
  75. {
  76. printf( "Erreur! Fichier source n'a pas pu être ouvert!" );
  77. system( "pause" );
  78. return 0;
  79. }
  81. fseek( f, 0,SEEK_END );
  82. int sz = ftell(f);
  83. fclose( f );
  85. return sz;
  86. }
  88. void fileNameExt( char Name[], char Ext[], char File[] )
  89. {
  90. char *aux;
  91. if( (aux = strrchr(File, '')) == NULL )
  92. {
  93. if( (aux = strrchr( File, '/' )) == NULL)
  94. {
  95. aux = File;
  96. }
  97. }
  99. if( aux != File )
  100. {
  101. aux++;
  102. }
  104. for( int i = 0; *aux != '.'; i++, aux++ )
  105. {
  106. Name[i] = *aux;
  107. Name[i+1] = '\0;';
  108. }
  110. for( int i = 0; *aux != '\0;'; i++, aux++ )
  111. {
  112. Ext[i] = *aux;
  113. Ext[i+1] = '\0';
  114. }
  115. }


 
split.h :
 

Code :
  1. #ifndef SPLIT_H_INCLUDED
  2. #define SPLIT_H_INCLUDED
  4. /* Prototypes des fonctions */
  5. /* split main() */
  6. int splitmain( int argc, char *argv[] );
  8. /* calculer la taille de fichier */
  9. int fileSize( char File[] );
  11. /* */
  12. void fileNameExt( char Name[], char Ext[], char File[] );
  14. #endif


 
defhaze.c :
 

Code :
  1. #include <conio.h>
  2. #include <dos.h> 
  3. #include <process.h> 
  4. #include <stdio.h>
  5. #include <split.h>
  7.     int main(int argc, char *argv[])
  8.     { 
  9.         printf(" /*****Bienvenu a De(f)haze*****\ \n" );
  10.         printf(" |           | \n" );
  11.         printf(" |       Fait par Luloo         | \n" );
  12.         printf(" |                              | \n" );
  13.         printf(" |                              | \n" );
  14.         printf(" \*****--------------------*****/ \n" );
  15.         int suc6 = 0;
  16.         loadfile();
  18.         return 0;
  19.      }
  20.      
  21.       int loadfile() //Méthode pour charger le fichier d'entrée dans un tableau
  22.       {
  23.         inputfile = ; //attribuer une valeur à fichier d'entrée
  24. FILE *fpinput; //définir pointeur du fichier d'entrée
  25.         fpinput=fopen(“&inputfile”, ”r”); //ouvrir le fichier d'entrée avec mode "r", lecture seule(read only)
  26.         //fp = fopen("filename.txt", "r" );
  27. printf("Le comptage et la collecte des urls ... \n" );
  29. while((fgets(fp)) != NULL) //tandis que la rangée / ligne ne renvoie pas NULL (espace ou \n !=NULL), urls++
  30.          {
  31.            urls++;
  32.          } 
  33.         return 0;
  34.   }
  36.         for(int i=0; i<urls; i++) //tandis que i est inférieur au montant des urls, tourne en boucle
  37.         fscanf(fp, "%d %s\n", &UrlArr[i]); //ajouter une ligne au tableau
  38. fclose(fpinput); //fermez le fichier puisque les urls sont déjà dans le tableau
  39.       }
  41. /*
  42. Méthode Append ajoutera les injections réussies dans le fichier de sortie si dans le cas d'un crash ou quoi que vous aurez toujours vos injections réussies
  43. */
  45. int apppend()
  46. {
  48. FILE *fpoutput; //définir pointeur du fichier de sortie
  49. fpoutput = fopen("output.txt", "a" ); //Inclure dans le fichier de sortie
  51. if (suc6 <1)
  52. {
  53. struct date d;
  54. getdate(&d);
  55. fwrite("fpoutput", "De(f)haze started [%d/%d/%d",d.da_day,d.da_mon,d.da_year]\n" );
  56. fwrite("fpoutput", "Codee par Luloo \n" );
  57. }
  59. }


 
voila mon probleme cest que je trouve que mon code est un peu mal structure et incomplet
 
donc en gros, jaimerai avoir quelques idees concernant l'optimisation de mon code et si possible corriger quelques fautes  :whistle:

Message cité 2 fois
Reply

Marsh Posté le 28-12-2012 à 12:48:06   

Reply

Marsh Posté le 28-12-2012 à 15:40:26    

lulooo a écrit :

Vérifiez mémoire vive du système, à partir de là déterminer la taille maximale des fichiers qu'il peut gérer. (suggérer 10-20% de la fréquence max de RAM) Si le fichier est plus grand que la taille de fichier maximale, fractionnés automatiquement en fichiers temporaires et les utiliser.

Au cas ou ça t'intéresse, sous Windows, on peut procéder ainsi (code pour gcc):

Code :
  1. // voir http://msdn.microsoft.com/en-us/li [...] s.85).aspx
  2. #define _WIN32_WINNT  0x0501 // Donc au moins au niveau de WinXP
  3. #include <windows.h>
  5. #include <stdio.h>
  7. int main()
  8. {
  9.     // voir http://msdn.microsoft.com/en-us/li [...] s.85).aspx
  10.     MEMORYSTATUSEX statex;
  12.     statex.dwLength = sizeof(statex);
  13.     GlobalMemoryStatusEx(&statex);
  14.     printf("Memoire physique: %llu Bytes\n", statex.ullTotalPhys/1024);
  15.     printf("Memoire physique utilisable: %llu Bytes\n", statex.ullAvailPhys/1024);
  16.     return 0;
  17. }


et sous Linux, l'info est à lire dans /proc/meminfo  (elle est minorée, car le système peut vider ses caches pour fournir un peu plus de mémoire si nécessaire)
A+,


Message édité par gilou le 28-12-2012 à 18:45:45

---------------
There's more than what can be linked! --    Iyashikei Anime Forever!    --  AngularJS c'est un framework d'engulé!  --
Reply

Marsh Posté le 30-12-2012 à 22:33:56    

lulooo a écrit :

voila mon probleme cest que je trouve que mon code est un peu mal structure et incomplet


Bonsoir
 
Je crois que ton indentation anarchique y est aussi pour beaucoup...
 

lulooo a écrit :

Code :
  1. void fileNameExt( char Name[], char Ext[], char File[] )
  2. {
  3. char *aux;
  4. if( (aux = strrchr(File, '')) == NULL )
  5. {
  6. if( (aux = strrchr( File, '/' )) == NULL)
  7. {
  8. aux = File;
  9. }
  10. }
  12.     int main(int argc, char *argv[])
  13.     { 
  14.         printf(" /*****Bienvenu a De(f)haze*****\ \n" );
  15.         printf(" |           | \n" );
  16.         printf(" |       Fait par Luloo         | \n" );
  17.         printf(" |                              | \n" );
  18.         printf(" |                              | \n" );
  19.         printf(" \*****--------------------*****/ \n" );
  20.         int suc6 = 0;
  21.         loadfile();
  23.         return 0;
  24.      }
  25.      
  26.       int loadfile() //Méthode pour charger le fichier d'entrée dans un tableau
  27.       {
  28.         inputfile = ; //attribuer une valeur à fichier d'entrée
  29. FILE *fpinput; //définir pointeur du fichier d'entrée
  30.         fpinput=fopen(“&inputfile”, ”r”); //ouvrir le fichier d'entrée avec mode "r", lecture seule(read only)
  31.         //fp = fopen("filename.txt", "r" );
  32. printf("Le comptage et la collecte des urls ... \n" );
  34. while((fgets(fp)) != NULL) //tandis que la rangée / ligne ne renvoie pas NULL (espace ou \n !=NULL), urls++
  35.          {
  36.            urls++;
  37.          } 
  38.         return 0;
  39.   }
  41.         for(int i=0; i<urls; i++) //tandis que i est inférieur au montant des urls, tourne en boucle
  42.         fscanf(fp, "%d %s\n", &UrlArr[i]); //ajouter une ligne au tableau
  43. fclose(fpinput); //fermez le fichier puisque les urls sont déjà dans le tableau
  44.       }



Juste cet exemple. Tu crois qu'on perçoit facilement l'organisation de la fonction fileNameExt avec tout son code écrit en début de ligne. Inversement le main, lui, se trouve bizarrement et inexplicablement décalé. Et enfin ces 3 dernières lignes qui me semblent situées en dehors de toute fonction...
 
Donc déjà commence par bien écrire proprement ton code, tu y gagneras en lisibilité et nous aussi...


Message édité par Sve@r le 30-12-2012 à 22:35:27
Reply

Marsh Posté le 31-12-2012 à 09:43:43    

@sver >> Il y a un gros problème d'indentation. j'ai copié/collé la semaine dernière un code bien indenté sous VS2010 qui s'est retrouvé écrabouillé ici, je pense que ce sont les tab qui ne sont pas transformé en espaces. Je n'ai pas eu le courage de tout refaire surtout que lorsqu'il est copié l'affichage est correct, c'est dans l'affichage terminal de la page qu'il y a problème

Reply

Marsh Posté le 31-12-2012 à 11:32:56    

Tu formates le tout avec le plugin qui va bien de Code::Blocks, tu colles ici et ça roule.
C'est ce que je fais pour mon code, son indentation sous emacs n'étant pas compatible avec le formatage du forum.
En appliquant ceci au code que tu as posté, on voit qu'il est faux: splitmain fermé trop tôt manifestement.

Code :
  1. / *
  2. split.c accueillera les fonctions pour découper les fichiers d'entrée qui sont trop grands.
  3. Cela devrait garder l'utilisation de la mémoire faible.
  4. Taille du fichier(FileSize) max est déterminé par l'entrée d'utilisateur (-m 4096) ou par le programme lui-même s'il n'est pas spécifié
  5. * /
  6. #include <split.h>
  7. #include <stdio.h>
  8. #include <stdlib.h>
  9. #include <string.h>
  10. #include <Windows.h>
  11. int fileSize ( char File[] ); //int pour stocker la taille du fichier
  12. void fileNameExt ( char Name[], char Ext[], char File[] );
  13. int splitmain( int argc, char *argv[] ) //méthode principale
  14. {
  15.     FILE *source, *destination; //définir source et la destination des pointeurs de fichiers
  16.     int size, parts; //int pour la taille du fichier de sortie et la quantité de fichiers de sortie
  17.     char name[100], ext[100], aux[100];
  18.     if( argc < 3 ) { //vérifier combien de args ont été entrés
  19.         printf( "Il n'y a pas suffisamment de args!" );
  20.         system( "pause" );
  21.         return 0;
  22.     }
  23.     fileNameExt( name, ext, argv[1] );
  24.     parts = atoi( argv[2] );
  25.     size = fileSize( argv[1] ); //taille variable = filesize de arg1, le fichier d'entrée.
  26.     if( (source = fopen(argv[1], "rb" )) == NULL ) { //si fopen renvoie NULL le fichier n'est pas présent, les fichiers vides commence par \ n?
  27.         printf( "Erreur! Fichier source n'a pas pu être ouvert!" );
  28.         system( "pause" );
  29.         return 0;
  30.     }
  31.     for( int i = 0; i < parts; i++ ) { //jusqu'à int i est le même que les parties int, boucle.
  32.         sprintf( aux, "%s%s-%d", name, ext, i );
  33.     }
  34.     printf( "Generating %s file! -- ", aux );
  35.     if( (destination = fopen(aux, "wb" )) == NULL ) { //si le fichier de destination fopen renvoie NULL alors il n'ya pas de sortie
  36.         printf( "Errer! fichier de destination %s n'a pas pu etre cree!", aux );
  37.         system( "pause" );
  38.         return 0;
  39.     }
  40.     char car = getc( source );
  41.     for( int j = 0; j < size/parts && !feof(source); j++ ) {
  42.         putc( car, destination );
  43.         car = getc( source );
  44.     }
  45.     printf( "OK!
  46.             " );
  47.     fclose( destination );
  48. }
  49. fclose( source );
  50. system( "pause" );
  51. return 0;
  52. }
  53. int fileSize( char File[] ) //calculer la taille du fichier
  54. {
  55.     FILE *f; //initier pointeur du fichier
  56.     if( (f = fopen(File,"rb" )) == NULL ) { //si fopen renvoie NULL le fichier n'est pas présent, les fichiers vides commence par \n?
  57.         printf( "Erreur! Fichier source n'a pas pu être ouvert!" );
  58.         system( "pause" );
  59.         return 0;
  60.     }
  61.     fseek( f, 0,SEEK_END );
  62.     int sz = ftell(f);
  63.     fclose( f );
  64.     return sz;
  65. }
  66. void fileNameExt( char Name[], char Ext[], char File[] )
  67. {
  68.     char *aux;
  69.     if( (aux = strrchr(File, '')) == NULL ) {
  70.         if( (aux = strrchr( File, '/' )) == NULL) {
  71.             aux = File;
  72.         }
  73.     }
  74.     if( aux != File ) {
  75.         aux++;
  76.     }
  77.     for( int i = 0; *aux != '.'; i++, aux++ ) {
  78.         Name[i] = *aux;
  79.         Name[i+1] = '\0;';
  80.     }
  81.     for( int i = 0; *aux != '\0;'; i++, aux++ ) {
  82.         Ext[i] = *aux;
  83.         Ext[i+1] = '\0';
  84.     }
  85. }
 

Et ici pareil, loadfile est fermée trop tôt manifestement, ou alors il manque un début à ce qui la suit.

Code :
  1. #include <conio.h>
  2. #include <dos.h>
  3. #include <process.h>
  4. #include <stdio.h>
  5. #include <split.h>
  7. int main(int argc, char *argv[])
  8. {
  9.     printf(" /*****Bienvenu a De(f)haze*****\ \n" );
  10.     printf(" |           | \n" );
  11.     printf(" |       Fait par Luloo         | \n" );
  12.     printf(" |                              | \n" );
  13.     printf(" |                              | \n" );
  14.     printf(" \*****--------------------*****/ \n" );
  15.     int suc6 = 0;
  16.     loadfile();
  18.     return 0;
  19. }
  21. int loadfile() //Méthode pour charger le fichier d'entrée dans un tableau
  22. {
  23.     inputfile = ; //attribuer une valeur à  fichier d'entrée
  24.     FILE *fpinput; //définir pointeur du fichier d'entrée
  25.     fpinput=fopen(“&inputfile”, ”r”); //ouvrir le fichier d'entrée avec mode "r", lecture seule(read only)
  26.     //fp = fopen("filename.txt", "r" );
  27.     printf("Le comptage et la collecte des urls ... \n" );
  29.     while((fgets(fp)) != NULL) { //tandis que la rangée / ligne ne renvoie pas NULL (espace ou \n !=NULL), urls++
  30.         urls++;
  31.     }
  32.     return 0;
  33. }
  35. for(int i=0; i<urls; i++) //tandis que i est inférieur au montant des urls, tourne en boucle
  36. {
  37.     fscanf(fp, "%d %s\n", &UrlArr[i]);    //ajouter une ligne au tableau
  38. }
  39. fclose(fpinput); //fermez le fichier puisque les urls sont déjà  dans le tableau
  40. }
  42. /*
  43.   Méthode Append ajoutera les injections réussies dans le fichier de sortie si dans le cas d'un crash ou quoi que vous aurez toujours vos injections réussies
  44. */
  46. int apppend()
  47. {
  49.     FILE *fpoutput; //définir pointeur du fichier de sortie
  50.     fpoutput = fopen("output.txt", "a" ); //Inclure dans le fichier de sortie
  52.     if (suc6 <1) {
  53.         struct date d;
  54.         getdate(&d);
  55.         fwrite("fpoutput", "De(f)haze started [%d/%d/%d",d.da_day,d.da_mon,d.da_year]\n" );
  56.         fwrite("fpoutput", "Codee par Luloo \n" );
  57.     }
  59.     }


A+,


Message édité par gilou le 01-01-2013 à 13:47:13

---------------
There's more than what can be linked! --    Iyashikei Anime Forever!    --  AngularJS c'est un framework d'engulé!  --
Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed