[nas perso] problemes gestion des disques

problemes gestion des disques [nas perso] - Disque dur - Hardware

Marsh Posté le 02-10-2011 à 12:01:54    

bonjour
 
je viens de monter un NAS perso sous une Debian 6 x64 kernel 2.6.32.5
2 disques de 750Go en RAID1 pour les divers téléchargements
4 disques de 2To (samsung)en RAID5+Spare pour le stockage des données.
 
les disques samsung ont des secteurs de 4k j'ai donc du utilisé fdisk comme ceci:
 

Code :
  1. fdisk -u -c /dev/sdX


 
 
et répéter la commande pour les 4 disques:
 
maintenant quand je liste les partitions:
 

Code :
  1. fdisk -l /dev/sd[a-d]


 
 
j'obtiens ceci:
 

Code :
  1. Disk /dev/sdc: 2000.4 GB, 2000398934016 bytes                                   
  2. 81 heads, 63 sectors/track, 765633 cylinders                                   
  3. Units = cylinders of 5103 * 512 = 2612736 bytes                                 
  4. Sector size (logical/physical): 512 bytes / 512 bytes                           
  5. I/O size (minimum/optimal): 512 bytes / 512 bytes                               
  6. Disk identifier: 0x32b97158                                                     
  7.                                                                                
  8.    Device Boot      Start         End      Blocks   Id  System                 
  9. /dev/sdc1               1      765634  1953513560   fd  Linux raid autodetect   
  10.                                                                                
  11. Disk /dev/sdd: 2000.4 GB, 2000398934016 bytes                                   
  12. 81 heads, 63 sectors/track, 765633 cylinders                                   
  13. Units = cylinders of 5103 * 512 = 2612736 bytes                                 
  14. Sector size (logical/physical): 512 bytes / 512 bytes                           
  15. I/O size (minimum/optimal): 512 bytes / 512 bytes                               
  16. Disk identifier: 0x8b1e34ba                                                     
  17.                                                                                
  18.    Device Boot      Start         End      Blocks   Id  System                 
  19. /dev/sdd1               1      765634  1953513560   fd  Linux raid autodetect   
  20.                                                                                
  21. Disk /dev/sde: 2000.4 GB, 2000398934016 bytes                                   
  22. 18 heads, 63 sectors/track, 3445352 cylinders                                   
  23. Units = cylinders of 1134 * 512 = 580608 bytes 
  24. Sector size (logical/physical): 512 bytes / 512 bytes                           
  25. I/O size (minimum/optimal): 512 bytes / 512 bytes                               
  26. Disk identifier: 0xf48386ab                                                     
  27.                                                                                
  28.    Device Boot      Start         End      Blocks   Id  System                 
  29. /dev/sde1               2     3445352  1953513560   fd  Linux raid autodetect   
  30.                                                                                
  31. Disk /dev/sdf: 2000.4 GB, 2000398934016 bytes                                   
  32. 63 heads, 63 sectors/track, 984386 cylinders                                   
  33. Units = cylinders of 3969 * 512 = 2032128 bytes                                 
  34. Sector size (logical/physical): 512 bytes / 512 bytes                           
  35. I/O size (minimum/optimal): 512 bytes / 512 bytes                               
  36. Disk identifier: 0x83b6084d                                                     
  37.                                                                                
  38.    Device Boot      Start         End      Blocks   Id  System                 
  39. /dev/sdf1               1      984387  1953513560   fd  Linux raid autodetect


 
 
mais je trouve quelque chose d’étrange, j'ai 4 disques identiques, et quand je partitionne avec fdisk, il me sort des head et cylinders différents, vous trouvez ça normal?
je suis d'accord, sur sdc et sdd car tout est similaire, mais sde et sdf... WTF???
 
en utilisant un système de fichier ext4 avec les options par défaut un
 

Code :
  1. hdparm -Tt /dev/md0


 
 
me donne ceci:
 

Code :
  1. /dev/md0:
  2. Timing cached reads: 4656 MB in 2.00 seconds = 2327.92 MB/sec
  3. Timing buffered disk reads: 612 MB in 3.01 seconds = 203.25 MB/sec


 
pensez-vous que les débits sont bon?
 
et dernier point je souhaite mettre en veille les disques durs quand il ne sont pas utilisés
 
pour cela j'ai du faire ceci:
 

Code :
  1. hdparm -B 255 /dev/sd[a-f]


 
 
pour désactiver la gestion automatique de l'alimentation
 
puis:
 

Code :
  1. hdparm -S 120 /dev/sd[a-f]


 
 
pour fixer la mise en veille au bout de 10 minutes
 
cette méthode a très bien fonctionné pour ma grappe RAID1
mais ne fonctionne pas pour la grappe RAID5, je ne sais pas ce qui empêche la mise en veille des 4 disques, je pense avoir une piste qui mène vers minidlna, car il me semble que par défaut, il scanne les dossiers toutes les 15 minutes.
 
d'avance, merci pour votre aide.
 
A bientôt

Reply

Marsh Posté le 02-10-2011 à 12:01:54   

Reply

Marsh Posté le 02-10-2011 à 13:30:43    

Salut,
 
déjà, tes partitions ne sont pas alignées en 4K, en effet si tu étais alligné en 4k le premier secteur de chacune de tes partoche (avec le flag 0xFD) serait le secteur logique 8 et non le secteur logique 1 (la mbr étant le secteur logique 0).
 
Au niveau des découpages des secteurs physiques de 4K en secteurs logiques de 512, ton secteur physique 0 se compose des 8 premiers secteurs logiques, cad de 0 à 7, ensuite le secteur physique 1 se compose des secteurs logiques 8 à 15, et ainsi de suite...
 
Ensuite, pour retrouver la géométrie physique de tes disques, tu peux faire un hdparm -v , là tu pourra constater.
 
après, moi je te conseillerais, avec les raid mdadm, de faire la structure mbr sur le 1er disque, puis ensuite de la recopier sur les autres disques avec dd.
exemple :  
 

dd if=/dev/sdc of=/dev/sdd count=1


 
 
après tu fait un partprobe pour remettre à jour la liste de partoches dans /dev, puis tu peux ensuite créer le raid soft, même si les disques ont une geometrie physique différente, il garderont la même geometrie logique. Attention avec dd, ne te plantes surtout pas de destination (of=).
 
bref, le plus simple pour faire un align 4k : tu fais un fdisk -u -S8 /dev/sdc, le premier secteur par défaut sera le 8, après une fois la mbr crée sur le disque tu la recopie avec dd sur tous les autres disques du raid
 
Pour la mise en veille des disques qui ne se fait pas, ça doit venir de la gestion de l'ext4 par le kernel, vu qu'il fait des opé de lecture sur le journal toutes les 5s (impossible à changer), même à travers un raid mdadm ça empêche la mise en veille des disques.
 
Dernier point : le disque de spare c'est pas trop utile avec 4 disques, et ça consome trop d'espace proportionnellement à la taille de l'array, ça commence à être utile à partir de 6 ou 7 disques. Si c'est pour 4 disques, autant partir sur du raid6 directement, même capa, en cas de perte d'un disque tu retombe au niveau d'intégrité du raid5, bon par contre les perf' seront un peu en dessous.
 
 
dernier point vicieux ultra important : sur certaines mobo, les numérotations de port SATA peuvent être inversées, surtout sur les mobo avec 6 ports SATA, souvent l'inversion se fait entre les ports 2 et 3, que ce soit en mode IDE ou AHCI, ce qui donne la disposition suivante des disques vu par ton kernel:
 
SATA1: sda
SATA2: sdc
SATA3: sdb
SATA4: sdd
SATA5: sde
SATA6: sdf
 
le mieux est de revérifier les numéro de séries de tes disques, sur l'étiquette, et avec un hdparm -i , et de vérifier les positions physiques des disques, un raid 5 ne sert à rien si tu n'est pas en mesure de repérer facilement un disque physiquement en panne  :pt1cable:


Message édité par T3K le 02-10-2011 à 13:41:01
Reply

Marsh Posté le 02-10-2011 à 14:40:55    

bonjour.
 
quelle mine d'information!!!
 
je n'ai pas bien compris l'histoire de "dd"
 
je résume:
 
mes 4 disques de 2To sont, sda, sdb, sdc, sdd,je dois créer une partition comme ceci:
 

Code :
  1. fdisk -u -S8 /dev/sda


 
puis faire ceci?
 

Code :
  1. dd if=/dev/sda of=/dev/sdb count=1
  2. dd if=/dev/sda of=/dev/sdc count=1
  3. dd if=/dev/sda of=/dev/sdd count=1


 
ensuite, je ne connais pas partprobe, comment s'en sert t'on?
 
pour l'histoire de mise en veille, c'est quand meme etrange, mes 2 grappes raid sont en ext4, la grappe raid1 se coupe bien au bout de 10 minutes mais pas la grappe raid5
 
et merci beaucoup pour la petite manip' pour reconnaittre les disques, je ne savais pas trop comment m'y prendre
 
 
 

Reply

Marsh Posté le 02-10-2011 à 15:11:33    

voilà pour dd, c'est tout à fait ça
une methode plus élégante, pratique quand on a une tonne de disques :
 

for y in /dev/sd[b-d]
do dd if=/dev/sda of=$y count=1
done


 
 :lol:  
 
partprobe c'est juste une commande à taper sans options, qui permet de recharger les nouvelles mbr sans avoir à s'enmerder à rebooter, c'est tout.
 
Pour la veille, alors là je sèche par contre, les disques qui doivent passer en veille c'est plus trop mon segment  :p
 
Pour encore améliorer ton raid5 tu peux :
 
1/ ajouter un bitmap interne (éviter de devoir faire une resync du raid5 en cas de panne électrique/kernel panic/plantage divers), en gros c'est une journalisation du raid (fonctionne pour tous les niveaux redondants), il suffit d'ajouter --bitmap=internal lors d'un --create (donc à la création) ou de l'ajouter ultérieurement avec un --grow

mdadm --grow /dev/md0 --bitmap=internal


Pour supprimer le bitmap : --bitmap=none (utile dans les manip' grow qui nécessitent d'ajouter un disque dans le raid ou encore de changer la taille des disques)
On ne dirait pas comme ça, mais sur une grappe raid de cette taille c'est un gros gain de temps en cas de pépin : pas besoin d'une nuit à attendre avec la resync derrière qui plombe complètement les perf', là même si tu plante ta machine, ça repart immédiatement. C'est rare de foutre par terre une machine linux, mais si ça doit arriver et que tu as un raid de 4*2To à resync, tu risque de trouver le temps long  :o  
 
2/Utiliser un autre layout, par défaut, c'est du left-symmetric, à force de tester j'ai fini par déterminer que dans la grande majorité des cas, le right-assymetric est un poil moins performant en lecture mais aussi plus performant en écriture, hors sur un raid5 ou 6 soft c'est vraiment l'écriture le gros point noir, donc c'est toujours ça de prit. Les gains sont de l'ordre de 10 à 15Mo/s, mais sur un raid5 soft en écriture c'est plutot énorme.
 
donc là pas de secret, il faut ajouter un --layout=ra quand tu fait ton --create
ça se vérifie soit en faisant un mdadm -E /dev/sda1 (par exemple) où le layout est donné
ou si tu fais un cat /proc/mdstat, tu as une indic de layout (un nombre allant de 0 à 3)
0: left-asymmetric (--layout=la)
1: right-asymmetric (--layout=ra)
2: left-symmetric (par défaut si on n'indique rien au cours du create, le --layout=ls est implicite)
3: right-symmetric (--layout=rs)
 
 
exemple qui résume tout, niveau syntaxe :

mdadm --create /dev/md0 --level=5 --chunk=128 --layout=ra --bitmap=internal --raid-devices=4 /dev/sd[a-d]1


Message édité par T3K le 02-10-2011 à 15:22:06
Reply

Marsh Posté le 02-10-2011 à 15:26:13    

tu as l'air de vraiment maitriser le sujet!
 
je vois dans ta derniere commande que le chunk est- a 128, c'est le meilleur a ton avis?
 
sur le raid que j'ai actuelement, il est a 512k
 
aussi, que penses tu du superblock persistant? utile/futile?
 
j'avoue que je suis perdu dans toutes ces options ^^
 
edit: je viens de faire le fdisk -u -S8 /dev/sda et ca me sors ceci:
 

Code :
  1. root@NAS:/root# fdisk -l /dev/sda                                             
  2.                                                                                
  3. Disk /dev/sda: 2000.4 GB, 2000398934016 bytes                                 
  4. 255 heads, 8 sectors/track, 1915210 cylinders                                 
  5. Units = cylinders of 2040 * 512 = 1044480 bytes                               
  6. Sector size (logical/physical): 512 bytes / 512 bytes                         
  7. I/O size (minimum/optimal): 512 bytes / 512 bytes                             
  8. Disk identifier: 0x32b97158                                                   
  9.                                                                                
  10.    Device Boot      Start         End      Blocks   Id  System                 
  11. /dev/sda1               1     1915211  1953514580   fd  Linux raid autodetect


 
est ce bon??


Message édité par swordmaster le 02-10-2011 à 15:48:49
Reply

Marsh Posté le 02-10-2011 à 17:09:21    

Alors, je vais te répondre dans l'ordre, à toutes ces question que je me suis posé il y a quelques années en fait ^^
 
 
Le chunk size, c'est très variable, ça dépend du type d'utilisation que tu veux faire de ton raid, pour du stockage il vaut mieux avec un chunk size assez important (128/256/512 voire 1Mo), pour un OS ou de la virtualisation, il vaut mieux baisser le chunk size (là ce sera plus avec du raid hardware déjà), quand tu as une carte raid à 600€ tu peux te permettre par exemple des strip de 16Ko  :whistle:  
on va dire que sans ça, "petit" ça va être de l'ordre de 32/64, en dessous il faut un co-processeur dédié, donc du raid hardware.
 
Le superblock persistant : en fait il l'est par défaut sur les version récentes de md, de toutes façons il est obligatoire pour quelque chose de solide, faire sans signifie de passer par un fichier de conf pour assembler le raid au démarrage (en fait utilisation obligatoire de /etc/mdadm.conf), bref, garde par défaut, c'est déjà nickel comme ça
 
Là sur ton fdisk actuel : non ça ne va toujours pas, tu as 1 à la colone start, il faudrait 8 pour être en alignement 4K, en gros l'idée quand tu fais un fdisk -u -S8 /dev/sdX c'est de refaire la partoche aussi dans la foulée, actuellement ta geometrie a changé (tu vois bien les 8 secteurs par pistes), en gros l'idée de base ça va être de faire en sorte que un piste logique = 8 secteurs logiques = 1 secteur physique, comme ça pas d'erreur possible. Les programmes de partitionnement comme fdisk ou parted manipulent des secteurs logiques, donc il faut en tenir compte.
En fait actuellement ta partoche Linux raid commence juste après la mbr, et dans l'idéal il devrait y avoir 7 secteurs libres entre la mbr et le premier secteur de cette partoche.
 
en fait tu devrais avoir ceci :
 


 
   1. root@NAS:/root# fdisk -l /dev/sda                                              
   2.                                                                                
   3. Disk /dev/sda: 2000.4 GB, 2000398934016 bytes                                  
   4. 255 heads, 8 sectors/track, 1915210 cylinders                                  
   5. Units = cylinders of 2040 * 512 = 1044480 bytes                                
   6. Sector size (logical/physical): 512 bytes / 512 bytes                          
   7. I/O size (minimum/optimal): 512 bytes / 512 bytes                              
   8. Disk identifier: 0x32b97158                                                    
   9.                                                                                
  10.    Device Boot      Start         End      Blocks   Id  System                  
  11. /dev/sda1               8     1915211  1953514580   fd  Linux raid autodetect


 
 
Je te conseille de toujours regarder avec un fdisk -lu /dev/sdX, plus précis (-u : units - précise d'afficher avec l'unité de base en secteurs et non en cylindres logiques, beaucoup plus précis, obligatoire pour faire un alignement), c'est aussi visible avec un parted /dev/sdX unit s print free

Reply

Marsh Posté le 02-10-2011 à 17:21:36    

bien bien bien

 

je viens donc de supprimer la partition de sda puis la recréer avec:

 
Code :
  1. fdisk -u -S8 /dev/sda
 

puis option: n
                p
                1
                t
                fd

 

ce qui me donne ceci:

 
Code :
  1. root@NAS:/root# fdisk -lu /dev/sda                                             
  2.                                                                                
  3. Disk /dev/sda: 2000.4 GB, 2000398934016 bytes                                 
  4. 255 heads, 8 sectors/track, 1915210 cylinders, total 3907029168 sectors       
  5. Units = sectors of 1 * 512 = 512 bytes                                         
  6. Sector size (logical/physical): 512 bytes / 512 bytes                         
  7. I/O size (minimum/optimal): 512 bytes / 512 bytes                             
  8. Disk identifier: 0x32b97158                                                   
  9.                                                                                
  10.    Device Boot      Start         End      Blocks   Id  System                 
  11. /dev/sda1               8  3907029167  1953514580   fd  Linux raid autodetect
 

donc maintenant cela semble correspondre a ce que tu décris ci-dessus!

 

je pense donc partir pour un chunk de 512, ça me semble être pas mal pour une grappe qui stock des films des photos et de la musique


Message édité par swordmaster le 02-10-2011 à 17:26:07
Reply

Marsh Posté le 02-10-2011 à 18:12:15    

voilà, tout est nickel maintenant, pour de gros fichiers qui ne subissent pas d'écritures internes concurentes en permanence, le mieux c'est 256 ou 512 pour le chunk size.

Reply

Marsh Posté le 02-10-2011 à 18:28:48    

j'ai bien lancé ta commande, mais j'ai l'impression que sdd a un probleme!
 

Code :
  1. root@NAS:/root# cat /proc/mdstat                                               
  2. Personalities : [raid1] [raid6] [raid5] [raid4]                               
  3. md0 : active (auto-read-only) raid5 sdd1[4](S) sdc1[2] sdb1[1] sda1[0]         
  4.       5860538880 blocks super 1.2 level 5, 512k chunk, algorithm 1 [4/3] [UUU_]
  5.       bitmap: 0/15 pages [0KB], 65536KB chunk


 
qu'en dis tu?

Reply

Marsh Posté le 02-10-2011 à 18:36:18    

ouaip c'est super bizare
 
ok, il faudrait essayer de suprimer les superblocks persistants md et réessayer.
Auttre truc: je constate que ta grappe est passé en read-only
 
essayes ceci :
 

mdadm --stop /dev/md0
mdadm --zero-superblock /dev/sd[a-d]1
mdadm --create /dev/md0 --level=5 --chunk=512 --layout=ra --bitmap=internal --raid-devices=4 /dev/sd[a-d]1


 
 
si jamais le problème persiste encore, alors c'est que la grappe est créée automatiquement en ro (là je ne vois pas pourquoi), à ce moment là il faudra jetter un coup d'oeil sur les options de read-only. A la limite, il faudra aussi regarder dans /etc/mdadm.conf


Message édité par T3K le 02-10-2011 à 18:36:46
Reply

Marsh Posté le 02-10-2011 à 18:36:18   

Reply

Marsh Posté le 02-10-2011 à 19:26:09    

j'ai fais ce que tu m'as dis, mais rien de mieux...

 
Code :
  1. root@NAS:/root# mdadm --stop /dev/md0                                         
  2. mdadm: stopped /dev/md0                                                       
  3. root@NAS:/root# mdadm --zero-superblock /dev/sd[a-d]1                         
  4. root@NAS:/root# mdadm --create /dev/md0 --level=5 --chunk=512 --layout=ra --bitmap=internal --raid-device=4 /dev/sd[a-d]1                                     
  5. mdadm: Defaulting to version 1.2 metadata                                     
  6. mdadm: array /dev/md0 started.                                                 
  7. root@NAS:/root# cat /proc/mdstat                                               
  8. Personalities : [raid1] [raid6] [raid5] [raid4]                               
  9. md0 : active (auto-read-only) raid5 sdd1[4](S) sdc1[2] sdb1[1] sda1[0]         
  10.       5860538880 blocks super 1.2 level 5, 512k chunk, algorithm 1 [4/3] [UUU_]
  11.       bitmap: 0/15 pages [0KB], 65536KB chunk

                                                           
                   
ca viens peut etre du fait que j'ai fait plein de bidouuilles avec mdadm?
la config n'est peut etre pas tres propre...

 

le mdadm.conf:

 
Code :
  1. # mdadm.conf                                                                   
  2. #                                                                             
  3. # Please refer to mdadm.conf(5) for information about this file.               
  4. #                                                                             
  5.                                                                                
  6. # by default, scan all partitions (/proc/partitions) for MD superblocks.       
  7. # alternatively, specify devices to scan, using wildcards if desired.         
  8. DEVICE partitions                                                             
  9.                                                                                
  10. # auto-create devices with Debian standard permissions                         
  11. CREATE owner=root group=disk mode=0660 auto=yes                               
  12.                                                                                
  13. # automatically tag new arrays as belonging to the local system               
  14. HOMEHOST <system>                                                             
  15.                                                                                
  16. # instruct the monitoring daemon where to send mail alerts                     
  17. MAILADDR root                                                                 
  18.                                                                                
  19. # definitions of existing MD arrays                                           
  20. ARRAY /dev/md/0 metadata=1.2 UUID=trucmachin name=NAS$
  21.    spares=1                                                                   
  22. ARRAY /dev/md/1 metadata=1.2 UUID=trucmachin name=NAS:1
  23.                                                                                
  24. # This file was auto-generated on Tue, 06 Sep 2011 17:38:32 +0200             
  25. # by mkconf 3.1.4-1+8efb9d1                                                   
  26. DEVICE /dev/sdf1                                                               
  27. DEVICE /dev/sde1 /dev/sdf1                                                     
  28. DEVICE /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1                                 
  29. ARRAY /dev/md0 level=raid5 devices=/dev/sda1,/dev/sdb1,/dev/sdc1,/dev/sdd1


Message édité par swordmaster le 02-10-2011 à 20:53:12
Reply

Marsh Posté le 02-10-2011 à 21:40:37    

je ne sais pas sur quelle distro tu es, mais normalement avec des superblock persistants, ce fichier n'est pas nécessaire (c'est pour ça que je tourne sans d'ailleurs... ça évite les soucils de conf)
 
A priori je vois que tu es sur debian, ça fait très longtemps que j'ai pas touché à debian (genre plus de 3 ans)

Reply

Marsh Posté le 02-10-2011 à 23:06:49    

je suis bien sous debian en effet!
le fichier a eté crée tout seul a l'install de mdadm je pense
 
edit: je viens de reinstaler completement ma debian (j'avais fait plein de test, donc install pas propre)
et j'ai toujours le meme resultat apres avoir refait les manip
 

Code :
  1. root@NAS:~# cat /proc/mdstat
  2. Personalities : [raid1] [raid6] [raid5] [raid4]
  3. md0 : active (auto-read-only) raid5 sdd1[4](S) sdc1[2] sdb1[1] sda1[0]
  4.       5860538880 blocks super 1.2 level 5, 512k chunk, algorithm 1 [4/3] [UUU_]
  5.       bitmap: 0/15 pages [0KB], 65536KB chunk
  6. md1 : active (auto-read-only) raid1 sde1[0] sdf1[1]
  7.       732570841 blocks super 1.2 [2/2] [UU]
  8. unused devices: <none>


 
je ne comprend pas, on dirait qu'un disque est en spare....


Message édité par swordmaster le 03-10-2011 à 10:43:38
Reply

Marsh Posté le 03-10-2011 à 13:59:45    

up???

Reply

Marsh Posté le 03-10-2011 à 14:17:35    

J'ai l'impression que le fichier de conf pose pb
déjà, md1 (j'imagine que tu as installé le système sur md1) n'apparaît pas dans mdadm.conf
 
tu devrait tester sans le fichier de conf (tu renomme mdadm.conf en mdadm.conf.old par exemple), tu reboot, et après on voit, déjà le auto-read-only par défaut ça me paraît assez louche....

Reply

Marsh Posté le 03-10-2011 à 14:42:16    

re!

 

je viens de renomer le fichier mdadm.conf

 
Code :
  1. mv /etc/mdadm/mdadm.conf /etc/mdadm/mdadm.conf.old
 

puis j'ai reboot la machine

 

ensuite, j'ai supprimé les partitions des disques avec l'option "d" de fdisk
puis, recrée les partition avec la commande que tu m'as donné

 

puis j'ai tapé cette commande:

 
Code :
  1. mdadm --create /dev/md0 --level=5 --chunk=512 --layout=ra --bitmap=internal --raid-devices=4 /dev/sd[a-d]1
 

maintenant quand je fait un

 
Code :
  1. cat /proc/mdstat
 

voici:

 
Code :
  1. root@NAS:~# cat /proc/mdstat
  2. Personalities : [raid6] [raid5] [raid4]
  3. md0 : active (auto-read-only) raid5 sdd1[4](S) sdc1[2] sdb1[1] sda1[0]
  4.       5860538880 blocks super 1.2 level 5, 512k chunk, algorithm 1 [4/3] [UUU_]
  5.       bitmap: 0/15 pages [0KB], 65536KB chunk
 

ou alors un

 
Code :
  1. mdadm --detail /dev/md0
 

donne ceci

 
Code :
  1. root@NAS:~# mdadm --detail /dev/md0
  2. /dev/md0:
  3.         Version : 1.2
  4.   Creation Time : Mon Oct  3 14:38:17 2011
  5.      Raid Level : raid5
  6.      Array Size : 5860538880 (5589.05 GiB 6001.19 GB)
  7.   Used Dev Size : 1953512960 (1863.02 GiB 2000.40 GB)
  8.    Raid Devices : 4
  9.   Total Devices : 4
  10.     Persistence : Superblock is persistent
  11.   Intent Bitmap : Internal
  12.     Update Time : Mon Oct  3 14:38:17 2011
  13.           State : active, degraded
  14. Active Devices : 3
  15. Working Devices : 4
  16. Failed Devices : 0
  17.   Spare Devices : 1
  18.          Layout : right-asymmetric
  19.      Chunk Size : 512K
  20.            Name : NAS:0  (local to host NAS)
  21.            UUID : a29da168:6aded4ce:e2a20469:71b9897d
  22.          Events : 0
  23.     Number   Major   Minor   RaidDevice State
  24.        0       8        1        0      active sync   /dev/sda1
  25.        1       8       17        1      active sync   /dev/sdb1
  26.        2       8       33        2      active sync   /dev/sdc1
  27.        3       0        0        3      removed
  28.        4       8       49        -      spare   /dev/sdd1
 

j'ai donc toujours le meme probleme, ce put*** de sdd1 qui se colle en Spare....
je ne comprend pas pourquoi, a l'origine du post, je t'avais dis que j'avais un disque de spare, et bien c'etait celui-ci, le sdd, mais la, apres tous les fdisk etc etc, je ne comprend pas pourquoi il me le met encore a cet endroit... comme si il avait retenu la toute premiere config'

 

je suis perdu, et je commence a ne plus trop y croire


Message édité par swordmaster le 03-10-2011 à 14:46:02
Reply

Marsh Posté le 03-10-2011 à 15:05:14    

tu avais essayé avec le --zero-superblock ?
 
Ok, sinon méthode radicale : suppression des partoches et surtout du superblock md avec un coup de dd  bien placé :
 
 

for y in /dev/sd[a-d]
do dd if=/dev/zero of=$y bs=1M count=128
dd if=/dev/zero of=$y bs=1M seek=1907200
done


 
 
puis tu reboot et rebelotte  :pt1cable:  [:toukc]  
fdisk -u -S8 /dev/sda / n, p, 1, 8, [enter], t, fd, w / for y in /dev/sd[b-d];do dd if=/dev/sda of=$y count=1;done / partprobe / mdadm --create /dev/md0 --level=5 --chunk=512 --layout=ra --bitmap=internal --raid-devices=4 /dev/sd[a-d]1

Reply

Marsh Posté le 03-10-2011 à 17:05:48    

bon je me lance!

 

j'ai bien sur fais a chaque fois le --zero-superblock...

 

la premiere partie, je l'ai mis dans un fichier executable nommé script, puis je l'ai executé:

 
Code :
  1. root@NAS:~# ./script
  2. 128+0 enregistrements lus
  3. 128+0 enregistrements écrits
  4. 134217728 octets (134 MB) copiés, 1,01518 s, 132 MB/s
  5. dd: écriture de « /dev/sdc »: Aucun espace disponible sur le périphérique
  6. 530+0 enregistrements lus
  7. 529+0 enregistrements écrits
  8. 554786816 octets (555 MB) copiés, 7,56166 s, 73,4 MB/s
  9. 128+0 enregistrements lus
  10. 128+0 enregistrements écrits
  11. 134217728 octets (134 MB) copiés, 55,9035 s, 2,4 MB/s
  12. dd: écriture de « /dev/sdd »: Aucun espace disponible sur le périphérique
  13. 530+0 enregistrements lus
  14. 529+0 enregistrements écrits
  15. 554786816 octets (555 MB) copiés, 0,40142 s, 1,4 GB/s
  16. 128+0 enregistrements lus
  17. 128+0 enregistrements écrits
  18. 134217728 octets (134 MB) copiés, 0,836513 s, 160 MB/s
  19. dd: écriture de « /dev/sde »: Aucun espace disponible sur le périphérique
  20. 530+0 enregistrements lus
  21. 529+0 enregistrements écrits
  22. 554786816 octets (555 MB) copiés, 7,51964 s, 73,8 MB/s
  23. 128+0 enregistrements lus
  24. 128+0 enregistrements écrits
  25. 134217728 octets (134 MB) copiés, 0,972865 s, 138 MB/s
  26. dd: écriture de « /dev/sdf »: Aucun espace disponible sur le périphérique
  27. 530+0 enregistrements lus
  28. 529+0 enregistrements écrits
  29. 554786816 octets (555 MB) copiés, 8,61883 s, 64,4 MB/s
 

par contre la deusiere ligne de commande, c'est a mettre aussi dans un script?
sinon, partprobe n'est pas d'origine dans debian 6, il fait partie du packet parted, je l'ai installé

 

je vais maintenant rebooter la machine pour faire la suite de ton explication


Message édité par swordmaster le 03-10-2011 à 17:11:09
Reply

Marsh Posté le 03-10-2011 à 17:08:42    

ok, je vois que ça avance.
 
Bon, croises les doigts   :lol:  
on verra bien, c'est possible qu'un le superblock md de la grappe précédente pose des pb effectivement, après une manip' pareille il ne doit pus rien rester  :p


Message édité par T3K le 03-10-2011 à 17:11:30
Reply

Marsh Posté le 03-10-2011 à 17:21:55    

mes disques ont changés suite a une modif dans le bios( sd[c-f] maintenant)

 

bon,voici la suite des évènements:

 


création de la partition

 
Code :
  1. root@NAS:~# fdisk -u -S8 /dev/sdc
  2. Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklab                                                el
  3. Building a new DOS disklabel with disk identifier 0xd572b1fa.
  4. Changes will remain in memory only, until you decide to write them.
  5. After that, of course, the previous content won't be recoverable.
  6. Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)
  7. WARNING: DOS-compatible mode is deprecated. It's strongly recommended to
  8.          switch off the mode (command 'c').
  9. Command (m for help): n
  10. Command action
  11.    e   extended
  12.    p   primary partition (1-4)
  13. p
  14. Partition number (1-4): 1
  15. First sector (8-3907029167, default 8): 8
  16. Last sector, +sectors or +size{K,M,G} (8-3907029167, default 3907029167):
  17. Using default value 3907029167
  18. Command (m for help): t
  19. Selected partition 1
  20. Hex code (type L to list codes): fd
  21. Changed system type of partition 1 to fd (Linux raid autodetect)
  22. Command (m for help): w
  23. The partition table has been altered!
  24. Calling ioctl() to re-read partition table.
  25. Syncing disks.
 


puis, je lance le script qui copie la table de partition sur les autres disques:

 


Code :
  1. root@NAS:~# ./script2
  2. 1+0 enregistrements lus
  3. 1+0 enregistrements écrits
  4. 512 octets (512 B) copiés, 0,000503572 s, 1,0 MB/s
  5. 1+0 enregistrements lus
  6. 1+0 enregistrements écrits
  7. 512 octets (512 B) copiés, 0,000491691 s, 1,0 MB/s
  8. 1+0 enregistrements lus
  9. 1+0 enregistrements écrits
  10. 512 octets (512 B) copiés, 0,000503538 s, 1,0 MB/s
 


maintenant, partprobe + mdadm

 
Code :
  1. root@NAS:~# partprobe
  2. Warning: /dev/sda contains GPT signatures, indicating that it has a GPT table.  However, it does not have a valid fake msdos partition table, as it should.  Perhaps it was corrupted -- possibly by a program that doesn't understand GPT partition tables.  Or perhaps you deleted the GPT table, and are now using an msdos partition table.  Is this a GPT partition table?
  3. Error: Argument invalide during seek for read on /dev/sda
  4. root@NAS:~# mdadm --create /dev/md0 --level=5 --chunk=512 --layout=ra --bitmap=internal --raid-devices=4 /dev/sd[c-f]1
  5. mdadm: Defaulting to version 1.2 metadata
  6. mdadm: array /dev/md0 started.
 

j'affiche les details de mdadm:

 
Code :
  1. root@NAS:~# mdadm --create /dev/md0 --level=5 --chunk=512 --layout=ra --bitmap=internal --raid-devices=4 /dev/sd[c-f]1
  2. mdadm: Defaulting to version 1.2 metadata
  3. mdadm: array /dev/md0 started.
  4. root@NAS:~# ^C
  5. root@NAS:~# cat /proc/mdstat
  6. Personalities : [raid6] [raid5] [raid4]
  7. md0 : active (auto-read-only) raid5 sdf1[4](S) sde1[2] sdd1[1] sdc1[0]
  8.       5860538880 blocks super 1.2 level 5, 512k chunk, algorithm 1 [4/3] [UUU_]
  9.       bitmap: 0/15 pages [0KB], 65536KB chunk
  10. unused devices: <none>
  11. root@NAS:~# mdadm --detail /dev/md0
  12. /dev/md0:
  13.         Version : 1.2
  14.   Creation Time : Mon Oct  3 17:17:42 2011
  15.      Raid Level : raid5
  16.      Array Size : 5860538880 (5589.05 GiB 6001.19 GB)
  17.   Used Dev Size : 1953512960 (1863.02 GiB 2000.40 GB)
  18.    Raid Devices : 4
  19.   Total Devices : 4
  20.     Persistence : Superblock is persistent
  21.   Intent Bitmap : Internal
  22.     Update Time : Mon Oct  3 17:17:42 2011
  23.           State : active, degraded
  24. Active Devices : 3
  25. Working Devices : 4
  26. Failed Devices : 0
  27.   Spare Devices : 1
  28.          Layout : right-asymmetric
  29.      Chunk Size : 512K
  30.            Name : NAS:0  (local to host NAS)
  31.            UUID : 80c902de:34d60e4b:bcc1c064:bc611266
  32.          Events : 0
  33.     Number   Major   Minor   RaidDevice State
  34.        0       8       33        0      active sync   /dev/sdc1
  35.        1       8       49        1      active sync   /dev/sdd1
  36.        2       8       65        2      active sync   /dev/sde1
  37.        3       0        0        3      removed
  38.        4       8       81        -      spare   /dev/sdf1
 

j'ai l'impression que c'est la même chose que tout a l'heure... je sens que je vais pleurer... :pfff:  :pfff:  :pfff:

 

p.s: pour le read-only, c'est pas grave apparement:

 

"Hi,

 

this is not a bug. Raid arrays marked as auto-read-only will
automatically switch to read-write on first write.

 

Thorsten"

 

trouvé sur un forum debian


Message édité par swordmaster le 03-10-2011 à 17:31:20
Reply

Marsh Posté le 03-10-2011 à 17:58:38    

la modif dans le bios, c'est pas un passage de IDE à AHCI (ou l'inverse) ?
ce qui détermine l'ordre des disques avec ce genre de changement, c'est l'ordre de chargement des modules des contrôleurs inscrit dans le script init du initrd
(très pratique de le changer quand tu as un contrôleur raid hardware par exemple et que tu veux absolument faire passer son/ses VD avant des disques SATA  :lol: )
 
ouais bizare ce bug sinon, par contre ça n'explique pas pourquoi le dernier disque est toujours en spare, ça donne quoi un mdadm -E /dev/sd[c-f] ?
(-E = --examine)
 
parceque c'est bizare d'avoir un disque en spare alors que la grappe est affichée en 4 disques  :whistle: (normalement les disques de spare ne rentrent pas dans le comtpe)


Message édité par T3K le 03-10-2011 à 18:03:06
Reply

Marsh Posté le 03-10-2011 à 18:03:48    

oui, je suis passé de AhCI a IDE, voir si le probleme n'etait pas d'ici
 
j'ai aussi lu qu apres une resync, certaines personnes ont vu leur disque spare disparaitre au profit d'un disque dans la grappe
mais je ne sais pas comment forcer une sync
 
aussi, je suis en train de formater /dev/md0 en ext4 voir si ca change quelque chose
 
je te donne le resultat de mdadm -E /dev/sd[c-f] des que j'ai la main :pt1cable:

Reply

Marsh Posté le 03-10-2011 à 18:35:31    

voila le resultat:
 

Code :
  1. root@NAS:/etc/mdadm# mdadm -E /dev/sd[c-f]
  2. mdadm: No md superblock detected on /dev/sdc.
  3. mdadm: No md superblock detected on /dev/sdd.
  4. mdadm: No md superblock detected on /dev/sde.
  5. mdadm: No md superblock detected on /dev/sdf.


 
tu vois, apres le:
 

Code :
  1. root@NAS:/etc/mdadm# mkfs -t ext4 -q /dev/md0


 
l'array n'est plus en read-only, je vais voir apres le resync si le disque de spare disparait....
 

Code :
  1. root@NAS:/etc/mdadm# cat /proc/mdstat
  2. Personalities : [raid6] [raid5] [raid4]
  3. md0 : active raid5 sdf1[4] sde1[2] sdd1[1] sdc1[0]
  4.       5860538880 blocks super 1.2 level 5, 512k chunk, algorithm 1 [4/3] [UUU_]
  5.       [>....................]  recovery =  1.1% (22996008/1953512960) finish=324.0min speed=99303K/sec
  6.       bitmap: 15/15 pages [60KB], 65536KB chunk


 
euh! auto-correction:
il semble que ca soit bon la...
 

Code :
  1. root@NAS:/etc/mdadm# mdadm --detail /dev/md0
  2. /dev/md0:
  3.         Version : 1.2
  4.   Creation Time : Mon Oct  3 17:17:42 2011
  5.      Raid Level : raid5
  6.      Array Size : 5860538880 (5589.05 GiB 6001.19 GB)
  7.   Used Dev Size : 1953512960 (1863.02 GiB 2000.40 GB)
  8.    Raid Devices : 4
  9.   Total Devices : 4
  10.     Persistence : Superblock is persistent
  11.   Intent Bitmap : Internal
  12.     Update Time : Mon Oct  3 18:37:33 2011
  13.           State : active, degraded, recovering
  14. Active Devices : 3
  15. Working Devices : 4
  16. Failed Devices : 0
  17.   Spare Devices : 1
  18.          Layout : right-asymmetric
  19.      Chunk Size : 512K
  20. Rebuild Status : 1% complete
  21.            Name : NAS:0  (local to host NAS)
  22.            UUID : 80c902de:34d60e4b:bcc1c064:bc611266
  23.          Events : 954
  24.     Number   Major   Minor   RaidDevice State
  25.        0       8       33        0      active sync   /dev/sdc1
  26.        1       8       49        1      active sync   /dev/sdd1
  27.        2       8       65        2      active sync   /dev/sde1
  28.        4       8       81        3      spare rebuilding   /dev/sdf1


 
diable est ce que ca serait bon??? :bounce:


Message édité par swordmaster le 03-10-2011 à 18:38:27
Reply

Marsh Posté le 03-10-2011 à 18:38:53    

ah oui en fait c'est un mdadm -E /dev/sd[c-f]1 qu'il faut faire, oubli de ma part  [:fez666]  
On va toujours voir du côté des superblock md, au détail, disque par disque
 
après il y a peut-être un problème venant de la bitmap, tu pourra toujours la virer pour voir (mdadm -G /dev/md0 -b none)
 
 
EDIT : j'ai rien dit, c'est bon \o/
 
ok, donc en fait sur cette implémentation de md là, le rebuild commence à la première opé d'écriture, ok, bon à savoir  ;)
 
Là pour le moment ça se présente bien ton affaire
à la fin, sdh1 devrait passer en active sync normalement, plus que 5 petites heures de suspens  [:t3k]


Message édité par T3K le 03-10-2011 à 18:42:02
Reply

Marsh Posté le 03-10-2011 à 18:48:10    

j'ai pas compris ce que tu insinue par "l'oublie de ta part"
 
en effet, il fallait le savoir que ce mdadm était aussi tordu...
 
je te tiens au courant des que les 5 loooooooongues heures se seront ecoulées

Reply

Marsh Posté le 03-10-2011 à 18:51:59    

swordmaster a écrit :

j'ai pas compris ce que tu insinue par "l'oublie de ta part"


 
En fait j'avais inscrit /dev/sd[c-f] au lieu de /dev/sd[c-f]1  
et forcément, md il n'y pige plus rien, si on ne lui indique pas les bons blockdevice :lol:

Reply

Marsh Posté le 04-10-2011 à 09:13:08    

bon ben ca semble plutot pas mal...
 

Code :
  1. root@NAS:/etc/mdadm# cat /proc/mdstat
  2. Personalities : [raid6] [raid5] [raid4]
  3. md0 : active raid5 sdf1[4] sde1[2] sdd1[1] sdc1[0]
  4.       5860538880 blocks super 1.2 level 5, 512k chunk, algorithm 1 [4/4] [UUUU]
  5.       bitmap: 1/15 pages [4KB], 65536KB chunk
  6. unused devices: <none>
  7. root@NAS:/etc/mdadm# mdadm --detail /dev/md0
  8. /dev/md0:
  9.         Version : 1.2
  10.   Creation Time : Mon Oct  3 17:17:42 2011
  11.      Raid Level : raid5
  12.      Array Size : 5860538880 (5589.05 GiB 6001.19 GB)
  13.   Used Dev Size : 1953512960 (1863.02 GiB 2000.40 GB)
  14.    Raid Devices : 4
  15.   Total Devices : 4
  16.     Persistence : Superblock is persistent
  17.   Intent Bitmap : Internal
  18.     Update Time : Tue Oct  4 00:58:04 2011
  19.           State : active
  20. Active Devices : 4
  21. Working Devices : 4
  22. Failed Devices : 0
  23.   Spare Devices : 0
  24.          Layout : right-asymmetric
  25.      Chunk Size : 512K
  26.            Name : NAS:0  (local to host NAS)
  27.            UUID : 80c902de:34d60e4b:bcc1c064:bc611266
  28.          Events : 10082
  29.     Number   Major   Minor   RaidDevice State
  30.        0       8       33        0      active sync   /dev/sdc1
  31.        1       8       49        1      active sync   /dev/sdd1
  32.        2       8       65        2      active sync   /dev/sde1
  33.        4       8       81        3      active sync   /dev/sdf1
  34. root@NAS:/etc/mdadm# hdparm -Tt /dev/md0
  35. /dev/md0:
  36. Timing cached reads:   4762 MB in  2.00 seconds = 2381.68 MB/sec
  37. Timing buffered disk reads: 972 MB in  3.00 seconds = 323.80 MB/sec


 
maintenant il me reste a faire la meme avec mes 2 disques en RAID1...

Reply

Marsh Posté le 04-10-2011 à 13:04:39    

Ok, nickel
 
Pour le raid1, rien de sorcier : mdadm --create /dev/md1 --level=1 --bitmap=internal --raid-devices=2 /dev/sd[ab]1
 
Le système tu l'as installé où ? il y a moyen d'installer le système sur du raid1 soft, mais également sur du raid0, raid5, raid6 (+ raid10 et raid4 pour les tarés mais ça demande de la grosse bidouille)

Reply

Marsh Posté le 04-10-2011 à 13:17:12    

je l'ai installé sur un disque externe en USB2
donc pas de souci de ce coté
 
je vais essayer de comprendre un peut pour quoi le fait de faire commencer la partition a 8 aligne les secteur sur 4k, a moins que tu as plus d'explications a me donner, bien sur ^^

Reply

Marsh Posté le 04-10-2011 à 20:54:12    

c'est juste un modulo, 8 secteurs logiques = 4Ko. Comme le kernel et les programmes de partitionnement sont prévu pour fonctionner sur des secteurs logiques de 512, et que les secteurs physiques font 4Ko, tu as des secteurs physiques qui sont donc découpés en 8 secteurs logiques. Si tu veux commencer un volume sur le début d'un secteur physique et non en plein milieu (=aligner, c'est juste ça l'allignement, en fait), tu dois donc choisir un secteur logique multiple de 8 différent de 0 (cad 8, 16, 24, 32, 48, 56, 64, etc...).
Si tu commences sur le secteur logique 1, 2, 3, 4, 5, 6 ou 7, tu sera toujours sur le secteur physique 0, que tu entamera en plein milieu, si tu créer un système de fichier là dessus, les blocs des systèmes de fichier seront aussi décalés par rapport aux secteurs physique, c'est pour ça que je t'ai dis de commencer à 8.
En terme de taille, dans ton cas un bloc ext2/3/4 fait par défault 4Ko, donc un bloc ext = 8 secteurs logiques = 1 secteur physique
 
C'est pareil avec les alignements de raid hardware (attention, ça ne concerne absolument pas les raid software sur disques avec secteurs de 512), si par exemple tu fais un raid0 hardware avec un chunk size de 32Ko et que tu veux faire un alignement, il faudra laisser les 32 premiers Ko libres, soit les 64 premiers secteurs (plage 0-63) et commencer sur le 65eme secteur (le secteur n°64).
Comme tous les comptes commencent à 0, en fait le premier secteur est bien le n°0
 
Les secteurs de 4Ko des disques 4Ko ou des SSD se gèrent exactement de la même façons qu'un alignement de raid (hardware).
 
L'autre solution d'alignement systématique, c'est celle employée par microsoft depuis vista, la solution de facilité : laisser le premier Mo libre (les 2048 premiers secteurs logiques, donc de 0 à 2047) et commencer la première partoche sur le secteurs 2048. ça fonctionne à tous les coups parceque n'importe quelle taille de secteur physique ou de chunk size est un sous-multiple de 2048. C'est efficace vu que ça fonctionne dans tous les cas (le plus gros chunk size existant sur raid hardware étant 1Mo). Il me semble que dans les releases récentes de distro comme ubuntu ça se passe aussi comme ça.


Message édité par T3K le 04-10-2011 à 21:07:44
Reply

Marsh Posté le 05-10-2011 à 12:18:44    

super, merci pour les explication, c'est plus clair maintenant!
 
j'ai un nouveau probleme avec le raid1 cette fois ci:
 

Code :
  1. root@NAS:~# mdadm --create /dev/md1 --level=1 --bitmap=internal --raid-devices=2                                  /dev/sd[ef]1
  2. mdadm: Note: this array has metadata at the start and
  3.     may not be suitable as a boot device.  If you plan to
  4.     store '/boot' on this device please ensure that
  5.     your boot-loader understands md/v1.x metadata, or use
  6.     --metadata=0.90
  7. Continue creating array? y
  8. mdadm: Defaulting to version 1.2 metadata
  9. mdadm: array /dev/md1 started.
  10. root@NAS:~# cat /proc/mdstat
  11. Personalities : [raid6] [raid5] [raid4] [raid1]
  12. md1 : active (auto-read-only) raid1 sdf1[1] sde1[0]
  13.       732570841 blocks super 1.2 [2/2] [UU]
  14.         resync=PENDING
  15.       bitmap: 6/6 pages [24KB], 65536KB chunk
  16. md0 : active (auto-read-only) raid5 sda1[0] sdd1[4] sdc1[2] sdb1[1]
  17.       5860538880 blocks super 1.2 level 5, 512k chunk, algorithm 1 [4/4] [UUUU]
  18.       bitmap: 0/15 pages [0KB], 65536KB chunk
  19. unused devices: <none>
  20. root@NAS:~# cat /proc/mdstat
  21. Personalities : [raid6] [raid5] [raid4] [raid1]
  22. md1 : active (auto-read-only) raid1 sdf1[1] sde1[0]
  23.       732570841 blocks super 1.2 [2/2] [UU]
  24.         resync=PENDING
  25.       bitmap: 6/6 pages [24KB], 65536KB chunk
  26. md0 : active (auto-read-only) raid5 sda1[0] sdd1[4] sdc1[2] sdb1[1]
  27.       5860538880 blocks super 1.2 level 5, 512k chunk, algorithm 1 [4/4] [UUUU]
  28.       bitmap: 0/15 pages [0KB], 65536KB chunk
  29. unused devices: <none>
  30. root@NAS:~# mkfs -t ext4 -q /dev/md1
  31. root@NAS:~# cat /proc/mdstat
  32. Personalities : [raid6] [raid5] [raid4] [raid1]
  33. md1 : active raid1 sdf1[1] sde1[0]
  34.       732570841 blocks super 1.2 [2/2] [UU]
  35.       bitmap: 0/6 pages [0KB], 65536KB chunk
  36. md0 : active (auto-read-only) raid5 sda1[0] sdd1[4] sdc1[2] sdb1[1]
  37.       5860538880 blocks super 1.2 level 5, 512k chunk, algorithm 1 [4/4] [UUUU]
  38.       bitmap: 0/15 pages [0KB], 65536KB chunk
  39. unused devices: <none>
  40. root@NAS:~# reboot
  41. Broadcast message from root@NAS (pts/0) (Wed Oct  5 12:14:47 2011):
  42. The system is going down for reboot NOW!


 
et au reboot suivant:
 

Code :
  1. Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
  2. permitted by applicable law.
  3. Last login: Wed Oct  5 08:59:43 2011 from 192.168.1.10
  4. root@NAS:~# cat /proc/mdstat
  5. Personalities : [raid6] [raid5] [raid4]
  6. md0 : active (auto-read-only) raid5 sdc1[0] sdf1[4] sde1[2] sdd1[1]
  7.       5860538880 blocks super 1.2 level 5, 512k chunk, algorithm 1 [4/4] [UUUU]
  8.       bitmap: 0/15 pages [0KB], 65536KB chunk
  9. unused devices: <none>


 
le raid1 a disparu,  :pt1cable:  :pt1cable:  :pt1cable:

Reply

Marsh Posté le 05-10-2011 à 16:14:17    

ok, fais déjà un mdadm -E /dev/sd[ef]1
 
si tu n'as pas de résultats, alors c'est que les superblock de md1 sur sde1 et sdf1 ne sont pas persistants, pas assemblés au démarrage ? (pourquoi ? mauvais ordre de chargement des modules dans le initrd ? bug dans la distro ? mystère)
Ou sinon, il y a peutêtre besoin d'un fichier de conf mdadm.conf, dans ce cas autant en refaire un proprement :
 
donc, /etc/mdadm.conf


DEVICE /dev/sd[a-f]1
ARRAY /dev/md0 level=5 devices=/dev/sda1,/dev/sdb1,/dev/sdc1,/dev/sdd1
ARRAY /dev/md1 level=1 devices=/dev/sde1,/dev/sdf1


 
après avoir écrit le fichier, tu peux recharger la bonne conf sans reboot avec un mdadm --assemble, tu vois tout de suite si ton raid1 est assemblé ou non, si oui tu reboot pour voir s'il est bien réassemblé automatiquement. Après à mon sens, il n'est pas normal -ni logique- que le raid5 soit persistant mais pas le raid1  [:toukc]


Message édité par T3K le 05-10-2011 à 16:24:58
Reply

Marsh Posté le 05-10-2011 à 16:33:27    

héhé t'es trop fort!!!
 
avant de lire ta reponse, j'ai passé un:
 

Code :
  1. /usr/share/mdadm/mkconf force-generate /etc/mdadm/mdadm.conf


 
et au reboot suivant, le raid1 était la!
 
par contre ta commande ne me retourne rien sur le raid1:
 

Code :
  1. root@NAS:~# mdadm -E /dev/sd[ef]1
  2. /dev/sde1:
  3.           Magic : a92b4efc
  4.         Version : 1.2
  5.     Feature Map : 0x1
  6.      Array UUID : 80c902de:34d60e4b:bcc1c064:bc611266
  7.            Name : NAS:0  (local to host NAS)
  8.   Creation Time : Mon Oct  3 17:17:42 2011
  9.      Raid Level : raid5
  10.    Raid Devices : 4
  11. Avail Dev Size : 3907027112 (1863.02 GiB 2000.40 GB)
  12.      Array Size : 11721077760 (5589.05 GiB 6001.19 GB)
  13.   Used Dev Size : 3907025920 (1863.02 GiB 2000.40 GB)
  14.     Data Offset : 2048 sectors
  15.    Super Offset : 8 sectors
  16.           State : clean
  17.     Device UUID : a8380e0e:695c0787:ee4bb5d5:c12b6813
  18. Internal Bitmap : 8 sectors from superblock
  19.     Update Time : Tue Oct  4 09:02:07 2011
  20.        Checksum : c46a13a0 - correct
  21.          Events : 10082
  22.          Layout : right-asymmetric
  23.      Chunk Size : 512K
  24.    Device Role : Active device 2
  25.    Array State : AAAA ('A' == active, '.' == missing)
  26. /dev/sdf1:
  27.           Magic : a92b4efc
  28.         Version : 1.2
  29.     Feature Map : 0x1
  30.      Array UUID : 80c902de:34d60e4b:bcc1c064:bc611266
  31.            Name : NAS:0  (local to host NAS)
  32.   Creation Time : Mon Oct  3 17:17:42 2011
  33.      Raid Level : raid5
  34.    Raid Devices : 4
  35. Avail Dev Size : 3907027112 (1863.02 GiB 2000.40 GB)
  36.      Array Size : 11721077760 (5589.05 GiB 6001.19 GB)
  37.   Used Dev Size : 3907025920 (1863.02 GiB 2000.40 GB)
  38.     Data Offset : 2048 sectors
  39.    Super Offset : 8 sectors
  40.           State : clean
  41.     Device UUID : 1b18af83:90a9bc18:1ccde12e:31f19bf4
  42. Internal Bitmap : 8 sectors from superblock
  43.     Update Time : Tue Oct  4 09:02:07 2011
  44.        Checksum : 62086db - correct
  45.          Events : 10082
  46.          Layout : right-asymmetric
  47.      Chunk Size : 512K
  48.    Device Role : Active device 3
  49.    Array State : AAAA ('A' == active, '.' == missing)


 
bizare quand même...
 
 
 

Reply

Marsh Posté le 05-10-2011 à 19:30:35    

ouais, plus que bizare, il te retourne des infos liées au raid5
 
oui particularité que j'ai remarqué sur mdadm : il n'aime pas trop les changements de nom des block device : c'est écrit en dur dans les superblock des même device. Je n'ai pas encore personellement rencontré de pb avec ça jusque là, ais toi il me semble que c'est le cas là ^^
Essaye de rechanger de mode ton contrôleur de disque (celui avec les 4 disques en raid5) pour les repasser sur les nom qu'ils avaient au moment de la création du raid et recommences ton raid1

Reply

Marsh Posté le 06-10-2011 à 19:01:02    

ca a l'air d'etre bon maintenant:
 
info sur les disques en RAID1
 

Code :
  1. /dev/sde1:
  2.           Magic : a92b4efc
  3.         Version : 1.2
  4.     Feature Map : 0x1
  5.      Array UUID : e3b3cc28:09cdc7c1:932d469d:37146469
  6.            Name : NAS:1  (local to host NAS)
  7.   Creation Time : Wed Oct  5 13:02:41 2011
  8.      Raid Level : raid1
  9.    Raid Devices : 2
  10. Avail Dev Size : 1465141954 (698.63 GiB 750.15 GB)
  11.      Array Size : 1465141682 (698.63 GiB 750.15 GB)
  12.   Used Dev Size : 1465141682 (698.63 GiB 750.15 GB)
  13.     Data Offset : 2048 sectors
  14.    Super Offset : 8 sectors
  15.           State : clean
  16.     Device UUID : 623391a2:60ae75a1:403d66e9:6349c38c
  17. Internal Bitmap : 8 sectors from superblock
  18.     Update Time : Wed Oct  5 16:28:48 2011
  19.        Checksum : dab00cd2 - correct
  20.          Events : 4156
  21.    Device Role : Active device 0
  22.    Array State : AA ('A' == active, '.' == missing)
  23. /dev/sdf1:
  24.           Magic : a92b4efc
  25.         Version : 1.2
  26.     Feature Map : 0x1
  27.      Array UUID : e3b3cc28:09cdc7c1:932d469d:37146469
  28.            Name : NAS:1  (local to host NAS)
  29.   Creation Time : Wed Oct  5 13:02:41 2011
  30.      Raid Level : raid1
  31.    Raid Devices : 2
  32. Avail Dev Size : 1465141954 (698.63 GiB 750.15 GB)
  33.      Array Size : 1465141682 (698.63 GiB 750.15 GB)
  34.   Used Dev Size : 1465141682 (698.63 GiB 750.15 GB)
  35.     Data Offset : 2048 sectors
  36.    Super Offset : 8 sectors
  37.           State : clean
  38.     Device UUID : 4ddf59cf:9f39f0db:555ab27c:5b551dee
  39. Internal Bitmap : 8 sectors from superblock
  40.     Update Time : Wed Oct  5 16:28:48 2011
  41.        Checksum : 36996d0b - correct
  42.          Events : 4156
  43.    Device Role : Active device 1
  44.    Array State : AA ('A' == active, '.' == missing)


 
info sur les disques en RAID5:
 

Code :
  1. /dev/sda1:
  2.           Magic : a92b4efc
  3.         Version : 1.2
  4.     Feature Map : 0x1
  5.      Array UUID : 80c902de:34d60e4b:bcc1c064:bc611266
  6.            Name : NAS:0  (local to host NAS)
  7.   Creation Time : Mon Oct  3 17:17:42 2011
  8.      Raid Level : raid5
  9.    Raid Devices : 4
  10. Avail Dev Size : 3907027112 (1863.02 GiB 2000.40 GB)
  11.      Array Size : 11721077760 (5589.05 GiB 6001.19 GB)
  12.   Used Dev Size : 3907025920 (1863.02 GiB 2000.40 GB)
  13.     Data Offset : 2048 sectors
  14.    Super Offset : 8 sectors
  15.           State : clean
  16.     Device UUID : 9be342b3:f21f2571:8bc306e5:0ca72cd6
  17. Internal Bitmap : 8 sectors from superblock
  18.     Update Time : Tue Oct  4 09:02:07 2011
  19.        Checksum : 25d27504 - correct
  20.          Events : 10082
  21.          Layout : right-asymmetric
  22.      Chunk Size : 512K
  23.    Device Role : Active device 0
  24.    Array State : AAAA ('A' == active, '.' == missing)
  25. /dev/sdb1:
  26.           Magic : a92b4efc
  27.         Version : 1.2
  28.     Feature Map : 0x1
  29.      Array UUID : 80c902de:34d60e4b:bcc1c064:bc611266
  30.            Name : NAS:0  (local to host NAS)
  31.   Creation Time : Mon Oct  3 17:17:42 2011
  32.      Raid Level : raid5
  33.    Raid Devices : 4
  34. Avail Dev Size : 3907027112 (1863.02 GiB 2000.40 GB)
  35.      Array Size : 11721077760 (5589.05 GiB 6001.19 GB)
  36.   Used Dev Size : 3907025920 (1863.02 GiB 2000.40 GB)
  37.     Data Offset : 2048 sectors
  38.    Super Offset : 8 sectors
  39.           State : clean
  40.     Device UUID : 06ae3e21:674fe272:c251a63d:b8f161f3
  41. Internal Bitmap : 8 sectors from superblock
  42.     Update Time : Tue Oct  4 09:02:07 2011
  43.        Checksum : b6047c7 - correct
  44.          Events : 10082
  45.          Layout : right-asymmetric
  46.      Chunk Size : 512K
  47.    Device Role : Active device 1
  48.    Array State : AAAA ('A' == active, '.' == missing)
  49. /dev/sdc1:
  50.           Magic : a92b4efc
  51.         Version : 1.2
  52.     Feature Map : 0x1
  53.      Array UUID : 80c902de:34d60e4b:bcc1c064:bc611266
  54.            Name : NAS:0  (local to host NAS)
  55.   Creation Time : Mon Oct  3 17:17:42 2011
  56.      Raid Level : raid5
  57.    Raid Devices : 4
  58. Avail Dev Size : 3907027112 (1863.02 GiB 2000.40 GB)
  59.      Array Size : 11721077760 (5589.05 GiB 6001.19 GB)
  60.   Used Dev Size : 3907025920 (1863.02 GiB 2000.40 GB)
  61.     Data Offset : 2048 sectors
  62.    Super Offset : 8 sectors
  63.           State : clean
  64.     Device UUID : a8380e0e:695c0787:ee4bb5d5:c12b6813
  65. Internal Bitmap : 8 sectors from superblock
  66.     Update Time : Tue Oct  4 09:02:07 2011
  67.        Checksum : c46a13a0 - correct
  68.          Events : 10082
  69.          Layout : right-asymmetric
  70.      Chunk Size : 512K
  71.    Device Role : Active device 2
  72.    Array State : AAAA ('A' == active, '.' == missing)
  73. /dev/sdd1:
  74.           Magic : a92b4efc
  75.         Version : 1.2
  76.     Feature Map : 0x1
  77.      Array UUID : 80c902de:34d60e4b:bcc1c064:bc611266
  78.            Name : NAS:0  (local to host NAS)
  79.   Creation Time : Mon Oct  3 17:17:42 2011
  80.      Raid Level : raid5
  81.    Raid Devices : 4
  82. Avail Dev Size : 3907027112 (1863.02 GiB 2000.40 GB)
  83.      Array Size : 11721077760 (5589.05 GiB 6001.19 GB)
  84.   Used Dev Size : 3907025920 (1863.02 GiB 2000.40 GB)
  85.     Data Offset : 2048 sectors
  86.    Super Offset : 8 sectors
  87.           State : clean
  88.     Device UUID : 1b18af83:90a9bc18:1ccde12e:31f19bf4
  89. Internal Bitmap : 8 sectors from superblock
  90.     Update Time : Tue Oct  4 09:02:07 2011
  91.        Checksum : 62086db - correct
  92.          Events : 10082
  93.          Layout : right-asymmetric
  94.      Chunk Size : 512K
  95.    Device Role : Active device 3
  96.    Array State : AAAA ('A' == active, '.' == missing)


 
aurais-je fini avec mdadm????

Reply

Marsh Posté le 06-10-2011 à 21:27:57    

ça y ressemble bien en effet  :D

Reply

Marsh Posté le    

Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed