Bonjour,
 
le titre de du topic peut vous interpeller, ma je suis dans une situation bien particulière.
 
Je travail actuellement sur un pc possédant 12 Go de ram pour de l'analyse de très grosses images de 8 à 12 Go (tiff plusieurs milliers d images). Pour travailler convenablement je dois charger ces images dans la ram. Je me retrouve donc souvent limité. J ai actuellement deux options soit couper les images, mais ca rallonge considérablement le temps de travail sur les images et multiplies les risques d'erreurs, soit ne pas charger l integralite de l'image dans la ram, mais les temps d'accès disques rendent impossible l'analyse.
 
Comme c'est pas facile de trouver des barrette de 8 Go, je me dit q'un ssd pourrait très bien faire l'affaire. Je placerais les images sur le SSD et travaillerais avoir à sans les mettre dans la ram. Ce n'est même pas, a priori, pour en faire un disque système.
 
Mais le truc c'est que je ne m'y connais pas en ssd du coup, pensez vous que ce soit une solution intelligente ?  
 
Le trim est il indispensable ? Pour les performances, Vaut-il mieux prendre un disque sata II avec trim ou un pci express sans trim ?
 
Que pensez vous de celui là //www.ldlc.ch/fiche/PB00092430.html  
 
Je suis désolé si mes questions vous semblent naïves, mais ne connaissant pas cette techno, je préfère me renseigner.
 
 
 
Merci de votre aide.

Salut : première question -> Quelle est la résolution de tes images ? x, y, z ?

Ca dépend pas mal mais généralement c'est 512*512*120 ou 60, de une à trois couleurs et environs 500 t.  
 
Ca deviens tous de suite super lourd  a traiter en fichiers séparés pour les projections, tracking, etc...
Je sais bien que le ssd ne remplacera pas la ram, mais si je pex gagner un facteur 10 par rapport au disque dur, je m'en contenterais.

oula !

Je ne comprends pas la résolution que tu me donne

Je ne comprends pas du tout : "c'est 512*512*120 ou 60, de une à trois couleurs et environs 500 t"

Pour moi, sauf image RAW (issue de numérisation), une image a une résolution en xy plus une profondeur de bits correspondant au nombre de couleurs... Généralement 24 ou 32 bits.

Donc je ne vois pas du tout à quoi correspondent les chiffres que tu me donnes

Excuse moi c'est l'habitude, je penssais que tu comprendrai .
 Ce sont des images en 16 bit de 512*512 pour la résolution xy, 60 ou 120 pour la résolution en Z.  
Ensuite quand je dis de une à trois couleurs ça veux dire que tu multiplie par deux ou trois les données.  Il s'agit en fait de l'acquisition séquentielles de deux à trois longueurs d'ondes différentes. Chacune des longueurs d'onde étant codée en  niveau de gris 16 bit
Le 500 T correspond aux nombre de timepoints
 
en fait mes images se composent de la façon suivante :  
(n*(512*512*60))*t
 
n est le nombre de couleurs et t le nombre de timepoints, le tout en 16 bit.
 
Mais pour faire plus simple j'ai des stacks de 20000 a 60000 images de 512*512

Je suis dépassé, je ne peux pas t'aider

Mais aucun problème C'est à moi d'être à la page

Dans ce cas, qu'appelles tu "z" ?

Ce que je n'avais pas capté au début, c'est que je pensais que tu avais une seule image en mémoire, mais là, tu souhaites en avoir entre 60 et 120 multiplié par trois ? Dont la résolution de chacune est de 512x512x16.

Excuse moi hein, mais j'ai besoin de comprendre pour aider, et ce n'est pas commun mais très intéressant

Deux questions :
 
Tes images, c'est de gros fichiers aggrégés, ou tout un tas de petits fichiers a charger ?
 
Tes traitements sont faits par un soft "tout fait", ou du code fait maison ?
 
(Y'aurait ptête moyen d'optimiser des deux cotés).

D'après ce que j'en ai compris entre les lignes, ce sont des tas de petits fichiers et un soft propriétaire (moins sûr) ! Mais très bonne question effectivement
 
Par contre, question matos tu as quoi ? Processeur, RAM, carte mère ? Quelle résolution pour l'écran de travail ? Quelle carte graphique ? Et quel logiciel tant qu'on y est

Pas de probleme.
 
Pour que ce soit plus clair : je fais de la microscopie. Ce que j'appel Z sont en fait les différents plans (xy)de l'objet que j'observe au cours du temps (t)
 
 et les fichiers images sur lesquels je travaillent sont des fichiers tif mutlipages. Pour faire une analogie simple, mes 20 000 a 60 000 images sont encapsules dans un seul fichier tiff a la maniere d'un avi.  
 
Chaque image est en fait un fichier non compressé de 512*512*16 bit.  
Je me retrouvai donc avec un seul fichier de 8-12 Go sur le ssd  qui serait lu un peux a la manière d'un film.
 
 
Est ce que c'est plus clair?  Le ssd serait il performant pour ce genre d'utilisation ?
 
edit  
Il y a différents softs utilises, mais c'est principalement avec imagej (http://rsbweb.nih.gov/ij/index.html) soft en java (logiciel libre) qui permet de charger les fichiers dans leur integralites dans la ram (le top) ou de les lires en direct sur le disque dur, mais la le temps de lecture devient super limitant. C'est pourquoi je m'oriente vers les ssd.
 
Pour la config c'est un HP z600, xeon E5520 @ 2.3 Ghz, carte metre proprio HP (chipset intel 5520 Tylesburg-36D et Intel Xeon Nehalem UnCore),  12 Go DDR3 1.3 (4*3), nvidia quadro FX 1800 ecran HP LP3065 @ 2560*1600, win 7 64 pro.

Peut etre en t'orientant vers de l'HyperDrive5 accompagne d'un bon controlleur raid... Sinon, suivant la quantite d'espace disque qu'il te faut, jette un coup d'oeil au ramdisk en augmentant de maniere significative ta memoire vive actuelle.
 
Solutiions onereuses pour du perso mais peut etre envisageable pour du pro...

Tu penses que le ssd n'est pas assez rapide alors...
 
Tu proposes donc de faire un raid 0 avec au moins deux hyperdrives.  
Pourquoi cette solution plutot que le ssd pci express en raid 0.
 
En théorie les débits sont quasis équivalent, non ?
 
 
D'ailleurs le prix de l'hyperdrive5 n'est pas excessif 329 £ pour 64 GB.
Edit : je n'avais pas vu que la ram etait en sus....Meme si je travail dans un labo riche, cafait un peux cher....
 
 
Mais ma question entre les perfs sataII raid 0 et pci express reste entiere....
 
edit : je siais bien que la solution sdd ne me permettra pas de remplacer la ram en terme de performance, mais ma question entre le ssd raid0 pci express VS sataII trim reste posee

Pour les hyperdrives, c'est aussi sur le nombre d'I/O qui sont assez interressant... Bah, faut trouver un richeuuuuh sponsor, pour ton labo  
 
Sinon, en plus accessible, tu peux tester les solutions de ramdisk tout de suite, avec les 12GB et les versions d'essais de differents ramdisk.
 
J'utilise par moment, celui de Cenatek (apparement devenu Dataram), je l'utilise pour des tests sur une vielle DB en VFP (toute pourrave mais bon, peut pas faire autrement ) et pour poutrer les chargements de maps sur BF2 (bah ouais, on s'amuse comme on peut pour piquer les jets et autres vehicules )...  Apres si ca tourne, hop, tu bascules sur des 'rettes de 8.
 
Exemples de ramdisk :
http://members.fortunecity.com/ram [...] nd_002.htm, 35$ la version 32/64, version d'essai dispo, limitation theorique de 64GB.
 
http://memory.dataram.com/products [...] re/ramdisk, version de test limite a 4GB, version a 10$ ( paye 25$ y a 3 ans), limite a 32GB.
 
Apres les 'rettes de 8GB, c'est une autre histoire Mais tu peux test a pas cher dans un premier temps...

Pourquoi ne pas faire un raid 0 ou raid 5 de quatre disques dures classiques (F3 ou autre) ?

Plutot un bon controlleur SAS avec du 15k rpm...

C'est quoi l'avantage?

Avec le SSD tu gagnerais en temps de traitement d'images et tout. Ensuite faut voir la taille dont tu as besoin.

Merci pour ces reponses,
 
Dans l'ordre :
 
Les ramdisk : je ne vois pas ce qu'ils apporterais car je peux déjà charger sans difficultés les fichiers en ram, mon probleme est aue je n'en ai pas assez.
 
Le raid 0 : seuls3 disques  sont acceptes en raid par la mobo et le disques systeme est en raid 1(pour la securite), et je ne pense pas que le gain de performance avec un raid 5 de 3 DD soit suffisant et comparable par rapport a celui que pourrait apporter un ssd.
 
Par contre je ne sais pas ce qu'est le SAS, je me renseigne.
 
 
Merci de vos réponses
 
PS un SSD de 64 Go ferait deja bien l'affaire...

Si je me plante pas tu à 3 x 4go pour tes 12 go tu doit pouvoir avec ta cm rajouté 3xgo et passé à 24go de ram.

Je ne me rend pas bien compte des perfs que je pourrais obtenir avec un raid 0 SAS 6 Gb+carte pci exp 8x par rapport au ssd...
 
C'est a ce genre de solution que tu pensais La RoueEstTombee ?

Ouai mais il faut racheter un second proc est 24 Go pourrais etre juste. C'est pourquoi je me penchait sur des solutions alternatives.

Ton binaire est 64bits et tu memmap ton voxel ?
Perso j'irai vers un truc qui a un bon débit dans les tests 512Ko.
 
T'as bien réorganisé ton voxel pour être cache/page-fault friendly ?
 
edit: ok pour ton histoire de pages, mais comment est traité ton truc, tu fais quoi avec ?

Un raid0 de 3 F3 en short stroke de 270gb (mais avec une partition beaucoup plus large de 1.5To ça sera pareil):
http://www.overclock.net/hard-driv [...] burst.html
 
De toute façon 64go ne te suffiront pas, sauf si tu comptes passer ton temps à transférer du HDD au SSD et vice versa....

Bjone, là je ne comprends pas un mot de ce que tu dis.
 
Pour regis : je ne sais pas ce qu'est le short stroke, tu propose un raid 0 avec 3 DD ?
 
Sinon, le but est juste de stocker les images le temps du travail.. si j'ai un loading en debut de session ce n'est pas bien grave...

Tu fais quoi avec tes images ? (je croyais que c'était un voxel, mais non)

Je ne fait pas de voxel a proprement parler, je rearange les lignes (projection orthogonal), je coupe, mesure redimensionne, track en 3d etc.
 
Que veux dire "Perso j'irai vers un truc qui a un bon débit dans les tests 512Ko" ?

Comme tu le sais, un disque dure donne de meilleures débits sur sa première partie car les pistes sont plus loin du centre et donc la vitesse tangentielle est plus élevée.
Un short stroke, c'est juste faire une partition sur la première partie d'un disque (d'un grappe raid). Ici elle est très courte, sans doute pour également réduire un peu les temps d'accès, mais pour toi ça n'a pas d'intérêt.

De toutes façons: il faut bencher ton soft.
 
Si tu est limité par le sous-système disque, le taux d'occupation CPU baissera pour ton process de traitement, et tu verras le disque gratouiller à mort.
 
Enfin je peux pas être devant ton bouzin

Ouais J'ai compris, très clair ! Je viens de tester C'est lent, très lent comme soft... Mais peut-être me gourges ?

Je teste sur un X4 3.8 GHz 4GB DDR2 là en Vista64Ultimate et ce serait super de pouvoir avoir un très très gros fichier pour comparer...

Enfin bon, d'après moi, oublie les histoires de RAM Disc, ça semble complètement inadapté par rapport à ce que j'en ai compris de ton logiciel et de ton utilisation

Chuis en train de chercher la doc exacte de ton PC pour voir ce qu'on peut en faire

PS : pourquoi tu prendrais pas un vrai PC

Le SSD ce serait pas mal, ça dépend combien de temps tu passes sur une image ?

Edit : J'ai une carte SAS 8 HP ports Pcie 8x qui traine Je viens de l'acheter et je n'en ai pas l'usage

Ben pourquoi tu ne rajoutes pas 3x4GB en plus ? Tu passes à 24GB du coup...

Kingston ValueRAM 4 Go DDR3-SDRAM PC3-10600 ECC CL9 - KVR1333D3E9S/4G

http://www.ldlc.com/fiche/PB00091854.html

167.95€ x3 = 503.85€ C'est pas jouable ?

Ou si tu es vraiment short :

Kingston ValueRAM 2 Go DDR3-SDRAM PC3-10600 ECC Registered CL9 - KVR1333D3D8R9SL/2G

http://www.ldlc.com/fiche/PB00091500.html

87.36€ x3 = 262.08€

Ça te fait quand même 18 GB... Pas si mal, non ?

Pour moin chér il a un super SSD Vertex 2 64Go et serait tout autant aussi rapide!

Oui mais ça n'a quand même pas grand chose à voir avec les taux de transfert en RAM le SSD, ni les temps d'accès et tout quoi ! Passer à 18 GO pourrait le combler

Effectivement, mais faut la CM derrière pour accueillir 18Go
Le SSD dispose deja de superber temps d'acces et dans un future proche il depassera la RAM
 
Tous as-tu un SSD ?

 
 
 
 
khalis distributeur de bonne humeur
 
La CM est sensée suivre, je me suis renseigné Je ne conseille pas au petit bonheur la chance
 
Non, je n'ai pas encore franchi le pas perso, mais je travaille souvent avec si la question est dans ce sens

 
     
 
Oki génial alors
 
héhé oki, t'es sur quel model et tu fais quel genre de tache avec ?
Je serais curieux de voir ce que cela donne niveau pro. J'ai testé au taff sur 2 3 applis métier et ça change la vie!!!

Oula... trop long d'en parler, notamment des clients, tout ça... Ah ben ça n'a rien à voir à l'utilisation le SSD, c'est clair Pas besoin d'applis spéciales de toutes les façons, le système dessus et c'est un bonheur.
 
D'ailleurs, si j'avais pas un objectif à acheter (Canon 24-105), je craquerais bien pour un Crucial 128 Go avec ma mobo en SATA 3

Oui
 
Dommage mais avoir un belle objectif c'est
Mon frere fait de la photo aussi, donc je te comprends

Merci pour ces reponses en tous cas    
 
C'est clair que c'est pas le soft le plus rapide du monde, mais il permet de faire tous ce qu'on veut pour l'analyse d'image en biologie. Un fois que l'image est chargee dans la ram ca vas suffisament vite...
 
 
Je sais que je peux passer en 24 G mais il faut racheter un proc et je pourrais me retrouver legerement limite.  
Pour la ram disk, on est d'accord.
 
 
Pour le temps passe sur une image, c'est difficile a dire mais pourquoi ca rentre en compte ?
 
Pour le PC, je dois faire avec, i a ete achete il n'y a pas tres longtemps...C'est cool pour la carte SAS, mais c'est impossible d'acheter a un particulier avec les sous du labos, d'autant que je suis en suisse.
 
 
Si je resume, sans passer par la ram, j'ai soit le SSD soit le Raid SAS avec ou sans short strokes. Apres avoir regarder les prix vite faite ca doit revenir a peux pres au meme.  Vous seriez donc plutot perf avec un ssd ou moins rapide mais avec un bon temps d'I/O le raid SAS ?
 
Sachant que je risque d'avoir pas mal de lecture /ecriture le Raid semble plus adapte, non ?

Faut voir le RAID SAS ce qu'il donne sinon le SSD en SandForce 1200 ou 1500 à un super I/O et un excellent temps d'acces.

 
Oui, j'ai vu qu'il fallait deux procos pour 6 slots de RAMs occupés... Pas cool
 
6GO plus un proc c'est pas jouable financièrement ?
 
Le temps passé sur une image, ben si c'est dix minutes ou plus, le SSD c'est bien, si c'est quelques minutes, le RAID c'est mieux, parce que vu le poids de tes images, tu ne pourras rien garder sur le SSD, juste celle que tu es en train de traiter et le fichier de pagination et éventuellement (j'ai pas pensé à regarder) le dossier temporaire du logiciel

Pas de prob pour racheter un proc + de la ram; mais c'est vrais que si je pouvais avoir une  qui marche bien a plus de 24 Go ça aurait été l'idéal.
 
Faudrait que je vois is je trouve un ssd a tester dans le coin histoire de voir...
 
Pour le temps passé sur chaque image, il est long plusieurs heures, mais il faut considérer que le soft ne lit et écrit que le plan dont il a besoin (une image sur les 20 000) et que c'est precisement cette action que je veux accelerer.
Je pense que l'utilisation que je veux en faire est plutot gourmande en I/O.
On serait sur quels type de débit en SAS raid 0 ?