Bonjour,
 
Voila j'ai besoin de charger de charger un fichier CSV dans un Base de données. Le problème etant que j'ai des traitement a faire sur certaines données de ce fichier.
 
Par exemple :
J'ai une colonne date dans mon fichier csv dans laquelle les données sont stockées au format AAMMJJ et moi je désire mettre ces données dans une table Date (par exemple) mais de la façon suivante :
 
Dans mon fichier csv j'ai :
060925;etc ....
 
En y regardant de plus près :
06 ->>> année 2006
09 ->>> mois 09 (Septembre)
25 ->>> jour 25
 
Table :
DATE
--------
Année
Mois
Jours
 
Alors je ne sais pas vraiment comment faire cela ???
 
De plus dans mon fichier Csv les informations sont dupliquées. Il faudrait que je fasse en fait un select Distinct avant d'insérer les dates. Je ne sais pas vraiment comment faire, la encore.  
 
 
J'ai fais un batch java afin d'avoir un environnement test mais je ne peu pas faire de Batch Java dans mon environnement de production car ce fichier est trop lourd près de 800 000 lignes, Et le traitement trop long.

Salut, tu peux pas utiliser un format de date dans ta bd à la place de ta table date, généralement pour les dates, c'est ce qu'on fait ...

non non moi j'ai besoin de faire ainsi, pour ceux qui connaisse c'est pour Mondrian et ainsi pouvoir décliner les stats par années, mois, jours etc ..

tu dois vouloir faire du datawarehouse, dans la serie opensource il y a un etl qui s'appelle kettle, je ne l'avais installe que pour tester et ca m'avait l'air pas mal du tout.
la maniere classique de travailler est d'utiliser une table referentiel de date ou tu auras deja ta decoupe jour, mois, annee, trimestre, etc et donc a priori un record par jour, tu peux deja precalculer ta table sur un certain nombre d'annee, et donc l'idée est de travailler avec des surrogate key pour chacun de tes records, c'est ce qu'on appelle alors une table de dimension.
kettle devrait etre capable d'injecter dans ta table de fait l'id correspondant a ta table de dimension.
 
si tu n'es pas a l'aise avec le dwh regarde du cote des star schema pour ton implementation