Récuperer des emails, problèmes d'encodages

Récuperer des emails, problèmes d'encodages - Python - Programmation

Marsh Posté le 09-12-2008 à 17:01:01    

Bonjour à tous,
 
Je cherche à réaliser un script afin de parser une partie de mes emails gmails afin d'en extraire certaines information (expéditeur, sujet, date et heure) afin de générer des statistiques.
J'ai à peu près réussi à me débrouiller tout seul jusqu'ici (c'est ma première utilisation de python) en fouillant la doc et le net grace à l'ami (?) google, mais je bloque maintenant.
 
J'arrive à extraire les données brutes et les parser pour les mettre dans un tableau excel en csv. Là où je bloque, c'est sur l'encodage des noms et des sujets. Un petit bout de code sera peut-être plus explicite :
 

Code :
  1. logging.info("Fetching emails %s -> %s (of %s)", min, max, nbmails)
  2.   r, data = mail.fetch(str(min) + ":" + str(max), "(BODY[HEADER.FIELDS (DATE FROM SUBJECT)])" )
  3.   __AssertOk(r)
  4.   logging.info("Parsing fetched emails" )
  5.   for mi in range(0, chunk*2, 2):
  6.     t = data[mi][1]
  7.     _date = email.utils.parsedate(re.search("Date: (.+)(\\r\\n)+", t).group(1))
  8.     mytime = time.mktime(_date)
  9.     _from = re.search("From: (.+)(\\r\\n)+", t).group(1)
  10.     logging.info(_from)
  11.     encoding = email.header.decode_header(_from)[0][1]
  12.     if encoding == None:
  13.       encoding = "ascii"
  14.     _name = rfc822.parseaddr(email.header.decode_header(_from)[0][0])[0].decode(encoding)
  15.     _email = rfc822.parseaddr(email.header.decode_header(_from)[0][0])[1]
  16.     subject = re.search("Subject: (.+)(\\r\\n)+", t).group(1)
  17.     encoding = email.header.decode_header(subject)[0][1]
  18.     if encoding == None:
  19.       encoding = "ascii"
  20.     subject = email.header.decode_header(subject)[0][0].decode(encoding)
  21.     out.writerow([str(_date[0]), str(_date[1]), str(_date[2]), str(datetime.date(_date[0], _date[1], _date[2]).weekday()), str(_date[3]), str(_date[4]), str(_date[5]), str(mytime), _name, _email, subject])


 
Là où je pèche, c'est que des fois ça décode, des fois ça décode pas ....
exemple :

"=?ISO-8859-1?Q?Micha=EBl_Jxxxt?=" <michael.jxxxt@gmail.com>

Non converti

=?ISO-8859-1?Q?"Micha=EBl_Jxxxt"_<michael.jxxxt@gmail.com>?=
Michaël Jxxxt

Converti

"=?ISO-8859-1?Q?Timoth=E9e_Cxxxl?=" <timothee.cxxxl@googlemail.com>

Non converti
 
Ensuite j'ai un autre soucis : l'écriture dans le csv ne semble pas prendre apprécier les différents encodage et je suis assez perdu :

Traceback (most recent call last):
  File "I:\mails\xxxx.py", line 200, in <module>
    out.writerow([str(_date[0]), str(_date[1]), str(_date[2]), str(datetime.date
(_date[0], _date[1], _date[2]).weekday()), str(_date[3]), str(_date[4]), str(_da
te[5]), str(mytime), _name, _email, subject])
UnicodeEncodeError: 'ascii' codec can't encode character u'\xff' in position 9:
ordinal not in range(128)


 
Quel est le format standard d'un fichier csv pour excel ? (j'ai pas trouvé dans l'aide de Excel).
 
Voila, merci d'avance pour votre aide, si je n'ai pas posé la question de la bonne manière et/ou si il y a besoin d'info demandez et j'essaierai d'être le plus précis possible. :jap:


Message édité par The_chosen_one le 09-12-2008 à 17:02:07
Reply

Marsh Posté le 09-12-2008 à 17:01:01   

Reply

Marsh Posté le 09-12-2008 à 20:44:41    

Bon alors j'ai trouvé :)
 
1. certains mails sont de la forme encode(nom + mail) et d'autres encode(nom) + mail :
j'ai séparé les 2 cas avec des tests
2. certains mails sont mal codés :
j'ai pas trouvé d'autre solution que de tester et faire les corrections spécifiquement  
 
Voila le code si ça interesse des gens :
 

Code :
  1. import rfc822
  2. import csv
  3. import codecs
  4. import imaplib
  5. import logging
  6. import getopt
  7. import sys
  8. import getpass
  9. import stringscanner
  10. import re
  11. import math
  12. import time
  13. import datetime
  14. import email
  15. import email.header
  16. import email.utils
  17. import cStringIO
  19. class UTF8Recoder:
  20.     """
  21.     Iterator that reads an encoded stream and reencodes the input to UTF-8
  22.     """
  23.     def __init__(self, f, encoding):
  24.         self.reader = codecs.getreader(encoding)(f)
  26.     def __iter__(self):
  27.         return self
  29.     def next(self):
  30.         return self.reader.next().encode("utf-8" )
  32. class UnicodeReader:
  33.     """
  34.     A CSV reader which will iterate over lines in the CSV file "f",
  35.     which is encoded in the given encoding.
  36.     """
  38.     def __init__(self, f, dialect=csv.excel, encoding="utf-8", **kwds):
  39.         f = UTF8Recoder(f, encoding)
  40.         self.reader = csv.reader(f, dialect=dialect, **kwds)
  42.     def next(self):
  43.         row = self.reader.next()
  44.         return [unicode(s, "utf-8" ) for s in row]
  46.     def __iter__(self):
  47.         return self
  49. class UnicodeWriter:
  50.     """
  51.     A CSV writer which will write rows to CSV file "f",
  52.     which is encoded in the given encoding.
  53.     """
  55.     def __init__(self, f, dialect=csv.excel, encoding="utf-8", **kwds):
  56.         # Redirect output to a queue
  57.         self.queue = cStringIO.StringIO()
  58.         self.writer = csv.writer(self.queue, dialect=dialect, **kwds)
  59.         self.stream = f
  60.         self.encoder = codecs.getincrementalencoder(encoding)()
  62.     def writerow(self, row):
  63.         self.writer.writerow([s.encode("utf-8" ) for s in row])
  64.         # Fetch UTF-8 output from the queue ...
  65.         data = self.queue.getvalue()
  66.         data = data.decode("utf-8" )
  67.         # ... and reencode it into the target encoding
  68.         data = self.encoder.encode(data)
  69.         # write to the target stream
  70.         self.stream.write(data)
  71.         # empty queue
  72.         self.queue.truncate(0)
  74.     def writerows(self, rows):
  75.         for row in rows:
  76.             self.writerow(row)
  78. def GetOptsMap():
  79.   opts, args = getopt.getopt(sys.argv[1:], "", [
  80.       # Standard options
  81.       "username=", "password=", "to=",
  83.       # Other params
  84.       "chunk=", "server="])
  85.  
  86.   opts_map = {}
  87.   for name, value in opts:
  88.     opts_map[name[2:]] = value
  90.   assert "username" in opts_map
  91.  
  92.   if "password" not in opts_map:
  93.     opts_map["password"] = getpass.getpass(
  94.         prompt="Password for %s: " % opts_map["username"])
  95.  
  96.   assert "password" in opts_map
  97.   if "server" not in opts_map:
  98.     opts_map["server"] = "imap.gmail.com"
  99.   if "chunk" not in opts_map:
  100.     opts_map["chunk"] = 100
  101.   assert "server" in opts_map
  102.   assert "to" in opts_map
  103.  
  104.   return opts_map
  106. def GetMailboxes(mail):
  107.   logging.info("Getting mailboxes" )
  108.  
  109.   r, mailboxes_data = mail.list()
  110.   __AssertOk(r)
  111.  
  112.   mailboxes = []
  113.   for mailbox_data in mailboxes_data:
  114.     s = mailbox_data
  115.     mailboxes.append(s)
  116.  
  117.   return mailboxes
  119. def __ParseFetchReply(fetch_reply):
  120.   message_infos = []
  121.  
  122.   return message_infos
  124. def __AssertOk(response):
  125.   assert response == "OK"
  127. logging.basicConfig(level=logging.DEBUG, format="[%(asctime)s] %(message)s" )
  128. opts = GetOptsMap()
  129. imap_constructor = imaplib.IMAP4_SSL
  130. logging.info("Connecting" )
  131. mail = imap_constructor(opts["server"])
  132. logging.info("Logging in" )
  133. mail.login(opts["username"], opts["password"])
  134. mailbox = "[Gmail]/All Mail"
  135. logging.info("Selecting mailbox: \"%s\". If there is an error here, you must switch Gmail interface to English(US)." %mailbox)
  136. r,data=mail.select(mailbox)
  137. __AssertOk(r)
  138. searchstring = "(TO \""+opts["to"]+"\" )"
  139. logging.info("Searching mails for : %s" %searchstring)
  140. r,data=mail.search(None, searchstring)
  141. __AssertOk(r)
  142. all_mails = data[0].split(" " )
  143. nbmails = len(all_mails)
  144. logging.info("Got %s mails !", nbmails)
  145. out = UnicodeWriter(open('out.csv', 'w'), dialect=csv.excel, delimiter=';', quotechar='"', quoting=csv.QUOTE_MINIMAL, lineterminator='\n')
  146. out.writerow(['year', 'month', 'day', 'dayofweek', 'hour', 'minute', 'sec', 'timestamp', 'name', 'addr', 'subject'])
  147. chunk = min(opts["chunk"], nbmails)
  148. for min in range(1, nbmails, chunk):
  149.   max = min + chunk
  150.   if max > nbmails:
  151.     max = nbmails
  152.     chunk = max - min
  153.    
  154.   logging.info("Fetching emails %s -> %s (of %s)", min, max, nbmails)
  155.   fetch_string = ",".join(all_mails[min:max])
  156.   r, data = mail.fetch(fetch_string, "(BODY[HEADER.FIELDS (DATE FROM SUBJECT)])" )
  157.   __AssertOk(r)
  158.   for mi in range(0, chunk*2, 2):
  159.     t = data[mi][1]
  160.     _date = email.utils.parsedate(re.search("Date: (.+)(\\r\\n)+", t).group(1))
  161.     mytime = time.mktime(_date)
  162.     _from = re.search("From: (.+)(\\r\\n)+", t).group(1)
  163.     _from=_from.replace("=?utf-8?Q?Micha=C3=ABl_Jxxxxt?= <michael.jxxxxt@gmail.com>", "\"=?utf-8?Q?Micha=C3=ABl_Jxxxxt?=\" <michael.jxxxxt@gmail.com>" )
  164.     encoding = email.header.decode_header(_from)[0][1]
  165.    
  166.     if encoding == None:
  167.       encoding = email.header.decode_header(rfc822.parseaddr(email.header.decode_header(_from)[0][0])[0])[0][1]
  168.      
  169.       if encoding == None:
  170.         encoding = "ascii"
  171.         _name = rfc822.parseaddr(email.header.decode_header(_from)[0][0])[0].decode(encoding)
  172.        
  173.       else:
  174.         _name= email.header.decode_header(rfc822.parseaddr(email.header.decode_header(_from)[0][0])[0])[0][0].decode(encoding)
  175.        
  176.     else:
  177.       _name = rfc822.parseaddr(email.header.decode_header(_from)[0][0])[0].decode(encoding)
  178.      
  179.     _email = rfc822.parseaddr(email.header.decode_header(_from)[0][0])[1]
  180.     subject = re.search("Subject: (.+)(\\r\\n)+", t).group(1)
  181.     encoding = email.header.decode_header(subject)[0][1]
  182.    
  183.     if encoding == None:
  184.       encoding = "ascii"
  185.      
  186.     subject = email.header.decode_header(subject)[0][0].decode(encoding)
  187.     while subject <> re.search("([rR][eE][_ ]?:[_ ]?)?(.+)", subject).group(2):
  188.       subject = re.search("([rR][eE][_ ]?:[_ ]?)?(.+)", subject).group(2)
  189.      
  190.     out.writerow([str(_date[0]), str(_date[1]), str(_date[2]), str(datetime.date(_date[0], _date[1], _date[2]).weekday()), str(_date[3]), str(_date[4]), str(_date[5]), str(mytime), _name, _email, subject])
  191. logging.info("Done" )


 
Du coup ne me reste qu'un problème mineur : j'enregistre le fichier en utf-8 alors que excel l'ouvre en ansi (et c'est moche), et je trouve pas l'encoding ansi en python ...

Reply

Marsh Posté le 09-12-2008 à 23:50:48    

J'ai vraiment pas le courage de me plonger dans un bazard pareil, mais je tiens juste à mentionner que <> est déprécié (et complètement retiré de Python 3), et que optparse est largement supérieur à getopt (plus pratique, plus flexible et plus puissant).


---------------
Stick a parrot in a Call of Duty lobby, and you're gonna get a racist parrot. — Cody
Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed