Changeset 2562 for cpc/trunk/project

Timestamp:

Jan 3, 2012, 3:19:04 AM (9 years ago)

Author:

goya

Message:

ajoute fonctions, extras, et mandats à nouveau parseur députés. Reste à débugger les fonctions et intégrer les nvx champs au load

Location:

cpc/trunk/project/batch

Files:

• common/common.pm (modified) (1 diff)
• depute/parse_depute_new.pl (modified) (5 diffs)
• depute/test_fields.sh (added)

cpc/trunk/project/batch/common/common.pm

@@ -28 +28 @@
   return $d2 if (!$d1);
   return $d1 if (!$d2);
-  if ($d1 =~ /(\d)+\/(\d+)\/(\d+)/) {
+  if ($d1 =~ /^(\d+)\/(\d+)\/(\d+)$/) {
     $y = $3; $m = $2; $d = $1;
-    if ($d2 =~ /(\d)+\/(\d+)\/(\d+)/) {
+    if ($d2 =~ /^(\d+)\/(\d+)\/(\d+)$/) {
       return $d1 if ($3 lt $y || ($3 eq $y && $2 lt $m) || ($3 eq $y && $2 eq $m && $1 lt $d));
       return $d2;

cpc/trunk/project/batch/depute/parse_depute_new.pl

@@ -22 +22 @@
 while ($string =~ s/(<li class="contact-adresse">([^<]*)?)(<\/?p>)+(.*<\/li>(<li class="contact-adresse">|<\/ul>))/\1 \4/gi) {}
 $string =~ s/(<(div|p|li|abbr|img|a|dt)[ >])/\n\1/ig;
+$string =~ s/\s*'\s*/'/g;
 
 if ($display_text) {
@@ -29 +30 @@
 
 my %depute;
+
+sub clean_vars {
+  $encours = $lieu = $organisme = $fonction = "";
+}
 
 sub add_mandat {
@@ -34 +39 @@
   $end = shift;
   $cause = shift;
-  $cause =~ s/(remplacement.*)\s*:\s*(.*)\s*$/\1(\2)/i;
-  $depute{'suppleant_de'} = $2 if ($2);
+  if ($cause =~ /(remplacement.*)\s*:\s*(.*)\s*$/i) {
+    $depute{'suppleant_de'} = $2;
+    $cause =~ s/\s*:\s*(.*)\s*$/ \(\1\)/;
+  }
   $depute{'premiers_mandats'}{"$start / $end / ".lc($cause)} = 1;
   $depute{'debut_mandat'} = max_date($start,$depute{'debut_mandat'});
-  $depute{'fin_mandat'} = max_date($end,$depute{'fin_mandat'}) if ($endi !~ /^$/);
+  $depute{'fin_mandat'} = max_date($end,$depute{'fin_mandat'}) if ($end !~ /^$/ && max_date($end,"20/06/2007") != "20/06/2007");
 }
 
@@ -91 +98 @@
   } elsif ($line =~ /Mandat du ([\d\/]+)( \(.*\))? au ([\d\/]+)( \((.*)\))?/i) {
     add_mandat($1,$3,$5);
+  } elsif ($line =~ /class="article-title/) {
+    clean_vars();
+    $line =~ s/\s*<[^>]+>\s*//g;
+    if ($line =~ /(Bureau|Commissions?|Missions? (temporaire|d'information)s?|Délégations? et Offices?)/i) {
+      $encours = "fonctions";
+    } elsif ($line =~ /(Organismes? extra-parlementaires?|Fonctions? dans les instances internationales ou judiciaires)/i) {
+      $encours = "extras"; 
+    } elsif ($line =~ /(Mandats? loca[lux]+ en cours|Mandats? intercommuna)/i) {
+      $encours = "autresmandats"; 
+    } elsif ($line =~ /^Anciens mandats/i && $line !~ /Assemblée nationale/i) {
+      $encours = "anciensmandats"; 
+    } elsif ($line =~ /(Groupes? d'études?|Groupes? d'amitié)/i) {
+      $encours = "groupes";
+      $type_groupe = $line;
+    }
+  } elsif ($line =~ /<div id="/i) {
+    clean_vars();
+  } elsif ($encours !~ /^$/) {
+    $line =~ s/\s*<[^>]+>\s*//g;
+    next if ($line =~ /^$/);
+    if ($encours =~ /anciensmandats/) {
+      if ($line =~ /du (\d+\/\d+\/\d+) au (\d+\/\d+\/\d+) \((.*)\)/i) {
+        $depute{$encours}{"$lieu / $organisme / $3 / $1 / $2"} = 1;
+      } elsif ($line =~ /^([^(]*) d[elau'\s]+([A-ZÀÉÈÊËÎÏÔÙÛÇ].*)$/) {
+        $organisme = $1;
+        $lieu = $2;
+        $organisme = "Conseil de Paris" if ($lieu =~ s/ \(Département de Paris\)/ (Département)/);
+      } else {
+        $lieu = $line;
+        $organisme = "Communauté d'agglomération";
+      }
+    } elsif ($encours =~ /autresmandats/) {
+      $lieu = $4 if ($line =~ s/^(.*) d([ue](s| la)? |'|e l')([A-ZÀÉÈÊËÎÏÔÙÛÇ].*)$/\1/);
+      $organisme = ucfirst($4) if ($line =~ s/^(.*) d((u|e la) |e l')(.*)$/\1/);
+      $fonction = $line;
+      $organisme = "Conseil municipal" if ($fonction =~ /Maire/i);
+      $lieu =~ s/, (.*)$/ (\1)/;
+      $depute{$encours}{"$lieu / $organisme / $fonction"} = 1;
+    } elsif ($encours =~ /groupes/ && $line =~ s/^\s*(.*) : - //) {
+      $fonction = $1;
+      $type = "Groupe d'amitié France-";
+      $type = "Groupe d'études " if ($type_groupe =~ /étude/i);
+      foreach $gpe (split / - /, $line) {
+        $depute{$encours}{"$type$gpe / $fonction"} = 1;
+      }
+    } else {
+      $line =~ s/ (\(ex|depuis le) .*$//;
+      $fonction = $1 if ($line =~ s/^\s*((\S+\s*){1,3}( du bureau)?) d((u|e la) |e l')(.*)$/\6/);
+      $organisme = ucfirst($line);
+      $organisme =~ s/^(Assemblée nationale)/Bureau de l'\1/i;
+      $depute{$encours}{"$organisme / $fonction"} = 1;
+    }
   }
 }
@@ -100 +159 @@
 # - multiples sites_web, facebook? tiwtter?
 # - find suppléant si existe
-#
-#CHAMPS :
-#fonctions [ "orga minuscule / fonction / ", "" ]
-#extras : 
-#autres_mandats:
-#anciens_autres_mandats:
+# - add gestion mission tempo
+# - gérer stockage anciens mandats, premiers_mandats, groupes...
 
 #On récupère le nom de famille à partir des emails