Changeset 3059


Ignore:
Timestamp:
Jan 5, 2013, 1:49:13 PM (8 years ago)
Author:
roux
Message:

fix bad tags with -

File:
1 edited

Legend:

Unmodified
Added
Removed
  • cpc/trunk/project/lib/task/tagSeanceTask.class.php

    r3056 r3059  
    1212  }
    1313 
    14   protected function count($array, $excludeS = 0, $minsize = 1) {
    15     foreach($array as $i) {
     14  protected function count($interventions, $excludeS = 0, $minsize = 1) {
     15    foreach($interventions as $i) {
    1616      $i = preg_replace('/\([^\)]+\)/', '', $i);
    1717      $i = preg_replace('/œ/', 'oe', $i['intervention']);
     
    5959      $exclmin = 5;
    6060    }
    61     $array = $q->fetchArray();
    62     $words = $this->count($array, 0, $minsize);
     61    $interventions = $q->fetchArray();
     62    $words = $this->count($interventions, 0, $minsize);
    6363    $cpt = 0;
    6464    $tot = count($words);
    6565
    66     $exclude = array("action" => 1, "assemblée" => 1, "activité" => 1, "besoin" => 1, "définition" => 1, "adopté" => 1, "député" => 1, "spéciale" => 1, "spécial" => 1, 'rappelle' => 1, 'hong' => 1, "précédente" => 1, "information" => 1, "délai" => 1, 'applicable' => 1, 'expliqué' => 1, 'propose' => 1, 'relative' => 1, 'indique' => 1, 'vingt' => 1, 'janvier' => 1, 'puis' => 1, 'jour' => 1, 'lecture' => 1, 'séance' => 1, 'alinéa'=>1, 'résolution'=>1, 'adoption'=>1, 'collègue'=>1, 'cher'=>1, 'collègues'=>1, 'chers'=>1,'bis'=>1, '1er'=>1, 'rectifié'=>1, 'question'=>1, 'rédactionnel'=>1, 'scrutin'=>1, 'exposer'=>1, 'identiques'=>1, 'identique'=>1, 'commission'=>1, 'adopte'=>1, 'rejette' => 1, 'additionnel' => 1, 'tendant' => 1, 'examiné' => 1, 'examine' => 1, 'rejeté'=> 1, 'avis' => 1, 'suivant'=>1, 'estimé'=>1, 'déclaré'=>1, 'parce'=>1, 'beaucoup'=>1, 'afin'=>1, 'madame'=>1, 'sous'=>1, 'bonne'=>1, 'monsieur'=>1, 'quelle'=>1, 'quinze'=>1, 'lors'=>1, 'là'=>1, 'long'=>1, 'messieurs'=>1, 'ici'=>1, 'trois'=>1, 'êtes'=>1, 'serait'=>1, 'seront'=>1, 'dix'=>1, 'mot'=>1, 'vin'=>1, 'mon'=>1, 'hier'=>1, 'date'=>1, 'cinq'=>1, 'celui'=>1, 'allez' => 1, 'après' => 1, 'bureau' => 1, 'cause' => 1, 'sous-amendement' => 1, 'certaine' => 1, 'chose' => 1, 'code' => 1, 'compris' => 1, 'général' => 1, 'pris' => 1, 'demande' => 1, 'jeudi' => 1, 'jamais' => 1, 'juillet' => 1, 'mois' => 1, 'plusieurs' => 1, 'mardi' => 1, 'mercredi' => 1, 'lundi' => 1, 'quatre' => 1, 'semaine' => 1, 'suppression' => 1, 'semble' => 1, 'souvent' => 1, 'vers' => 1, 'jamais' => 1, 'comité' => 1, 'discussion' => 1, 'liens' => 1, 'lieux' => 1, 'membres' => 1, 'vendredi' => 1, 'dernière' => 1, 'donner' => 1, 'délégation' => 1, 'défendu' => 1, 'défavorable' => 1, 'exemple' => 1, 'favorable' => 1, 'fonction' => 1, 'grand' => 1, 'habitant' => 1, 'haut' => 1, 'juridique' => 1, 'mars' => 1, 'membre' => 1, 'mettre' => 1, 'mise' => 1, 'ministère' => 1, 'mission' => 1, 'niveau' => 1, 'oui' => 1, 'organique' => 1, 'objet' => 1, 'notion' => 1, 'norme' => 1, 'pense' => 1, 'première' => 1, 'prendre' => 1, 'principe' => 1, 'procédure' => 1, 'puisque' => 1, 'rien' => 1, 'sceaux' => 1, 'réponse' => 1, 'spécial' => 1, 'vise' => 1, 'vos' => 1, 'vote' => 1, 'suppresion' => 1, 'urgence' => 1, "rapporteur" => 1, "rapporteure" => 1);
     66    $exclude = array("ayant" => 1, "grand-chose" => 1, "après-midi" => 1, "au-delà" => 1, "devant" => 1, "octobre" =>1, "novembre" => 1, "action" => 1, "assemblée" => 1, "activité" => 1, "besoin" => 1, "définition" => 1, "adopté" => 1, "député" => 1, "spéciale" => 1, "spécial" => 1, 'rappelle' => 1, 'hong' => 1, "précédente" => 1, "information" => 1, "délai" => 1, 'applicable' => 1, 'expliqué' => 1, 'propose' => 1, 'relative' => 1, 'indique' => 1, 'vingt' => 1, 'janvier' => 1, 'puis' => 1, 'jour' => 1, 'lecture' => 1, 'séance' => 1, 'alinéa'=>1, 'résolution'=>1, 'adoption'=>1, 'collègue'=>1, 'cher'=>1, 'collègues'=>1, 'chers'=>1,'bis'=>1, '1er'=>1, 'rectifié'=>1, 'question'=>1, 'rédactionnel'=>1, 'scrutin'=>1, 'exposer'=>1, 'identiques'=>1, 'identique'=>1, 'commission'=>1, 'adopte'=>1, 'rejette' => 1, 'additionnel' => 1, 'tendant' => 1, 'examiné' => 1, 'examine' => 1, 'rejeté'=> 1, 'avis' => 1, 'suivant'=>1, 'estimé'=>1, 'déclaré'=>1, 'parce'=>1, 'beaucoup'=>1, 'afin'=>1, 'madame'=>1, 'sous'=>1, 'bonne'=>1, 'monsieur'=>1, 'quelle'=>1, 'quinze'=>1, 'lors'=>1, 'là'=>1, 'long'=>1, 'messieurs'=>1, 'ici'=>1, 'trois'=>1, 'êtes'=>1, 'serait'=>1, 'seront'=>1, 'dix'=>1, 'mot'=>1, 'vin'=>1, 'mon'=>1, 'hier'=>1, 'date'=>1, 'cinq'=>1, 'celui'=>1, 'allez' => 1, 'après' => 1, 'bureau' => 1, 'cause' => 1, 'sous-amendement' => 1, 'certaine' => 1, 'chose' => 1, 'code' => 1, 'compris' => 1, 'général' => 1, 'pris' => 1, 'demande' => 1, 'jeudi' => 1, 'jamais' => 1, 'juillet' => 1, 'mois' => 1, 'plusieurs' => 1, 'mardi' => 1, 'mercredi' => 1, 'lundi' => 1, 'quatre' => 1, 'semaine' => 1, 'suppression' => 1, 'semble' => 1, 'souvent' => 1, 'vers' => 1, 'jamais' => 1, 'comité' => 1, 'discussion' => 1, 'liens' => 1, 'lieux' => 1, 'membres' => 1, 'vendredi' => 1, 'dernière' => 1, 'donner' => 1, 'délégation' => 1, 'défendu' => 1, 'défavorable' => 1, 'exemple' => 1, 'favorable' => 1, 'fonction' => 1, 'grand' => 1, 'habitant' => 1, 'haut' => 1, 'juridique' => 1, 'mars' => 1, 'membre' => 1, 'mettre' => 1, 'mise' => 1, 'ministère' => 1, 'mission' => 1, 'niveau' => 1, 'oui' => 1, 'organique' => 1, 'objet' => 1, 'notion' => 1, 'norme' => 1, 'pense' => 1, 'première' => 1, 'prendre' => 1, 'principe' => 1, 'procédure' => 1, 'puisque' => 1, 'rien' => 1, 'sceaux' => 1, 'réponse' => 1, 'spécial' => 1, 'vise' => 1, 'vos' => 1, 'vote' => 1, 'suppresion' => 1, 'urgence' => 1, "rapporteur" => 1, "rapporteure" => 1);
    6767    $include = array('télévision' => 1, 'dimanche'=>1, 'internet'=>1, 'outre-mer'=>1, 'logement'=>1, 'militaire'=>1, 'taxe'=>1, 'médecin'=>1, 'hôpital'=>1);
    68     $exclude_sentences = array('sceaux'=>1, 'commissaire' => 1, 'monsieur' => 1, 'madame'=>1, 'professeur' => 1, 'amendement' => 1, 'règlement' => 1, 'rectificative' => 1, 'rapporteur' => 1);
     68    $exclude_sentences = array('vice-président' => 1, 'sceaux'=>1, 'commissaire' => 1, 'monsieur' => 1, 'madame'=>1, 'professeur' => 1, 'amendement' => 1, 'règlement' => 1, 'rectificative' => 1, 'rapporteur' => 1);
    6969
    7070    foreach(array_keys($words) as $k) {
     
    7878    $q = Doctrine_Query::create();
    7979    $q->select('nom as intervention')->from('Parlementaire o');
    80     $array = $q->fetchArray();
    81     $words = $this->count($array, 0, $minsize);
     80    $interventions = $q->fetchArray();
     81    $words = $this->count($interventions, 0, $minsize);
    8282    foreach(array_keys($words) as $k) {
    8383      $exclude[$k] = 1;
     
    9292      //Recherche toutes les interventions pour cette séance
    9393      $q = Doctrine_Query::create();
    94       $q->select('intervention, id, parlementaire_id')->from('Intervention i')->where('seance_id = ?', $s['id'])->andWhere('( i.parlementaire_id IS NOT NULL OR i.personnalite_id IS NOT NULL )')->andWhere('(i.fonction IS NULL OR i.fonction NOT LIKE ? )', 'président%');
    95 
    96       $array = $q->fetchArray();
    97       if (!count($array)) {
     94      $q->select('intervention, id, parlementaire_id')->from('Intervention i')->where('seance_id = ?', $s['id'])->andWhere('( i.parlementaire_id IS NOT NULL OR i.personnalite_id IS NOT NULL )')->andWhere('(i.type = ? OR i.fonction IS NULL OR i.fonction NOT LIKE ?)', array('commission', 'président%'));
     95
     96      $interventions = $q->fetchArray();
     97      if (!count($interventions)) {
    9898        echo " pas d'intervention trouvée\n";
    9999        continue;
    100100      }
    101       $words = $this->count($array, 1, $minsize);
     101      $words = $this->count($interventions, 1, $minsize);
    102102      $cpt = 0;
    103103      $tot = count($words);
     
    105105      //Pour les mots le plus populaires non exclus on les gardes
    106106      foreach(array_keys($words) as $k) {
    107         if (!isset($exclude[$k])) {
     107        if (!isset($exclude[$k]) && !preg_match('/-((il|elle)s|on|ci|le|[nv]ous)$/', $k)) {
    108108          $cpt++;
    109109          $pc = $words[$k]*100/$tot;
     
    117117      $sent2word = null;
    118118      //On cherche des groupes de mots commums à partir des tags trouvés
    119       foreach ($array as $inter) {
     119      foreach ($interventions as $inter) {
    120120        $i = null;
    121121        foreach (array_keys($tags) as $tag) {
     
    178178      arsort($tags);
    179179      $tagged = 0;
    180       foreach ($array as $inter) {
     180      foreach ($interventions as $inter) {
    181181        if (!$inter['parlementaire_id'])
    182182          continue;
     
    203203      }
    204204      unset($tags);
    205       unset($array);
     205      unset($interventions);
    206206      echo " done.";
    207207      unset($s);
Note: See TracChangeset for help on using the changeset viewer.