Changeset 835 for cpc/trunk/project/bin


Ignore:
Timestamp:
Oct 4, 2009, 6:48:03 PM (12 years ago)
Author:
roux
Message:

update data

Location:
cpc/trunk/project/bin
Files:
2 edited

Legend:

Unmodified
Added
Removed
  • cpc/trunk/project/bin/load_amendements

    r801 r835  
    33echo > /tmp/load_amendements.log
    44cd batch/amendements
    5 # rm -f html/*
    6 # bash download_amendements.sh >> /tmp/load_amendements.log
    7 # rm -f json/*
    8 # bash parse_amendements.sh >> /tmp/load_amendements.log
     5tar xf lastdata.tar.gz
     6tar xf html.tar.gz
     7# rm -f xml/*
     8# perl parse_amendements.pl >> /tmp/load_amendements.log
    99cd -
    1010php symfony cc
    11 for file in $(ls batch/amendements/json)
     11for file in $(ls batch/amendements/xml)
    1212do
    1313    echo $file
    14     cp batch/amendements/json/$file batch/amendements/input/
     14    cp batch/amendements/xml/$file batch/amendements/json/
    1515    php symfony load:Amdmts >> /tmp/load_amendements.log
    1616    php symfony cc
  • cpc/trunk/project/bin/loadupdate

    r809 r835  
    11#!/bin/bash
    22
     3
     4# Mis là temporairement pour rappel: à runner une fois pour toutes pour éviter de retélécharger inutilement 2000 amendements à chaque fois (OGM et HADOPI)
     5# php symfony set:AmdmtsTombes 819
     6# php symfony set:AmdmtsTombes 1296
     7
     8
     9# Init logs
     10echo > /tmp/load_JO.log
     11echo > /tmp/load_hemicycle.log
     12echo > /tmp/load_commissions.log
     13echo > /tmp/load_amendements.log
     14echo > /tmp/process_data.log
     15
     16
     17# Mise à jur de la liste des députés
    318bash bin/load_deputes
    419
    5 #Récupération et création des JSON
    6 cd batch/jo ; perl compute_latest.pl ; cd -
    7 cd batch/hemicycle ; bash compute_latest.sh ; cd -
    8 cd batch/commission ; bash compute_latest.sh ; cd -
    920
    10 #Vérification des JSON
     21# Récupération et création des JSON
     22cd batch/jo ; perl compute_latest.pl >> /tmp/load_JO.log ; cd -
     23cd batch/hemicycle ; bash compute_latest.sh >> /tmp/load_hemicycle.log ; cd -
     24cd batch/commission ; bash compute_latest.sh >> /tmp/load_commissions.log ; cd -
     25cd batch/amendements ; bash compute_latest.sh >> /tmp/load_amendements.log ; cd -
    1126
    12 #changement via tasks
    1327
    14 php symfony load:JO
    15 php symfony load:hemicycle
    16 php symfony load:commission
     28# Vérification des JSON
     29
     30
     31
     32# Chargement via tasks
     33while ! php symfony load:JO >> /tmp/load_JO.log ; do
     34        php symfony cc
     35done;
     36
     37while ls batch/hemicycle/out | grep [a-z] > /dev/null ; do
     38        php symfony cc
     39        php symfony load:Hemicycle >> /tmp/load_hemicycle.log
     40done;
     41
     42while ls batch/commission/out | grep [a-z] > /dev/null ; do
     43        php symfony cc
     44        php symfony load:Commission >> /tmp/load_commissions.log
     45done;
     46
     47while ls batch/amendements/json | grep [a-z] > /dev/null ; do
     48        php symfony cc
     49        php symfony load:Amdmts >> /tmp/load_amendements.log
     50done;
     51
     52
     53# Postprocessings
     54bash bin/tag_seance
     55php symfony set:Session >> /tmp/process_data.log
     56php symfony set:Vacances >> /tmp/process_data.log
     57php symfony top:Deputes >> /tmp/process_data.log
     58
     59
Note: See TracChangeset for help on using the changeset viewer.