source: trunk/import/konv_batch.sh @ 338

Revision 338, 8.1 KB checked in by frank.jaeger, 10 years ago (diff)

Neuer Trigger ohne Historie. Anzahl Kontext-Operationen in import-Tabelle eintragen.

RevLine 
[190]1#!/bin/bash
2## -------------------------------------------------
3## Konvertierung von ALKIS NAS-Format nach PostGIS -
4## NAS-Daten in einem Ordner konvertieren          -
5## Batch-Teil, Aufruf mit geprueften Parametern    -
6## -------------------------------------------------
7##
8## Ordner-Struktur:
9##   /mandant/
10##           /0001/*.xml.zip
11##           /0002/*.xml.zip
12##          usw.
13##           /temp/
14##   Auf der gleichen Ebene wie die Datenordner muss ein Ordner /temp/ existieren.
15##   Dort werden die NAS-Daten temporaer ausgepackt.
16##   Relativ zum mitgegebenen Parameter ist das: '../temp/'
17##   Parallel laufende Konvertierungen zum gleichen Mandanten
18##   wuerden hier durcheinander geraten. Vermeiden!
19##
20## Stand:
21##   2012-02-10 Umbennung nach 0.7
22##   2012-02-17 Optimierung
23##   2012-02-28 Neuer Parameter 4 um Post-Prozessing zu unterdruecken
24##   2012-04-25 Durch GDAL Patch #5444 werden die Loeschungen als Trigger auf Tabelle 'delete' verarbeitet
25##   2012-05-18 Umzug neue GDI, GDAL-Trunk unter Pfad
26##   2012-06-04 SQL-Skripte in deren Verzeichnis ausfuehren (Voraussetzung fuer \i Includes)
27##   2012-10-30 Umgebungsvariable setzen, delete-Tabelle am Ende fuer Analyse gefuellt lassen.
28##              Test als 0.7a mit gepatchter gdal-Version (noch 2.0dev)
[330]29##   2013-10-16 F.J. krz: Neues Script "pp_praesentation_action.sql" fÃŒr Reparatur der
30##              PrÀsentationsobjekte Straßenname im Post-Processing
31##   2013-10-24 F.J. krz: Zwischenlösung "praesentation_action.sql" wieder deaktiviert.
[314]32##   2014-01-31 F.J. krz: Import Eintrag erzeugen (nach Vorschlag Marvin Brandt, Unna)
[330]33##   2014-02-13 A.Emde WhereGroup: EinfÃŒhrung DBUSER, damit im Skript der Datenbankbenutzer angegeben werden kann
[328]34##   2014-05-12 F.J. krz: Unterschiedliche Pfade in Test (TRUNK) und Produktion (Rel. 1.11.0)
35##   2014-06-18 F.J. DB-User nicht "postgres" (in $con).
36##                   Konverter ind Nacharbeiten sonst mit unterschiedlichem User.
[330]37##                   Abgleich Test/Prod-Version.
[328]38##                   Entfernen der historischen Objekte nach Konvertierung.
[330]39##   2014-09-09 F.J. krz: Parameter "--config PG_USE_COPY YES" zur Beschleunigung. Ausgabe import-Tabelle.
[331]40##   2014-09-11 F.J. krz: Eintrag in import-Tabelle repariert.
41##                   Keine Abfrage des Symlinks auf kill/hist. Enstscheidend ist die aktuelle DB, nicht der Symlink
[338]42##   2014-09-23 F.J. krz: ZÀhlung der Funktionen in delete, dies in import-Tabelle eintragen (Metadaten)
[328]43
[338]44## ToDo:
45## - Unterscheidung e/a noch sinnvoll? Immer "a" = Aktualisierung = -update ?
46## - PostProcessing: Aufruf Script, sonst redundant zu pflegen
47
[330]48POSTNAS_HOME=$(dirname $0)
[190]49
[330]50# Konverterpfad. TRUNK-Version (immer letzter Stand der Entwicklung)
51PATH=/opt/gdal-2.0/bin:$PATH
[190]52EPSG=25832
[328]53DBUSER=b600352
[190]54
[317]55if [ $DBUSER == "" ]
56then
[318]57  echo "kein DBUSER gesetzt"
[317]58else
[318]59  PGUSER=" -U ${DBUSER} "
[317]60fi
[190]61
[317]62if [ $DBUSER == "" ]
63then
[318]64  echo "kein DBUSER gesetzt"
65else
[317]66  OGRPGUSER=" user=${DBUSER}"
67fi
[328]68 
69echo "
70**********************************************
71**   K o n v e r t i e r u n g     PostNAS  **
[330]72**********************************************"
[190]73## Parameter:
74ORDNER=$1
75DBNAME=$2
76UPD=$3
77PP=$4
[330]78
[190]79if [ $ORDNER == "" ]
80then
81        echo "Parameter 1 'Ordner' ist leer"
82        exit 1
83fi
84if [ $DBNAME == "" ]
85then
86        echo "Parameter 2 'Datenbank' ist leer"
87        exit 2
88fi
[330]89
[190]90if [ $UPD == "a" ]
91then
92        verarb="NBA-Aktualisierung"
93        update=" -update "
94else
95        if [ $UPD == "e" ]
96        then
97                verarb="Erstladen"
98                update=""
99        else
100                echo "Parameter 3 'Aktualisierung' ist weder e noch a"
101                exit 3
102        fi
103fi
[330]104
[190]105if [ $PP == "nopp" ]
106then
107        echo "KEIN Post-Processing nach dieser Konvertierung."
108else
109        if [ $PP == "pp" ]
110        then
111                echo "normales Post-Processing."
112        else
113                echo "FEHLER: Parameter 4 'Post-Proscessing' ist weder 'nopp' noch 'pp'"
114                exit 4
115        fi
116fi
[328]117
[190]118# Fehlerprotokoll:
[330]119  errprot=${POSTNAS_HOME}'/log/postnas_err_'$DBNAME'.prot'
[328]120
[330]121  echo "GDAL/PostNAS Konverter-Version:" >> $errprot
122  ogr2ogr --version >> $errprot
123
[190]124# DB-Connection
[330]125  con="${PGUSER} -p 5432 -d ${DBNAME} "
126  echo "Datenbank-Name . . = ${DBNAME}"
127  echo "DBUSER ${DBUSER}"
128  echo "PGUSER ${PGUSER}"
129  echo "OGRPGUSER ${OGRPGUSER}"
130  echo "Ordner NAS-Daten . = ${ORDNER}"
131  echo "Verarbeitungs-Modus= ${verarb}"
132  echo "POSTNAS_HOME ${POSTNAS_HOME}"
[328]133
[330]134  # noch alte delete-Eintraege?
135  echo "Leeren der delete-Tabelle"
136  psql $con -c 'TRUNCATE table "delete";'
[328]137
[338]138  #echo "Bisherige Konvertierungen (Import-Tabelle):"
139  #psql $con -c "SELECT * FROM import ORDER by id;"
[314]140
141# Import Eintrag erzeugen
[331]142# UrsprÌnglich fÌr Trigger-Steuerung benötigt. Nun als Metadaten nÌtzlich.
143  echo "INSERT INTO import (datum,verzeichnis,importart) VALUES ('"$(date '+%Y-%m-%d %H:%M:%S')"','"${ORDNER}"','"${verarb}"');" | psql $con
[314]144
[190]145# Ordner abarbeiten
[328]146
[190]147  cd ${ORDNER}
148  rm ../temp/*.gfs
149  echo "Dateien in " ${ORDNER} " (ls) :"
150  ls
151  for zipfile in *.zip ; do
152    echo " "
153    rm ../temp/*.xml
154    echo "*********"
155   #echo "* Archiv: " $zipfile
156    unzip ${zipfile}  -d ../temp
157    # Es sollte nur ein XML-File in jedem ZIP-File stecken, aber es geht auch anders.
158    for nasdatei in ../temp/*.xml ; do
159      # echo "* Datei:  " $nasdatei
160      # Zwischenueberschrift im Fehlerprotokoll
161      echo "* Datei: " $nasdatei >> $errprot
[328]162
[190]163      # Umgebungsvariable setzen:
164        export GML_FIELDTYPES=ALWAYS_STRINGS    # PostNAS behandelt Zahlen wie Strings, PostgreSQL-Treiber macht daraus Zahlen
165        export OGR_SETFIELD_NUMERIC_WARNING=YES # Meldung abgeschnittene Zahlen?
166       #export CPL_DEBUG=ON                     # Meldung, wenn Attribute ueberschrieben werden
[330]167 
[190]168      # PostNAS Konverter-Aufruf
[336]169      #   --config PG_USE_COPY YES
170      ogr2ogr -f "PostgreSQL" -append  ${update} -skipfailures  \
[317]171         PG:"dbname=${DBNAME} host=localhost port=5432 ${OGRPGUSER}" -a_srs EPSG:$EPSG ${nasdatei} 2>> $errprot
[190]172      nasresult=$?
173      echo "* Resultat: " $nasresult " fuer " ${nasdatei} | tee -a $errprot
174    done # Ende Zipfile
175  done # Ende Ordner
176  rm ../temp/*.xml
177  echo " "
[330]178  echo "** Ende Konvertierung Ordner ${ORDNER}"
[328]179
[338]180  # Durch EinfÃŒgen in Tabelle 'delete' werden Löschungen und Aktualisierungen anderer Tabellen getriggert
181  echo "** Die delete-Tabelle enthaelt so viele Zeilen:"
182  psql $con -c 'SELECT COUNT(featureid) AS delete_zeilen FROM "delete";'
183
184  echo "** aufgeteilt auf diese Funktionen:"
185  psql $con -c 'SELECT context, COUNT(featureid) AS anzahl FROM "delete" GROUP BY context ORDER BY context;'
186
187  # Kontext-Funktionen zÀhlen und dei Anzahl als Metadaten zum aktuellen Konvertierungslauf speichern
188  psql $con -c "
189   UPDATE import SET anz_delete=(SELECT count(*) FROM \"delete\" WHERE context='delete')
190   WHERE id=(SELECT max(id) FROM import) AND verzeichnis='${ORDNER}' AND anz_delete IS NULL;
191   UPDATE import SET anz_update=(SELECT count(*) FROM \"delete\" WHERE context='update')
192   WHERE id=(SELECT max(id) FROM import) AND verzeichnis='${ORDNER}' AND anz_update IS NULL;
193   UPDATE import SET anz_replace=(SELECT count(*) FROM \"delete\" WHERE context='replace')
194   WHERE id=(SELECT max(id) FROM import) AND verzeichnis='${ORDNER}' AND anz_replace IS NULL;"
195   # ignored = true auswerten, ggf. warnen ?
196
[330]197#
[190]198# Post-Processing / Nacharbeiten
[330]199#
[190]200  if [ $PP == "nopp" ]
201  then
202    echo "** KEIN Post-Processing - Dies spaeter nachholen."
203    # Dies kann sinnvoll sein, wenn mehrere kleine Aktualisierungen hintereinander auf einem grossen Bestand laufen
[330]204    # Der Aufwand fÃŒr das Post-Processing ist dann nur bei der LETZTEN Aktualisierung notwendig.
[328]205
[190]206  else
207    echo "** Post-Processing (Nacharbeiten zur Konvertierung)"
[294]208
[336]209    echo "** - Optimierte Nutzungsarten neu Laden (Script nutzungsart_laden.sql):"
[317]210    (cd $POSTNAS_HOME; psql $con -f nutzungsart_laden.sql)
[328]211 
[336]212    echo "** - Fluren, Gemarkungen, Gemeinden und Straßen-Namen neu Laden (Script pp_laden.sql):"
[317]213    (cd $POSTNAS_HOME; psql $con -f pp_laden.sql)
[294]214
[328]215  fi
[294]216
[338]217  # AufrÀumen der historischen Objekte -- besser vorher als nachher. Analyse fÃŒr Trigger-Entwicklung
[294]218
[338]219 #echo "   delete-Tabelle loeschen:"
220 #psql $con -c 'TRUNCATE table "delete";'
[328]221
[338]222 #echo "** geendete Objekte entfernen:"
223 #psql $con -c "SELECT alkis_delete_all_endet();"
[328]224
[294]225  echo "Das Fehler-Protokoll wurde ausgegeben in die Datei $errprot"
[330]226  echo "** ENDE PostNAS 0.8-Konvertierung  DB='$DBNAME'  Ordner='$ORDNER' "
[328]227 
Note: See TracBrowser for help on using the repository browser.