Changeset 190 for trunk/data/konvert/postnas_0.7/konv_batch.sh

Timestamp:

12/08/12 19:14:37 (11 years ago)

Author:

j.e.fischer

Message:

Allgemeinde Änderungen (Schemaänderungen gesondert im Anschluß):

2012-06-24

Festen Pfad zu PostNAS entfernt: ordner_konvertieren.sh,
datenbank_anlegen.sh, konv_batch.sh, konvertierung_kommandos_beispiele.txt

alkis-trigger-hist.sql und alkis-trigger-kill.sql:

ergänzt (setzt den jeweiligen delete-Trigger)

alkis-trigger.sql in svn:ignore aufgenommen

datenbank_anlegen.sh:

Ggf. Symlink alkis-trigger.sql auf alkis-trigger-kill.sql anlegen

konv_batch.sh:

• GDAL in PATH aufgenommen und ogr2ogr in ohne Pfad aufgerufen
• Löschen der historischen Daten wird ausgeführt, wenn Symlink auf alkis-trigger-kill.sql zeigt.

alkis-functions.sql:

Stored Procedures aus alkis_PostNAS_0.7_schema.sql ausgelagert

CRLF => LF:

pp_laden.sql, ordner_konvertieren.sh, datenbank_anlegen.sh, konv_batch.sh

Schemaanpassungen:

2012-12-03

ap_darstellung.advstandardmodell: varchar => varchar[]

2012-11-21

ax_besonderegebaeudelinie kann LINESTRING oder MULTILINESTRING sein (=>GEOMETRY)

2012-11-20

Koordinatensystem konfigurierbar anlegen (Variable :alkis_epsg)

2012-11-20

• Ausführende Stellen ergänzt
  • Felder zu ax_historischesflurstueckalb ergänzt:
  • buchungsblattnummermitbuchstabenerweiterung/laufendenummerderbuchungsstelle zu Array
  • laufendenummerderfortfuehrung/fortfuehrungsart ergänzt
  • Indizes gesetzt
• Felder zu ax_historischesflurstueck ergänzt:
  • buchungsblattnummermitbuchstabenerweiterung/buchungsblattkennzeichen zu Array
• Feld relativehoehe zu ax_grenzpunkt / ax_aufnahmepunkt / ax_sicherungspunkt /
• Tabelle ax_sonstigervermessungspunkt ergänzt
• Koordinatenstatus zu ax_punktortag / ax_punktortau / ax_punktortta ergänzt
• Felder zu ax_anschrift ergänzt: postleitzahlpostfach / postfach / ortsteil / weitereAdressen
• Feld objekthoehe zu ax_bauwerkoderanlagefuerindustrieundgewerbe ergänzt
• Feld sonstigeeigenschaft (Array) zu ax_besondererbauwerkspunkt ergänzt

• Feld gemeindeflaeche zu ax_kommunalesgebiet hinzugefügt
• Triggerausgabe korrigiert

2012-10-17

identifier bei ax_boeschungkliff und ax_boeschungsflaeche ergänzt

2012-09-09

• ax_flurstueck/ax_historischesflurstueckalb/ax_historischesflurstueck
  • rechtsbehelfsverfahren / zweifelhafterFlurstuecksnachweis: integer => varchar default 'false'
• ax_punktortag/ax_punktortau/ax_punktortta.kartendarstellung: integer => varchar
• Neue Indizes:
  • auf endet in ap_ppo, ap_lpo, ap_darstellung, ap_pto, ax_punktortta,
  • ax_flurstueck auf:
    • land,gemarkungsnummer,flurnummer,zaehler,nenner
    • abweichenderrechtszustand
  • ax_buchungsblatt(land,bezirk,buchungsblattnummermitbuchstabenerweiterung)
  • ax_grenzpunkt(abmarkung_marke)
  • ap_pto(sn)
• Indizes auf alkis_beziehungen / ax_historischesflurstueckalb / ax_grenzpunkt_abmm auf USING btree geändert
• ap_lpo / ax_gebaeudeausgestaltung kann LINESTRING und MULTILINESTRING enthalten (=>GEOMETRY)

2012-06-24

• Stored Procedures in alkis-funktions.sql ausgelagert
• alkis_drop() aus Schema wird aufgerufen
• Löschtrigger wird durch \i alkis-trigger.sql gesetzt (Symlink auf alkis-trigger-kill.sql oder alkis-trigger-hist.sql konfiguriert die Fortführungsoption)
• Angleichung von ax_sicherungspunkt.beginnt, .identifier und .endet
• Angleichung von ax_punktkennunguntergegangen.beginnt, .identifier und .endet
• ax_vertretung und ax_verwaltungsgemeinschaft ergänzt
• ax_besonderertopographischerpunkt.sonstigeeigenschaft varchar[] ergänzt
• ax_grenzpunkt.besonderepunktnummer ergänzt
• ax_gebaeude.weiteregebaeudefunktion => integer[]
• ax_bauteil.dachform & anzahlderoberirdischengeschosse ergänzt
• ax_besonderegebaeudelinie.beschaffenheit => integer[]
• ap_lto.signaturnummer ergänzt
• ax_gebaeude.name => name[]
• ax_turm.zustand und name ergänzt
• ax_bauwerkoderanlagefuerindustrieundgewerbe.name und zustand ergänzt
• ax_vorratsbehaelterspeicherbauwerk.lagezurerdoberflaeche und name ergänzt
• ax_transportanlage.produkt ergänzt
• ax_bauwerkoderanlagefuersportfreizeitunderholung.name und sportart ergänzt
• ax_historischesbauwerkoderhistorischeeinrichtung.name ergänzt
• ax_einrichtunginoeffentlichenbereichen.kilometerangaben ergänzt
• ax_bauwerkimverkehrsbereich.name und zustand ergänzt
• ax_strassenverkehrsanlage.bezeichnung und name ergänzt
• ax_wegpfadsteig.name ergänzt
• ax_bahnverkehrsanlage.name ergänzt
• ax_gleis.art, lagezuroberflaeche und name ergänzt
• ax_bauwerkimgewaesserbereich.name und zustand ergänzt
• ax_vegetationsmerkmal.zustand und name ergänzt
• ax_gewaessermerkmal.name ergänzt
• ax_untergeordnetesgewaesser.lagezurerdoberflaeche, name und hydrologischesmerkmal ergänzt
• ap_darstellung.positionierungsregel ergänzt
• ax_bodenschaetzung.sonstigeAngaben integer => integer[]
• ax_grablochderbodenschaetzung.bedeutung integer => integer[]
• ax_dammwalldeich.name ergänzt
• ax_naturumweltoderbodenschutzrecht.name ergänzt
• ax_gelaendekante.art ergänzt
• ax_bauteil.advstandardmodel varchar => varchar[]
• ax_gemarkung.advstandardmodel varchar => varchar[]
• ax_buchungsstelle.advstandardmodel.zaehler/nenner => double precision
• signaturnummer: integer => varchar
• anlass: integer => varchar
• ax_historischesflurstueckalb.buchungsblattkennzeichen: double precision => varchar
• ax_verwaltung ergänzt
• ax_kommunalesgebiet.schluesselgesamt: integer => varchar

Location:

trunk/data/konvert/postnas_0.7

Files:

• . (modified) (1 prop)
• konv_batch.sh (modified) (6 diffs)

trunk/data/konvert/postnas_0.7/konv_batch.sh

@@ -1 @@
-#!/bin/bash
+#!/bin/bash
 ## -------------------------------------------------
-## Konvertierung von ALKIS NAS-Format nach PosGIS  -
+## Konvertierung von ALKIS NAS-Format nach PostGIS -
 ## NAS-Daten in einem Ordner konvertieren          -
 ## Batch-Teil, Aufruf mit geprueften Parametern    -
@@ -13 +13 @@
 ##           /temp/
 ##   Auf der gleichen Ebene wie die Datenordner muss ein Ordner /temp/ existieren.
-##   Dort werden die NAS-Daten temporär ausgepackt.
+##   Dort werden die NAS-Daten temporaer ausgepackt.
 ##   Relativ zum mitgegebenen Parameter ist das: '../temp/'
 ##   Parallel laufende Konvertierungen zum gleichen Mandanten 
-##   würden hier durcheinander geraten. Vermeiden!
+##   wuerden hier durcheinander geraten. Vermeiden!
 ##
 ## Stand: 
 ##   2012-02-10 Umbennung nach 0.7
 ##   2012-02-17 Optimierung
-##   2012-02-28 Neuer Parameter 4 um Post-Prozessing zu unterdrücken
-##   2012-04-25 Durch GDAL Patch #5444 werden die Löschungen als Trigger auf Tabelle 'delete' verarbeitet
+##   2012-02-28 Neuer Parameter 4 um Post-Prozessing zu unterdruecken
+##   2012-04-25 Durch GDAL Patch #5444 werden die Loeschungen als Trigger auf Tabelle 'delete' verarbeitet
 ##   2012-05-18 Umzug neue GDI, GDAL-Trunk unter Pfad 
-##   2012-10-30 Umgebungsvariable setzen, delete-Tabelle am Ende für Analyse gefüllt lassen.
+##   2012-06-04 SQL-Skripte in deren Verzeichnis ausfuehren (Voraussetzung fuer \i Includes)
+##   2012-10-30 Umgebungsvariable setzen, delete-Tabelle am Ende fuer Analyse gefuellt lassen.
 ##              Test als 0.7a mit gepatchter gdal-Version (noch 2.0dev)
 ##
-## Konverter:   /opt/gdal-2.0/bin/ = GDAL 2.0-DEV / PostNAS 0.7
+## ToDo: Option "-skipfailures" nach Test entfernen ?
+##
 ## Koordinaten: EPSG:25832  UTM, Zone 32
 ##              -a_srs EPSG:25832   - bleibt im UTM-System (korrigierte Werte)
 ##
+
+POSTNAS_HOME=$(dirname $0)
+
+# Konverterpfad
+PATH=/opt/gdal-2.0/bin:$PATH
+EPSG=25832
+
+
 echo "**************************************************"
 echo "**   K o n v e r t i e r u n g     PostNAS 0.7a **"
@@ -76 +86 @@
 fi
 # Fehlerprotokoll:
-  errprot='/data/konvert/postnas_0.7a/log/postnas_err_'$DBNAME'.prot'
+  errprot='$POSTNAS_HOME/log/postnas_err_'$DBNAME'.prot'
 #
 # DB-Connection
@@ -109 +119 @@
         export GML_FIELDTYPES=ALWAYS_STRINGS    # PostNAS behandelt Zahlen wie Strings, PostgreSQL-Treiber macht daraus Zahlen
         export OGR_SETFIELD_NUMERIC_WARNING=YES # Meldung abgeschnittene Zahlen?
-       #export CPL_DEBUG=ON                     # Meldung, wenn Attribute überschrieben werden
+       #export CPL_DEBUG=ON                     # Meldung, wenn Attribute ueberschrieben werden
       #
       # PostNAS Konverter-Aufruf
@@ -115 +125 @@
       # -skipfailures    #
       # -overwrite       #
-      /opt/gdal-2.0/bin/ogr2ogr -f "PostgreSQL" -append  ${update} -skipfailures  \
-         PG:"dbname=${DBNAME} host=localhost port=5432" -a_srs EPSG:25832 ${nasdatei} 2>> $errprot
+      ogr2ogr -f "PostgreSQL" -append  ${update} -skipfailures \
+         PG:"dbname=${DBNAME} host=localhost port=5432" -a_srs EPSG:$EPSG ${nasdatei} 2>> $errprot
       nasresult=$?
-      echo "* Resultat: " $nasresult " fuer " ${nasdatei}
-          echo "* Resultat: " $nasresult " fuer " ${nasdatei}  >> $errprot
+      echo "* Resultat: " $nasresult " fuer " ${nasdatei} | tee -a $errprot
     done # Ende Zipfile
   done # Ende Ordner
@@ -130 +139 @@
   if [ $PP == "nopp" ]
   then
-    echo "** KEIN Post-Processing - Dies Spaeter nachholen."
-    # Dies kann sinnvoll sein, wenn mehrere kleine Aktualisierungen hintereinander auf einem großen Bestand laufen
-    # Der Aufwand für das Post-Processing ist dann nur bei der LETZTEN Aktualisierung notwendig.
+    echo "** KEIN Post-Processing - Dies spaeter nachholen."
+    # Dies kann sinnvoll sein, wenn mehrere kleine Aktualisierungen hintereinander auf einem grossen Bestand laufen
+    # Der Aufwand fuer das Post-Processing ist dann nur bei der LETZTEN Aktualisierung notwendig.
   else
     echo "** Post-Processing (Nacharbeiten zur Konvertierung)"
     echo "** - Optimierte Nutzungsarten neu Laden:"
-    psql -p 5432 -d ${DBNAME} < /data/konvert/postnas_0.7a/nutzungsart_laden.sql
+    (cd $POSTNAS_HOME; psql -p 5432 -d ${DBNAME} -f nutzungsart_laden.sql)
     ##
     echo "** - Fluren / Gemarkungen / Gemeinden neu Laden:"
-    psql -p 5432 -d ${DBNAME} < /data/konvert/postnas_0.7a/pp_laden.sql
+    (cd $POSTNAS_HOME; psql -p 5432 -d ${DBNAME} -f pp_laden.sql)
   fi
+
+  if [ "$(readlink $POSTNAS_HOME/alkis-trigger.sql)" = "alkis-trigger-kill.sql" ]; then
 # Durch Einfuegen in Tabelle 'delete' werden Loeschungen anderer Tabellen getriggert
-  echo "** delete-Tabelle enthält:"
-  echo 'SELECT COUNT(featureid) AS delete_zeilen FROM "delete";' | psql $con
- #echo "   delete-Tabelle loeschen:"
- #echo 'TRUNCATE table "delete";' | psql $con
+    echo "** delete-Tabelle enthaelt:"
+    echo 'SELECT COUNT(featureid) AS delete_zeilen FROM "delete";' | psql $con
+    #echo "   delete-Tabelle loeschen:"
+    #echo 'TRUNCATE table "delete";' | psql $con
  # Fuer Analyse-Zwecke sollten die Delete-Eintraege erhalten bleiben bis zum naechsten Lauf.
  # TRUNCATE erfolgt VOR der Konnvertierung.
 #
 # Wenn die Datenbank MIT Historie angelegt wurde, man diese aber gar nicht braucht,
-# dann hinterher aufräumen der historischen Objekte 
- #echo "** geendete Objekte entfernen:"
-# Function :
- #echo 'SELECT alkis_delete_all_endet();' | psql $con
- #echo "  ... geendete Objekte entfernen wurde fuer Test dektiviert."
- #echo "  Bitte manuell ausfuehren:  SELECT alkis_delete_all_endet(); "
+# dann hinterher aufraeumen der historischen Objekte 
+    #echo "** geendete Objekte entfernen:"
+# Function:
+    #echo 'SELECT alkis_delete_all_endet();' | psql $con
+    #echo "  ... geendete Objekte entfernen wurde fuer Test dektiviert."
+    #echo "  Bitte manuell ausfuehren:  SELECT alkis_delete_all_endet(); "
 #
-  echo "Das Fehler-Protokoll wurde ausgegeben in die Datei $errprot"
- #echo "HINWEIS: -skipfailures  fuer Produktion wieder einschalten."
-#
+    echo "Das Fehler-Protokoll wurde ausgegeben in die Datei $errprot"
+    #echo "HINWEIS: -skipfailures  fuer Produktion wieder einschalten."
+  fi