Changeset 328 for trunk/import
- Timestamp:
- 09/09/14 08:15:55 (10 years ago)
- Location:
- trunk/import
- Files:
-
- 6 edited
Legend:
- Unmodified
- Added
- Removed
-
trunk/import/datenbank_anlegen.sh
r327 r328 7 7 ## Stand: 8 8 ## 2012-02-10 PostNAS 07, Umbenennung 9 ## 2013-01-15 Zwischenstopp um Meldungen lesen zu k önnen bevor, sie aus dem Scrollbereich verschwinden9 ## 2013-01-15 Zwischenstopp um Meldungen lesen zu können bevor, sie aus dem Scrollbereich verschwinden 10 10 ## 2013-04-16 Vers.-Nr. "0.7" aus dem Dateinamen von Schema und Keytable entfernt, sichten_wms.sql 11 ## 2013-10-16 F.J. krz: Neues Sript "pp_praesentation_sichten.sql" f ÃŒr Reparatur PrÀsentationsobjekte StraÃennamen11 ## 2013-10-16 F.J. krz: Neues Sript "pp_praesentation_sichten.sql" für Reparatur Präsentationsobjekte Straßennamen 12 12 ## 2013-12-03 F.J. krz: Script "sichten.sql" einbeziehen. Darin View "doppelverbindung" fuer WMS FS-Kommunal. 13 ## 2014-01-31 F.J. krz: Unterschiede der Datenbank-Struktur f ÃŒr die Varianten MIT/OHNE Historie.13 ## 2014-01-31 F.J. krz: Unterschiede der Datenbank-Struktur für die Varianten MIT/OHNE Historie. 14 14 15 15 POSTNAS_HOME=$(dirname $0) … … 104 104 echo " " 105 105 echo "** Besonderheiten der Datenbank OHNE Historie" 106 ## auskommentieren, wenn die Datenbank MIT Historie gef ÃŒhrt wird106 ## auskommentieren, wenn die Datenbank MIT Historie geführt wird 107 107 ## Import-ID: Tabelle und Spalte in "alkis_beziehungen" anlegen 108 108 psql $con -U ${DBUSER} -f alkis_PostNAS_schema_ohneHist.sql >$MANDANT_HOME/log/schema.log … … 127 127 echo " " 128 128 echo "** Anlegen Post Processing Tabellen (pp_definition.sql)" 129 psql $con -U ${DBUSER} - v alkis_epsg=$EPSG -f pp_definition.sql >$MANDANT_HOME/log/pp_definition.log129 psql $con -U ${DBUSER} -f pp_definition.sql >$MANDANT_HOME/log/pp_definition.log 130 130 131 131 echo " " … … 144 144 psql $con -U ${DBUSER} -f grant.sql >$MANDANT_HOME/log/log_grant.log 145 145 echo " 146 *************************** 147 ** Ende Neue Datenbank **148 *************************** 146 ************************************* 147 ** Ende Neue Datenbank ${DBNAME} 148 ************************************* 149 149 " -
trunk/import/grant.sql
r327 r328 11 11 -- 2012-02-17 PostNAS 0.7, pp_Tabellen, ms5 -> ms6 12 12 -- 2012-04-25 Tabelle pp_flurstueck_nr 13 -- 2013-01-15 mehr Schl ÃŒsseltabellen rein13 -- 2013-01-15 mehr Schlüsseltabellen rein 14 14 -- 2013-03-05 View "s_beschriftung" wird durch "ap_pto_stra" und "ap_pto_rest" ersetzt. 15 15 -- View "s_nummer_nebengebaeude" wird durch "lfdnr_nebengebaeude" ersetzt. 16 16 -- 2013-03-25 View "grenzpunkt" und "gebaeude_txt" 17 -- 2013-04-19 Neues zum Thema "Bodensch Àtzung", Views entfallen17 -- 2013-04-19 Neues zum Thema "Bodenschätzung", Views entfallen 18 18 -- 2013-10-24 Table "pp_strassenname" ersetzt View "ap_pto_stra" im WMS (ms6) 19 -- 2014-01-22 Neue Views f ÃŒr CSV-Export, neue SchlÃŒsseltabelle "ax_namensnummer_eigentuemerart"20 -- 2014-08-25 Stra Ãennamen aufteilen in _P und L19 -- 2014-01-22 Neue Views für CSV-Export, neue Schlüsseltabelle "ax_namensnummer_eigentuemerart" 20 -- 2014-08-25 Straßennamen aufteilen in _P und L 21 21 22 22 … … 33 33 -- ALKIS / PostNAS 34 34 -- --------------- 35 -- Berechtigung f ÃŒr Kartendarstellung35 -- Berechtigung für Kartendarstellung 36 36 GRANT SELECT ON TABLE alkis_beziehungen TO ms6; 37 37 GRANT SELECT ON TABLE ap_darstellung TO ms6; … … 280 280 -- ------------------ 281 281 282 -- Geb Àude282 -- Gebäude 283 283 GRANT SELECT ON TABLE ax_gebaeude_bauweise TO ms6; 284 284 GRANT SELECT ON TABLE ax_gebaeude_bauweise TO mb27; … … 294 294 GRANT SELECT ON TABLE ax_bauteil_bauart TO mb27; 295 295 296 -- Bodensch Àtzung296 -- Bodenschätzung 297 297 GRANT SELECT ON TABLE ax_bodenschaetzung_bodenart TO ms6; 298 298 GRANT SELECT ON TABLE ax_bodenschaetzung_bodenart TO mb27; … … 312 312 GRANT SELECT ON TABLE ax_bewertung_klassifizierung TO mb27; 313 313 314 -- Bodensch Àtzung Views314 -- Bodenschätzung Views 315 315 GRANT SELECT ON TABLE s_bodensch_wms TO ms6; 316 316 GRANT SELECT ON TABLE s_bodensch_ent TO ms6; … … 340 340 GRANT SELECT ON TABLE ax_sonstigesrecht_artdf TO mb27; 341 341 342 -- Sonstige Schl ÃŒsseltabellen342 -- Sonstige Schlüsseltabellen 343 343 GRANT SELECT ON TABLE ax_buchungsstelle_buchungsart TO ms6; 344 344 GRANT SELECT ON TABLE ax_buchungsstelle_buchungsart TO mb27; -
trunk/import/konv_batch.sh
r327 r328 27 27 ## 2012-10-30 Umgebungsvariable setzen, delete-Tabelle am Ende fuer Analyse gefuellt lassen. 28 28 ## Test als 0.7a mit gepatchter gdal-Version (noch 2.0dev) 29 ## 2013-10-16 F.J. krz: Neues Script "pp_praesentation_action.sql" f ÃŒr Reparatur der30 ## Pr Àsentationsobjekte StraÃenname im Post-Processing31 ## 2013-10-24 F.J. krz: Zwischenl ösung "praesentation_action.sql" wieder deaktiviert.29 ## 2013-10-16 F.J. krz: Neues Script "pp_praesentation_action.sql" für Reparatur der 30 ## Präsentationsobjekte Straßenname im Post-Processing 31 ## 2013-10-24 F.J. krz: Zwischenlösung "praesentation_action.sql" wieder deaktiviert. 32 32 ## 2014-01-31 F.J. krz: Import Eintrag erzeugen (nach Vorschlag Marvin Brandt, Unna) 33 ## 2014-02-13 A.Emde WhereGroup: EinfÃŒhrung DBUSER, damit im Skript der Datenbankbenutzer angegeben werden kann 34 ## 35 ## ToDo: Option "-skipfailures" nach Test entfernen ? 36 ## 33 ## 2014-02-13 A.Emde WhereGroup: Einführung DBUSER, damit im Skript der Datenbankbenutzer angegeben werden kann 34 ## 2014-05-12 F.J. krz: Unterschiedliche Pfade in Test (TRUNK) und Produktion (Rel. 1.11.0) 35 ## 2014-06-18 F.J. DB-User nicht "postgres" (in $con). 36 ## Konverter ind Nacharbeiten sonst mit unterschiedlichem User. 37 ## Abgleich Test/Prod-Version 38 ## Entfernen der historischen Objekte nach Konvertierung. 39 ## 2014-09-03 F.J. Auch für 0.7-Datenstruktur die aktuelle Programmversion, PG_USE_COPY 40 37 41 ## Koordinaten: EPSG:25832 UTM, Zone 32 38 42 ## -a_srs EPSG:25832 - bleibt im UTM-System (korrigierte Werte) 39 ##40 43 41 44 POSTNAS_HOME=$(dirname $0) 42 43 # Konverterpfad 44 PATH=/opt/gdal-2.0/bin:$PATH 45 PATH=/opt/gdal-2.0/bin:$PATH # TRUNK-Version (immer letzter Stand der Entwicklung) 46 #PATH=/opt/gdal-1.11/bin:$PATH # Release GDAL 1.11.0 vom April 2014 45 47 EPSG=25832 46 DBUSER= postgres48 DBUSER=b600352 47 49 48 50 if [ $DBUSER == "" ] … … 59 61 OGRPGUSER=" user=${DBUSER}" 60 62 fi 61 62 echo "**************************************************" 63 echo "** K o n v e r t i e r u n g PostNAS 0.7a **" 64 echo "**************************************************" 63 64 echo " 65 ********************************************** 66 ** K o n v e r t i e r u n g PostNAS ** 67 ********************************************** 68 " 65 69 ## Parameter: 66 70 ORDNER=$1 … … 104 108 fi 105 109 fi 110 106 111 # Fehlerprotokoll: 107 108 # 112 errprot=${POSTNAS_HOME}'/log/postnas_err_'$DBNAME'.prot' 113 109 114 # DB-Connection 110 111 echo "Datenbank-Name . . = ${DBNAME}" 112 echo "DBUSER ${DBUSER}"113 echo "PGUSER ${PGUSER}"114 echo "OGRPGUSER ${OGRPGUSER}"115 echo "Ordner NAS-Daten . = ${ORDNER}"116 echo "Verarbeitungs-Modus= ${verarb}"117 echo ""118 119 echo " " 115 con="${PGUSER} -p 5432 -d ${DBNAME} " 116 117 echo "Datenbank-Name . . = ${DBNAME}" 118 echo "DBUSER ${DBUSER}" 119 echo "PGUSER ${PGUSER}" 120 echo "OGRPGUSER ${OGRPGUSER}" 121 echo "Ordner NAS-Daten . = ${ORDNER}" 122 echo "Verarbeitungs-Modus= ${verarb}" 123 echo "POSTNAS_HOME ${POSTNAS_HOME}" 124 120 125 # noch alte delete-Eintraege in DB? 121 echo "Leeren der delete-Tabelle" 122 echo 'TRUNCATE table "delete";' | psql $con 123 124 # 126 echo "Leeren der delete-Tabelle" 127 echo 'TRUNCATE table "delete";' | psql $con 128 125 129 # Import Eintrag erzeugen 126 130 # 127 # Die dadurch erzeugte Import-ID dient zur Steuerung des L öschens alter Relationen im Trigger.131 # Die dadurch erzeugte Import-ID dient zur Steuerung des Löschens alter Relationen im Trigger. 128 132 # Wird die Datenbank MIT Historie geladen, muss die folgende Zeile auskommentiert werden. 129 133 echo "INSERT INTO import (datum,verzeichnis,importart) VALUES ('"$(date '+%Y-%m-%d %H:%M:%S')"','"${ORDNER}"','"${verarb}"');" | psql $con 130 134 131 #132 135 # Ordner abarbeiten 133 # 136 134 137 cd ${ORDNER} 135 138 rm ../temp/*.gfs … … 147 150 # Zwischenueberschrift im Fehlerprotokoll 148 151 echo "* Datei: " $nasdatei >> $errprot 149 # 152 150 153 # Umgebungsvariable setzen: 151 154 export GML_FIELDTYPES=ALWAYS_STRINGS # PostNAS behandelt Zahlen wie Strings, PostgreSQL-Treiber macht daraus Zahlen 152 155 export OGR_SETFIELD_NUMERIC_WARNING=YES # Meldung abgeschnittene Zahlen? 153 156 #export CPL_DEBUG=ON # Meldung, wenn Attribute ueberschrieben werden 154 # 157 155 158 # PostNAS Konverter-Aufruf 156 # 157 # -skipfailures # 158 # -overwrite # 159 ogr2ogr -f "PostgreSQL" -append ${update} -skipfailures \ 159 ogr2ogr -f "PostgreSQL" -append ${update} -skipfailures --config PG_USE_COPY YES \ 160 160 PG:"dbname=${DBNAME} host=localhost port=5432 ${OGRPGUSER}" -a_srs EPSG:$EPSG ${nasdatei} 2>> $errprot 161 161 nasresult=$? … … 165 165 rm ../temp/*.xml 166 166 echo " " 167 echo "** Ende Konvertierung Ordner ${ORDNER}" 168 # 167 echo "** Ende Konvertierung Ordner ${ORDNER} 168 " 169 169 170 # Post-Processing / Nacharbeiten 170 # 171 171 172 if [ $PP == "nopp" ] 172 173 then 174 173 175 echo "** KEIN Post-Processing - Dies spaeter nachholen." 174 176 # Dies kann sinnvoll sein, wenn mehrere kleine Aktualisierungen hintereinander auf einem grossen Bestand laufen 175 177 # Der Aufwand fuer das Post-Processing ist dann nur bei der LETZTEN Aktualisierung notwendig. 178 176 179 else 180 177 181 echo "** Post-Processing (Nacharbeiten zur Konvertierung)" 178 182 179 183 echo "** - Optimierte Nutzungsarten neu Laden:" 180 184 (cd $POSTNAS_HOME; psql $con -f nutzungsart_laden.sql) 181 echo "-----------" 182 185 183 186 echo "** - Fluren / Gemarkungen / Gemeinden neu Laden:" 184 187 (cd $POSTNAS_HOME; psql $con -f pp_laden.sql) 185 188 186 187 # echo "** - PrÀsentationsobjekte generieren:"188 # (cd $POSTNAS_HOME; psql $con -f pp_praesentation_action.sql)189 190 189 fi 191 # 190 192 191 if [ "$(readlink $POSTNAS_HOME/alkis-trigger.sql)" = "alkis-trigger-kill.sql" ]; then 193 # Durch Einfuegen in Tabelle 'delete' werden Loeschungen anderer Tabellen getriggert 194 echo "** delete-Tabelle enthaelt:"195 echo 'SELECT COUNT(featureid) AS delete_zeilen FROM "delete";' | psql $con196 #echo " delete-Tabelle loeschen:"197 #echo 'TRUNCATE table "delete";' | psql $con 198 # Fuer Analyse-Zwecke sollten die Delete-Eintraege erhalten bleiben bis zum naechsten Lauf.199 # TRUNCATE erfolgt VOR der Konnvertierung.200 # 201 # Wenn die Datenbank MIT Historie angelegtwurde, man diese aber gar nicht braucht,202 # dann hinterher aufraeumen der historischen Objekte203 #echo "** geendete Objekte entfernen:"204 # Function: 205 # echo 'SELECT alkis_delete_all_endet();' | psql $con206 #echo " ... geendete Objekte entfernen wurde fuer Test dektiviert."207 #echo " Bitte manuell ausfuehren: SELECT alkis_delete_all_endet(); " 192 193 # Durch Einfuegen in Tabelle 'delete' werden Loeschungen anderer Tabellen getriggert 194 echo "** delete-Tabelle enthaelt:" 195 psql $con -c 'SELECT COUNT(featureid) AS delete_zeilen FROM "delete";' 196 197 echo " delete-Tabelle loeschen:" 198 psql $con -c 'TRUNCATE table "delete";' 199 200 # Wenn die Datenbank MIT Historie geladen wurde, man diese aber gar nicht braucht, 201 # dann hinterher aufraeumen der historischen Objekte 202 echo "** geendete Objekte entfernen:" 203 204 # Function: 205 psql $con -c "SELECT alkis_delete_all_endet();" 206 208 207 fi 208 209 209 echo "Das Fehler-Protokoll wurde ausgegeben in die Datei $errprot" 210 #echo "HINWEIS: -skipfailures fuer Produktion wieder einschalten."210 -
trunk/import/pp_definition.sql
r325 r328 16 16 -- 2012-10-24 Neue Tabelle fÃŒr die PrÀsentation von StraÃennamen und -Klassifikationen 17 17 -- 2014-08-25 StraÃennamen aufteilen in _P und L 18 -- 2014-09-08 Korrektur 18 19 19 20 -- ============================ … … 407 408 -- :alkis_epsg = 25832 408 409 SELECT AddGeometryColumn('pp_strassenname_l','the_geom',25832,'LINESTRING',2); -- Hier liegt der Unterschied 409 CREATE INDEX pp_snaml_gidx ON pp_strassenname USING gist(the_geom);410 CREATE INDEX pp_snaml_gidx ON pp_strassenname_l USING gist(the_geom); 410 411 411 412 COMMENT ON TABLE pp_strassenname_l IS 'Post-Processing: Label der StraÃennamen in der Karte, Liniengeometrie. Auszug aus ap_lto.'; -
trunk/import/sichten.sql
r320 r328 74 74 -- Test-Ausgabe: Ein paar FÀlle mit "Recht an" 75 75 -- SELECT * FROM doppelverbindung WHERE ba_dien > 0 LIMIT 20; 76 77 76 78 77 … … 252 251 IS 'View fÃŒr einen CSV-Export aus der Buchauskunft mit alkisexport.php. Generelle Struktur. FÃŒr eine bestimmte gml_id noch den Filter setzen.'; 253 252 254 --GRANT SELECT ON TABLE exp_csv TO mb27; -- User fÃŒr Auskunfts-Programme253 GRANT SELECT ON TABLE exp_csv TO mb27; -- User fÃŒr Auskunfts-Programme 255 254 --GRANT SELECT ON TABLE exp_csv TO alkisbuch; -- User fÃŒr Auskunfts-Programme RLP-Demo 256 255 … … 373 372 IS 'View fÃŒr einen CSV-Export aus der Buchauskunft mit alkisexport.php. Liefert nur FlurstÃŒcke, die eine Lagebezeichnung MIT/OHNE Hausnummer haben. Dazu noch den Filter auf GML-ID der StraÃentabelle setzen.'; 374 373 375 --GRANT SELECT ON TABLE exp_csv_str TO mb27; -- User fÃŒr Auskunfts-Programme374 GRANT SELECT ON TABLE exp_csv_str TO mb27; -- User fÃŒr Auskunfts-Programme 376 375 --GRANT SELECT ON TABLE exp_csv_str TO alkisbuch; -- User fÃŒr Auskunfts-Programme RLP-Demo 377 376 -
trunk/import/sichten_wms.sql
r325 r328 342 342 -- In der Tabelle werden dann die leer gebliebenen Label aus dem Katalog noch ergÀnzt. 343 343 344 DROP VIEW ap_lto_stra; 345 344 -- DROP VIEW ap_lto_stra; 346 345 CREATE OR REPLACE VIEW ap_lto_stra 347 346 AS
Note: See TracChangeset
for help on using the changeset viewer.