Informix UNL-File Bereinigung #1

Open
opened 2 years ago by danielq · 0 comments
danielq commented 2 years ago
Owner

Ziel ist es, Dateien von problematischen Zeichen zu befreien, so dass sie ohne Änderung in Postgres-UTF8 hochgeladen werden können:

  1. in Informix dbexport-Dumps (unl-files wie in SuperX/BI üblich)
  2. in SuperX/BI Unloads aus Informix ERP (COB, SVA, MBS)

-Die Java Klasse ist unabhängig von BI/SuperX lauffähig und benötigt nur eine Java Runtime, sowie ggf. benötigte Libraries.
-Sie kann bei Laderoutinen unter Pos.2 zwischen Unload und Load gesetzt werden

Die Java Klasse prüft alle Zeichen einer Textdatei gegen die Zeichentabelle UTF-8 (Dialekt für Postgres als Ziel-DB) und ersetzt problematische Zeichen durch Leerzeichen (oder ein anderes Zeichen nach Wahl). Beschreibung des Verhaltens der Klasse:

Notwendige Konfiguration (Umgebung):

  • JAVA_HOME
  • Zeichen zur Ersetzung (Default: Leerstring)
  • Zielcodierung (Default UTF-8)
  • Loglevel:
    ** DEBUG: Jedes Fehlzeichen wird protokolliert (Zeichen, Zeilennr, Zeichenpos.), in die Datei _eingabedatei.endung_problems.txt
    ** INFO (Default): Dateiname mit Fehlzeichen wird nach STDOUT ausgegeben
    ** SEVERE: Nur bei Laufzeitfehlern erfolgt eine Ausgabe

Argumente:

  • einzelner Dateipfad, oder
  • ein Verzeichnis (das dann rekursiv bis in den tiefsten Zweig des Baumes durchsucht wird)
  • bei Verzeichnis-Suche: Dateiendung für Wildcard Suche (Default *.unl)
  • dry-run: eine Vorschau welche Dateien/Zeichen entfernt werden
  • safe-run: Beibehaltung der Originaldateien (ja/nein): wenn Zeichen ersetzt werden wird eine Backup-Datei mit einer alternativen Endung ".orig" angelegt

Ausgabe:

  • Return Code 0 für Erfolg und 1 für Laufzeitfehler
  • Ausgabetext: "Es wurden x Dateien geprüft und y Dateien bereinigt, Laufzeit z Sek."
  • Dateiliste nach STDOUT bei Loglevel INFO
Ziel ist es, Dateien von problematischen Zeichen zu befreien, so dass sie ohne Änderung in Postgres-UTF8 hochgeladen werden können: 1. in Informix dbexport-Dumps (unl-files wie in SuperX/BI üblich) 2. in SuperX/BI Unloads aus Informix ERP (COB, SVA, MBS) -Die Java Klasse ist unabhängig von BI/SuperX lauffähig und benötigt nur eine Java Runtime, sowie ggf. benötigte Libraries. -Sie kann bei Laderoutinen unter Pos.2 zwischen Unload und Load gesetzt werden Die Java Klasse prüft alle Zeichen einer Textdatei gegen die Zeichentabelle UTF-8 (Dialekt für Postgres als Ziel-DB) und ersetzt problematische Zeichen durch Leerzeichen (oder ein anderes Zeichen nach Wahl). Beschreibung des Verhaltens der Klasse: Notwendige Konfiguration (Umgebung): * JAVA_HOME * Zeichen zur Ersetzung (Default: Leerstring) * Zielcodierung (Default UTF-8) * Loglevel: ** DEBUG: Jedes Fehlzeichen wird protokolliert (Zeichen, Zeilennr, Zeichenpos.), in die Datei _eingabedatei.endung_problems.txt ** INFO (Default): Dateiname mit Fehlzeichen wird nach STDOUT ausgegeben ** SEVERE: Nur bei Laufzeitfehlern erfolgt eine Ausgabe Argumente: * einzelner Dateipfad, oder * ein Verzeichnis (das dann rekursiv bis in den tiefsten Zweig des Baumes durchsucht wird) * bei Verzeichnis-Suche: Dateiendung für Wildcard Suche (Default *.unl) * dry-run: eine Vorschau welche Dateien/Zeichen entfernt werden * safe-run: Beibehaltung der Originaldateien (ja/nein): wenn Zeichen ersetzt werden wird eine Backup-Datei mit einer alternativen Endung ".orig" angelegt Ausgabe: * Return Code 0 für Erfolg und 1 für Laufzeitfehler * Ausgabetext: "Es wurden x Dateien geprüft und y Dateien bereinigt, Laufzeit z Sek." * Dateiliste nach STDOUT bei Loglevel INFO
Sign in to join this conversation.
No Label
No Milestone
No Assignees
1 Participants
Notifications
Due Date

No due date set.

Dependencies

This issue currently doesn't have any dependencies.

Loading…
There is no content yet.