Historian Datenbankexport/-import
Moderator: Co-Administratoren
- Bernd-Joras
- Beiträge: 741
- Registriert: 26.03.2016, 09:33
- Hat sich bedankt: 34 Mal
- Danksagung erhalten: 40 Mal
Historian Datenbankexport/-import
Hallöle ... Ich habe da mal bitte eine Frage zum Historian 4.0 …
Mit der neuen Version 4 habe ich nun einige Restore Tests gemacht.
Wiederherstellung aus dem erstellten Backup war immer erfolgreich …
Alle Datenpunkte aus der Vergangenheit und neu gesammelte sind vorhanden und werden angezeigt.
Danke! Vertrauen zum Historian Backup ist hergestellt
Wenn ich jedoch ein Datenbankexport/-import mache, habe ich Probleme mit den alten Datenpunkten.
Der (vermeintliche) Datenbankexport (export.csv) ist laut extra Webseitenansicht erfolgreich beendet.
Den Datenbankimport mache ich mit den im Screeshot gezeigten Einstellung und ohne Fehlermeldung.
Jedoch werden mir im Anschluss keine „alten“ Datenpunkte angezeigt.
Muss ich hier 2 Tage warten, bis alles einsortiert ist oder Kann mir jemand sagen was ich hier verkehrt mache?
Danke, BGB
Mit der neuen Version 4 habe ich nun einige Restore Tests gemacht.
Wiederherstellung aus dem erstellten Backup war immer erfolgreich …
Alle Datenpunkte aus der Vergangenheit und neu gesammelte sind vorhanden und werden angezeigt.
Danke! Vertrauen zum Historian Backup ist hergestellt
Wenn ich jedoch ein Datenbankexport/-import mache, habe ich Probleme mit den alten Datenpunkten.
Der (vermeintliche) Datenbankexport (export.csv) ist laut extra Webseitenansicht erfolgreich beendet.
Den Datenbankimport mache ich mit den im Screeshot gezeigten Einstellung und ohne Fehlermeldung.
Jedoch werden mir im Anschluss keine „alten“ Datenpunkte angezeigt.
Muss ich hier 2 Tage warten, bis alles einsortiert ist oder Kann mir jemand sagen was ich hier verkehrt mache?
Danke, BGB
2 Standorte mit je RPi3B+ RaspberryMatic 3.75.7.20240420 / RPI-RF-MOD | Externe USB-Platinen Antenne | 2x LAN_RF_GW | 1x LAN_RS485_GW | ca. 170 Geräte davon 35x IP | ca. 250 Programme |>600 Kanäle | Addons: CUX-Daemon, XML-API, hm_pdetect, E-Mail, CCU-Historian
- Bernd-Joras
- Beiträge: 741
- Registriert: 26.03.2016, 09:33
- Hat sich bedankt: 34 Mal
- Danksagung erhalten: 40 Mal
Re: Historian Datenbankexport/-import
Hallo, ich habe hier nun noch ein wenig (mehr) getestet und probiert.
Fazit: Bei mir, in zwei unterschiedlichen Standorten (je Raspberrymatic 3.75.7.20240420 und Historian 4.0) werden nicht alle alten Datenbankpunkte bei DB-Import importiert.
Ich kann leider keine Systematik wie z.B. nur IP oder nur diese Werte (z.B. State / Current) usw. erkennen.
Fazit jedoch ist, bei meinen DB Größen von ~ 350 MB werden nicht alle Werte importiert.
Das ist auch im Import-Log (Extra-Import-Log-Webseite) deutlich zu sehen, bzw. fehlen hier etliche Geräte und deren Datenpunkte.
Ich habe nun einmal einen Export (CSV) geöffnet und meine Geräte "HMW-Sen-SC-12-DR" (Wired RS485 Schließerkontakt, Hutschienenmontage) gesucht, ohne Erfolg, wurde scheinbar nicht exportiert.
Es wäre wahrscheinlich hilfreich, wenn das noch einmal wer überprüfen kann. (ggf mit Wired RS485 Schließerkontakt => HMW-Sen-SC-12-DR) Nicht, dass es hier vielleicht doch eher kein Layer-8 Problem sondern einen wirklichen Fehler (Bug) gibt.
BGB, Bernd
Fazit: Bei mir, in zwei unterschiedlichen Standorten (je Raspberrymatic 3.75.7.20240420 und Historian 4.0) werden nicht alle alten Datenbankpunkte bei DB-Import importiert.
Ich kann leider keine Systematik wie z.B. nur IP oder nur diese Werte (z.B. State / Current) usw. erkennen.
Fazit jedoch ist, bei meinen DB Größen von ~ 350 MB werden nicht alle Werte importiert.
Das ist auch im Import-Log (Extra-Import-Log-Webseite) deutlich zu sehen, bzw. fehlen hier etliche Geräte und deren Datenpunkte.
Ich habe nun einmal einen Export (CSV) geöffnet und meine Geräte "HMW-Sen-SC-12-DR" (Wired RS485 Schließerkontakt, Hutschienenmontage) gesucht, ohne Erfolg, wurde scheinbar nicht exportiert.
Es wäre wahrscheinlich hilfreich, wenn das noch einmal wer überprüfen kann. (ggf mit Wired RS485 Schließerkontakt => HMW-Sen-SC-12-DR) Nicht, dass es hier vielleicht doch eher kein Layer-8 Problem sondern einen wirklichen Fehler (Bug) gibt.
BGB, Bernd
Zuletzt geändert von Bernd-Joras am 04.05.2024, 22:09, insgesamt 1-mal geändert.
2 Standorte mit je RPi3B+ RaspberryMatic 3.75.7.20240420 / RPI-RF-MOD | Externe USB-Platinen Antenne | 2x LAN_RF_GW | 1x LAN_RS485_GW | ca. 170 Geräte davon 35x IP | ca. 250 Programme |>600 Kanäle | Addons: CUX-Daemon, XML-API, hm_pdetect, E-Mail, CCU-Historian
-
- Beiträge: 1802
- Registriert: 03.11.2010, 10:25
- System: CCU
- Wohnort: Aachen
- Hat sich bedankt: 60 Mal
- Danksagung erhalten: 266 Mal
- Kontaktdaten:
Re: Historian Datenbankexport/-import
Mit 350 GB ist das bisher die größte bekannte CCU-Historian-Datenbank. Zumindest habe ich noch nicht von einer größeren gehört. Wie groß ist denn die exportierte Datei?
Gruß
Mathias
- Bernd-Joras
- Beiträge: 741
- Registriert: 26.03.2016, 09:33
- Hat sich bedankt: 34 Mal
- Danksagung erhalten: 40 Mal
Re: Historian Datenbankexport/-import
Hallöle .... UPSsss... da hat einer aufgepasst ... "Danke Mathias" ... mein Fehler ...Sorry nicht GB sondern MB.
Die DB ist also ~ 350 MB und das csv zum Import ist 135 MB
(Somit auch im Betrag verbessert) BGB
Die DB ist also ~ 350 MB und das csv zum Import ist 135 MB
(Somit auch im Betrag verbessert) BGB
2 Standorte mit je RPi3B+ RaspberryMatic 3.75.7.20240420 / RPI-RF-MOD | Externe USB-Platinen Antenne | 2x LAN_RF_GW | 1x LAN_RS485_GW | ca. 170 Geräte davon 35x IP | ca. 250 Programme |>600 Kanäle | Addons: CUX-Daemon, XML-API, hm_pdetect, E-Mail, CCU-Historian
- Bernd-Joras
- Beiträge: 741
- Registriert: 26.03.2016, 09:33
- Hat sich bedankt: 34 Mal
- Danksagung erhalten: 40 Mal
Re: Historian Datenbankexport/-import
Hallöle ...
Ich habe weitere Analysen vorgenommen, auch wenn ich noch immer nicht sicher sagen kann, ob nur an meinen Installationen liegt oder ein genereller Fehler beim DB-Export ist.
Ein -recalc und -compact beider DB´s habe ich schon gemacht, leider jedoch wird im Anschluss immer noch nicht jeder Datenpunkt exportiert.
Gibt es noch eine Möglichkeit die DB zu prüfen, um Fehler der DB und somit ggf. einen fehlerhaften Export auszuschließen.
Danke vorab, BGB
Ich habe weitere Analysen vorgenommen, auch wenn ich noch immer nicht sicher sagen kann, ob nur an meinen Installationen liegt oder ein genereller Fehler beim DB-Export ist.
Ein -recalc und -compact beider DB´s habe ich schon gemacht, leider jedoch wird im Anschluss immer noch nicht jeder Datenpunkt exportiert.
Gibt es noch eine Möglichkeit die DB zu prüfen, um Fehler der DB und somit ggf. einen fehlerhaften Export auszuschließen.
Danke vorab, BGB
2 Standorte mit je RPi3B+ RaspberryMatic 3.75.7.20240420 / RPI-RF-MOD | Externe USB-Platinen Antenne | 2x LAN_RF_GW | 1x LAN_RS485_GW | ca. 170 Geräte davon 35x IP | ca. 250 Programme |>600 Kanäle | Addons: CUX-Daemon, XML-API, hm_pdetect, E-Mail, CCU-Historian
- Bernd-Joras
- Beiträge: 741
- Registriert: 26.03.2016, 09:33
- Hat sich bedankt: 34 Mal
- Danksagung erhalten: 40 Mal
Re: Historian Datenbankexport/-import
Nur mal schnell zwischendurch .... nochmals die logfiles gesichtet und was gefunden ... ich bleibe dran ...
Code: Alles auswählen
2024-05-05 08:25:10|INFO |Dumping database to temp.sql
2024-05-05 08:25:50|SEVERE |Exception: General error: "org.h2.mvstore.MVStoreExc eption: Unable to read the page at position 666029241115282, chunk 2423, offset 1134218 [2.1.214/6]"; SQL statement:
SCRIPT DROP TO 'temp.sql' [50000-214]
2024-05-05 08:25:50|SEVERE |Detail: org.h2.jdbc.JdbcSQLNonTransientException: Ge neral error: "org.h2.mvstore.MVStoreException: Unable to read the page at positi on 666029241115282, chunk 2423, offset 1134218 [2.1.214/6]"; SQL statement:
2 Standorte mit je RPi3B+ RaspberryMatic 3.75.7.20240420 / RPI-RF-MOD | Externe USB-Platinen Antenne | 2x LAN_RF_GW | 1x LAN_RS485_GW | ca. 170 Geräte davon 35x IP | ca. 250 Programme |>600 Kanäle | Addons: CUX-Daemon, XML-API, hm_pdetect, E-Mail, CCU-Historian
- Bernd-Joras
- Beiträge: 741
- Registriert: 26.03.2016, 09:33
- Hat sich bedankt: 34 Mal
- Danksagung erhalten: 40 Mal
Re: Historian Datenbankexport/-import
OK, zu mindestens eine der DB´s scheint defekt, auch reparatur Versuche scheitern ..
Da muss ich wohl die letzten 5 Jahre Historian in die Tonne werfen und neu anfangen ... oder ? hat noch wer eine Idee ?
BGB
Da muss ich wohl die letzten 5 Jahre Historian in die Tonne werfen und neu anfangen ... oder ? hat noch wer eine Idee ?
Code: Alles auswählen
/opt/java/bin/java -cp /usr/local/addons/ccu-historian/ccu-historian/lib/h2-2.1.214.jar org.h2.tools.Recover -dir /media/usb0/ccu-historian -db history
Exception in thread "main" java.nio.BufferUnderflowException
at java.base/java.nio.Buffer.nextGetIndex(Unknown Source)
at java.base/java.nio.HeapByteBuffer.get(Unknown Source)
at org.h2.mvstore.DataUtils.readString(DataUtils.java:363)
at org.h2.mvstore.DataUtils.readString(DataUtils.java:350)
at org.h2.mvstore.type.StringDataType.read(StringDataType.java:63)
at org.h2.mvstore.MVStoreTool.dump(MVStoreTool.java:248)
at org.h2.tools.Recover.process(Recover.java:242)
at org.h2.tools.Recover.runTool(Recover.java:136)
at org.h2.tools.Recover.main(Recover.java:102)
root@homematic-raspi:/usr/local/addons/ccu-historian/ccu-historian#
2 Standorte mit je RPi3B+ RaspberryMatic 3.75.7.20240420 / RPI-RF-MOD | Externe USB-Platinen Antenne | 2x LAN_RF_GW | 1x LAN_RS485_GW | ca. 170 Geräte davon 35x IP | ca. 250 Programme |>600 Kanäle | Addons: CUX-Daemon, XML-API, hm_pdetect, E-Mail, CCU-Historian
- Bernd-Joras
- Beiträge: 741
- Registriert: 26.03.2016, 09:33
- Hat sich bedankt: 34 Mal
- Danksagung erhalten: 40 Mal
Re: Historian Datenbankexport/-import
So, ich bin nicht Fachmann genug um hier mit tagelangen Aufwand die Daten irgendwie zu retten, womit ich von vorne, mit eine neuen Historian DB anfange.
Jedoch, so genial ich den Historian finde, so sehr hat er mich auch von Zeit zu Zeit geärgert.
Muss man nun wirklich jede Woche und/oder jeden Monat langwierige Tests machen, um zu kontrollieren ob die Historian DB noch OK ist ?
Bei mir funktionierte scheinbar monatelang die DB, das Backup und das Restore, welches ich einmal/zweimal im Jahr probiere, tadellos und trotzdem ist die DB irgendwann vor Monaten oder Jahren mit einem Defekt behaftet, welchen ich erst bei einem export-import-test feststellen konnte.
So langsam finde ich das alles nicht mehr so richtig stabil und auch vom Anwender nicht immer beherrschbar.
Nicht falsch verstehen … möchte eher nicht meckern … DANKE daher für dieses tolle Tool … bin jedoch auch gerade voll gefrustet.
BGB
Jedoch, so genial ich den Historian finde, so sehr hat er mich auch von Zeit zu Zeit geärgert.
Muss man nun wirklich jede Woche und/oder jeden Monat langwierige Tests machen, um zu kontrollieren ob die Historian DB noch OK ist ?
Bei mir funktionierte scheinbar monatelang die DB, das Backup und das Restore, welches ich einmal/zweimal im Jahr probiere, tadellos und trotzdem ist die DB irgendwann vor Monaten oder Jahren mit einem Defekt behaftet, welchen ich erst bei einem export-import-test feststellen konnte.
So langsam finde ich das alles nicht mehr so richtig stabil und auch vom Anwender nicht immer beherrschbar.
Nicht falsch verstehen … möchte eher nicht meckern … DANKE daher für dieses tolle Tool … bin jedoch auch gerade voll gefrustet.
BGB
2 Standorte mit je RPi3B+ RaspberryMatic 3.75.7.20240420 / RPI-RF-MOD | Externe USB-Platinen Antenne | 2x LAN_RF_GW | 1x LAN_RS485_GW | ca. 170 Geräte davon 35x IP | ca. 250 Programme |>600 Kanäle | Addons: CUX-Daemon, XML-API, hm_pdetect, E-Mail, CCU-Historian
- Bernd-Joras
- Beiträge: 741
- Registriert: 26.03.2016, 09:33
- Hat sich bedankt: 34 Mal
- Danksagung erhalten: 40 Mal
Re: Historian Datenbankexport/-import
Ich möchte hier einmal transparent schildern, was in meiner Umgebung, speziell mit dem Historian AddOn bzw. der Datenbank passiert ist.
Backups der Datenbank wurden zuverlässig jeden Tag erstellt.
Leider jedoch, habe ich nicht bemerkt, dass die Größe der „db-backup_xxxxxxxxx.zip“ irgendwann von ca.170 MB auf 6 MB geschrumpft ist.
Nach dem Update auf die Version 4.0 des Historian habe ich Backup und Restore Test gemacht.
Diese waren vom Ablauf immer erfolgreich jedoch habe ich den Datenbestand nicht ausreichend gesichtet / getestet.
Bei einem weiteren Test des Datenbank export/import, ist mir aufgefallen, dass nicht alle Datenpunkte exportiert wurden.
Somit waren auch nach dem Import nicht alle Datenpunkte vorhanden.
Auch das Restore mittels „-runscript backup.sql“ und der Backupdatei hat nur wenige Datenpunkte wiederhergestellt.
Die Backupdatei war/ist einfach zu klein.
Für mich sieht es bisher so aus, als ob die Historian DB defekt ist und somit auch das Backup sowie der Export unbrauchbar ist.
Reparatur Versuche mittel org.h2.tools.Recover, -recalc und -compact sind leider fehlgeschlagen und immer wieder auf unterschiedliche Fehler gelaufen. (Reparatur Versuche mit einer neu angelegten DB waren erfolgreich … Befehls Syntax test)
Bei mir läuft also im Moment eine DB von ~350 MB welche alle Datenpunkte hat, jedoch kann ich kein vollständiges Backup erstellen.
Es gibt beim Backup keinen Fehler aber nur ein 6 MB kleines Backup-File. Auch der Export der DB ist nicht vollständig, womit ich auch hier nichts sinnvolles importieren kann.
Hat noch jemand eine Idee, wie ich die Datenpunkte aus der DB rausbekomme und in eine neue DB reinpumpen kann ?
BGB
Backups der Datenbank wurden zuverlässig jeden Tag erstellt.
Leider jedoch, habe ich nicht bemerkt, dass die Größe der „db-backup_xxxxxxxxx.zip“ irgendwann von ca.170 MB auf 6 MB geschrumpft ist.
Nach dem Update auf die Version 4.0 des Historian habe ich Backup und Restore Test gemacht.
Diese waren vom Ablauf immer erfolgreich jedoch habe ich den Datenbestand nicht ausreichend gesichtet / getestet.
Bei einem weiteren Test des Datenbank export/import, ist mir aufgefallen, dass nicht alle Datenpunkte exportiert wurden.
Somit waren auch nach dem Import nicht alle Datenpunkte vorhanden.
Auch das Restore mittels „-runscript backup.sql“ und der Backupdatei hat nur wenige Datenpunkte wiederhergestellt.
Die Backupdatei war/ist einfach zu klein.
Für mich sieht es bisher so aus, als ob die Historian DB defekt ist und somit auch das Backup sowie der Export unbrauchbar ist.
Reparatur Versuche mittel org.h2.tools.Recover, -recalc und -compact sind leider fehlgeschlagen und immer wieder auf unterschiedliche Fehler gelaufen. (Reparatur Versuche mit einer neu angelegten DB waren erfolgreich … Befehls Syntax test)
Bei mir läuft also im Moment eine DB von ~350 MB welche alle Datenpunkte hat, jedoch kann ich kein vollständiges Backup erstellen.
Es gibt beim Backup keinen Fehler aber nur ein 6 MB kleines Backup-File. Auch der Export der DB ist nicht vollständig, womit ich auch hier nichts sinnvolles importieren kann.
Hat noch jemand eine Idee, wie ich die Datenpunkte aus der DB rausbekomme und in eine neue DB reinpumpen kann ?
BGB
2 Standorte mit je RPi3B+ RaspberryMatic 3.75.7.20240420 / RPI-RF-MOD | Externe USB-Platinen Antenne | 2x LAN_RF_GW | 1x LAN_RS485_GW | ca. 170 Geräte davon 35x IP | ca. 250 Programme |>600 Kanäle | Addons: CUX-Daemon, XML-API, hm_pdetect, E-Mail, CCU-Historian
-
- Beiträge: 1802
- Registriert: 03.11.2010, 10:25
- System: CCU
- Wohnort: Aachen
- Hat sich bedankt: 60 Mal
- Danksagung erhalten: 266 Mal
- Kontaktdaten:
Re: Historian Datenbankexport/-import
Die Datenbank kann immer durch einem Defekt des Datenträgers oder einer Stromwegnahme in einem ungünstigen Fall teilweise beschädigt werden. Wenn es sich dabei um einen Datenbereich handelt, der sehr selten mal gelesen wird, fällt dies auch lange Zeit nicht auf. Das einzige Merkmal ist anscheinend eine kleinere Backup-Datei.
Vielleicht kann ich einen regelmäßigen Health-Check einbauen. Ich muss nur mal überlegen, auf was denn geprüft werden soll.
Gruß
Mathias
Vielleicht kann ich einen regelmäßigen Health-Check einbauen. Ich muss nur mal überlegen, auf was denn geprüft werden soll.
Gruß
Mathias