TiddlyWiki zur Datenarchivierung

[reutron]

Ich suche ja immer noch was sinnvolles zur Datenverwaltung, hat schon mal wer TiddlyWiki zur Datenarchivierung getestet?

Edit: bei mir funktioniert es leider nicht

[Jannyboy]

Ich verwende Wikimedia, Git und Redmine dafür.

Grüße Jan

[b0n3]

Moing,
Ich werfe mal BookStack in die Runde
https://www.bookstackapp.com/

Gruß Andi

[reutron]

Ich habe leider sehr schlechte Erfahrungen mit zerschossene Datenbanken und wollte deshalb darauf verzichten.

[zauberkopf]

Ich überlege die ganze Zeit : Was zum teufel meint der gute reutron mit "Datenverwaltung" ?!?

Ich habe leider sehr schlechte Erfahrungen mit zerschossene Datenbanken und wollte deshalb darauf verzichten.

Also.... das einzige das ich wirklich mal erlebt habe, das Clients bullshit in die Datenbank schreiben, als MS-Access noch so richtig schlecht war, oder aber das
irgendwelche Update-Scripts, nicht ausgetestet wurden.
Egal welches System Du nutzt um irgendwelche Daten zu verwalten, sei es Datenbankbasiert oder nicht : Vor einem Update NOCH mal ein Backup machen.
Oder noch besser das ganze auf einem Testsystem mit "Backupdaten" testen.

Dann gibt es noch Datenbanken, wie SQLLite, das mehr so ne bibliothek ist, als eine richtige im Netz hängende Datenbank, die nur ein paar Dateien besteht, die sich leicht per copy sichern lassen.
Und ich würde bei einem einzelnen Nutzer empfehlen, das die Software wenn schon Datenbankbasiert, dann zumindest auch SQLLite unterstützt.

[reutron]

Mein letzter Versuch war mit ecoDMS bei ca.200.000 Dateien hat es die Datenbank zerlegt.....das ist aber nur ein Fünftel der Daten.

[zauberkopf]

200 000 Dateien ?
Okay... jetzt langsam kommen wir in meine Welt ...
.. das letzte "DMS" was ich gebastelt habe, wurde zur Patentrecherche eingesetzt.

Und was heist genau Datenbank zerlegt ?
Wie gesagt.. kein Backup keine Gnade.

Ich habe gerade 2min lang erfolglos versucht herauszufinden, wie zum teufel das System worauf arbeitet... und ... aufgegeben..

Zu Deinem Problem : Was willste Du verwalten ? Brauchst Du eine DATEV schnittstelle ???

[reutron]

Klar hatte ich ein Backup aber 28Stunden vorher war die Datenbank ja noch leer....
auf zum 2. Versuch.....da sind wir aber nicht weit gekommen.......12Stunden abgestürtzt und DB kaputt.
Ich will doch nur eine Suchmöglichkeit die feiner ist als eine Verzeichnisstrucktur
in meinen Ordner Röhren liegen ca.30.000 Dateien sind halt nach Datenbücher(Hersteller,Sprache sortiert) Daten Blätter (Bezeichnung Alphanumerisch)Schaltungen Radios (nach Hersteller) usw. Sucht sich halt nicht gut und dauert dann auch....
Ihr wisst ja wie das ist man speicher schnell mal 4 oder 5 Dateien und beim nächsten Vollbackup sind es Plötzlich schon 2000......
vor 15Jahre habe ich noch html-Dateien als Inhaltverzeichnis angelegt die muss man aber stetig pflegen....wer macht da schon
Der große Vorteil man kann so eine HTML-Datei zur Not noch mit jeden txt-Editor reparieren.
TiddlyWiki hat Tag-Manager, Editor, Notizen und Suchfunktion schon mal immer mit in der html-Datei.....Festplatte an irgend einen PC stecken und man kann in den Daten wühlen.....super
Ich suche also nicht die Eierlegende Wollmilchsau sondern ein zuverlässiges Unterstützungstool.

Edit: Könnt ihr euch hier ansehen : https://tiddlywiki.com/languages/de-AT/
Nur das Speichen bekomme ich nicht hin....

[zauberkopf]

Naja.. eine MySQL Datenbank, kannste mit mit phpMyAdmin reparieren..
Haben die PDF-Dateien schon OCR gesehen ?

[bastelheini]

Ich denke auch das müsste man erstmal klären: was soll alles verwaltet werden (text, word, pdf, bilder, ...) und sollen die Inhalte mit durchsucht werden? Aber ich denke je mehr Indizierung notwendig ist desto weniger kommst du um eine Hintergrunddatenbank drumrum...

[reutron]

Naja.. eine MySQL Datenbank, kannste mit mit phpMyAdmin reparieren..
Haben die PDF-Dateien schon OCR gesehen ?

Du hast gut reden reparieren....
Es ist nicht sinnvoll Daten oder Fachbücher mit OCR zu bearbeiten....meine Erfahrung ist Fehlerquote einfach zu hoch und eine Volltextsuche brauche ich nicht.

Ich denke auch das müsste man erstmal klären: was soll alles verwaltet werden (text, word, pdf, bilder, ...)

Mir reichen Verlinkungen die man mit Tags versehen kann und Notizen zum Link voll aus, hatte auch schon "Zettelkästen" die gute Dienste leisteten aber irgend wann nicht mehr unterstützt wurden....ist halt doof weil die auf eigene Dateiformate gesetzt hatten. Ich möchte also auf externe Software verzichten.
HTML kann man zur Not halt auch auf Fußpilzebene mit jeden Editor lesen.

[zauberkopf]

Also.. wenn Du ein halbwegs gutes DBMS hast, wie MySql.. oder sogar MSSQL Server.. dann ist das meist so, das nicht die Datenbank im A.... ist, sondern das der Client da irgendwas durch nen Bug da reingeschrieben hat, und damit dann selber ein Problem hat.
z.B. den Spass hatte ich bei der Euroumstellung ganz extrem, wo ich Tagelang durchmachen musste, weil das konvertierungsprogramm dauernd wegen korrupter Datensätze, das ein Access Client erzeugt hatte, stehen geblieben ist.
Datensatz suchen, Datensatz fixen, Skript wieder starten,und warten... Das ganze ging ein paar Tage so ohne schlaf aber dafür mit viel Drogen.. (weil.. so ne Warenwirtschaft in einem Mittelständischen Betrieb soll ja im neuen Jahr auch wieder laufen.. )

Und ich kann mir auch jetzt vorstellen, das Du vielleicht irgendwelche Sonderzeichen eingegeben hast, mit dem der Client dann später beim Zugriff probleme hatte..

[zauberkopf]

hmm... wenn Du ne Liste mit Links haben willst..
Was hällst Du einem Script, das Dir ne Tabelle erstellt, etwa so :

_______________________________________________________
| noch nix drin | link zur datei |
-------------------------------------------------------------------------------
| noch nix drin | link zur datei |
-------------------------------------------------------------------------------
| noch nix drin | link zur datei |
-------------------------------------------------------------------------------
| noch nix drin | link zur datei |
-------------------------------------------------------------------------------

Und dann gehste mit nem HTML Editor hin, und schreibst da rein, wasste willst ?

Eleganter dürfte da noch das JSON Dateiformat sein... und eine HTML-Datei die das ausliest. (Schon fast wieder ne Datenbank... )

[sukram]

Ich hätte in meiner Naiven Weltsicht geglaubt, dass mit UTF8/Unicode jetzt alles Rosa ist und Programmierer in den tollen neuen Programmbastelsprachen zu sicheren Typ/Escapeumwandlungen gezwungen werden, nicht wie damals (TM) mit Perl oder PHP...

Zum Thema:
Mir geht es ganz ähnlich, es wollen mehrere Gigabyte an Schaltplänen, Datenblättern, eBooks etc indiziert, sortiert, Doubletten aussortiert und ggf. Versioniert werden. Eigentlich ein mehrtägiger Vollzeitjob...
Ich habe mich hin und wieder schon umgesehen, aber hier scheitert es zusätzlich daran, dass kaum jemand PostgreSQL unterstützt (zu Unrecht imho), was bei mir bereits als Backend für einige Sachen läuft.

[zauberkopf]

Ich hätte in meiner Naiven Weltsicht geglaubt, dass mit UTF8/Unicode jetzt alles Rosa ist und Programmierer in den tollen neuen Programmbastelsprachen zu sicheren Typ/Escapeumwandlungen gezwungen werden, nicht wie damals (TM) mit Perl oder PHP...

Wirklich naiv ! Süss !

Mir geht es ganz ähnlich, es wollen mehrere Gigabyte an Schaltplänen, Datenblättern, eBooks etc indiziert, sortiert, Doubletten aussortiert und ggf. Versioniert werden. Eigentlich ein mehrtägiger Vollzeitjob...

Geht.. also was die dupletten angeht.
Das habe ich letztens mal mit meiner "Medien-Festplatte" hinter mir.. waren rund 2TB.. auf 2 old-school HD.. hat rund 24h gekostet, die alle mal durch zu hashen, und dann die dupletten zu löschen.

Ich habe mich hin und wieder schon umgesehen, aber hier scheitert es zusätzlich daran, dass kaum jemand PostgreSQL unterstützt (zu Unrecht imho), was bei mir bereits als Backend für einige Sachen läuft.

äh... was hindert Dich jetzt daran, ne 2. Datenbank mal einfach zu installieren ?
z.b. gerade MySQL z.B. braucht doch so gut wie keine Resourcen !

[Fritzler]

MySQL

Ist inzwischen pöses Oracle, also MariaDB nehmen

[reutron]

So als Inhaltsverzeichnis hatte ich es Früher auf meine Daten-CD, suche ist halt nicht und Notizen dazuschreiben sehr unübersichtlich.

[zauberkopf]

Fritzler : AARRGGHHH!!!

Reutron : Also.. die erste Seite eines PDF´s als Bild mit Link hinzukriegen, wäre sogar möglich.
Ich müsste jetzt nur noch gucken, welche der tollen PDF´tools das kann, und ob es auch unter Windoof läuft.

Meine Idee wäre folgende :
Du bist im Ordner : Datenblätter, wo alle Datenblätter drin liegen.
Dort rufst Du das Script auf, das erzeugt Dir ne entsprechende index.html.
blöd nur, für die bilder müsste man dann noch nen ordner "kleinvieh" erzeugen, wo dann die verkleinerten bilchen der 1. Seite drin liegen.
Die index.html kannst Du dann mit einem wysiwyg editor Deiner Wahl editieren.
Wenn daten hinzukommen, wirst Du die erst in ein temporäres verzeichnis lässt mit dem script eine 2. index.html generieren.
Dann kopierst Du die bilder vom temporären "kleinvieh" ordner in den haupt kleinvieh ordner, öffnest beide index.html dateien, und kopierst die neuen tabellen daten in die alte tabelle.

[zauberkopf]

Übrigens, so was ähnliches hatte ich mal vor vielen Jahren mal programmiert, nämlich um Kunden einer Patentrecheche, oder eine Patentüberwachung die Ergebnisse schön aufbereitet zukommen zu lassen.
Nur .. das ich titel usw.. wie tags aus einer Datenbank entnommen habe.
Die Komentierung ( X für Treffer ) war schon im Recherchesystem gemacht.

[reutron]

So ein Index ist kein Problem, ist mir halt zu wenig Tags+Notizen/Infos+Suche nach Tags und Notizen sonst ist das bei so großen Datenmengen leider recht nutzlos. Sowas zu bauen ist dann schon recht anspruchsvoll.

[zauberkopf]

liefere genauere beschreibung....

Also ich spiele gerade mit nextcloud herum.
Einer der Gründe warum ich das tue, ist das Management, meiner 1323 Lesezeichen.
Ausserdem will ich in Zukunft auch darüber ein paar Seiten archivieren, weil die manchmal interessantes Zeugs einfach so verschwindet..

Da geht auch was mit DMS funktionalität. aber hat wieder ne Datenabank.. allerdings.. MySQL.

[reutron]

Das Problem mit den Webseite habe ich auch mein Offline Internet fast z.Z. 32 Webseiten mit ca. 35GB Volumen.

[Fritzler]

Da geht auch was mit DMS funktionalität. aber hat wieder ne Datenabank.. allerdings.. MySQL.

Nextcloud mit DMS? Interessant.
Aber Nextckoud geht auch mit der Maria, das läuft bestens.
Firefox? Lesezeichen mit Nextcloud syncen? Erzähl mir mal bitte mehr.

Also ich lese hier interessiert mit, da ich auch mal so "langsam" mein Dokuordner in den griff bekommen muss.

[zauberkopf]

Aber Nextckoud geht auch mit der Maria, das läuft bestens.

Ich dachte schon ich hätts nötig.. aber sobald ich ne Maria finde, leite ich sie sofort an Dich weiter ! *lach*

Firefox? Lesezeichen mit Nextcloud syncen? Erzähl mir mal bitte mehr.

Äh ja.. also ich habe nextcloud installiert, die bookmarkapp installiert.. dann unter firefox und chrome das entsprechende Plugin installiert, und gib ihm !
Und dann fange ich immer damit an, zum einschlafen, mich dort einzuloggen, und die Lesezeichen zu kategorisieren.
Also ziel ist es, sämtliche Programmiertutorials dann zu öffnen, wenn ich sie brauche z.B. Python. In dem ich den gesammten "Ordner" dann in Tabs verwandel.

Und was DMS angeht, da bin ich noch ganz am Anfang. Das System läuft erst seit 5 Tagen.. und die letzten Tage habe ich damit verbracht mit Mechatronik ein Gartenhaus zu retten..
Mecha meint, Nextcloud könnte für größere Datenbestände langsam sein, jedenfalls wenn man diese Synchronisieren will.
Kann ich mir auch vorstellen, wenn PHP versucht aus GB an Daten hashen... aber mal gucken.

[b0n3]

Wenn wir nen riesen Datenberg für Anwälte und so Durchsuchbar aufbereiten müssen,
nehmen wir dt search
https://www.dtsearch.com/
wenns nix kosten soll
https://www.agorum.com/

Bei dem umfang würd ich sagen das das alles Leistung frisst wie doof.
evtl war das mit ecDMS ein Resourcen Problem (RAM und so)
dtsearch kiegt man auch klein wenn in einer 4gb Maschine 1TB mails reinfüttert.

Gruß Andi

[Marsupilami72]

Mein letzter Versuch war mit ecoDMS bei ca.200.000 Dateien hat es die Datenbank zerlegt.....das ist aber nur ein Fünftel der Daten.

Wenn ich das richtig verstanden habe, speichert TiddlyWiki alle Daten in einer einzigen riesigen HTML Datei - wie lange soll das Ding bei einer Million Einträgen laden?

Deine Abneigung gegen Datenbanken in allen Ehren - aber die von dir geschilderten Probleme haben m.E. nichts mit dem Konzept Datenbank an sich zu tun, sondern eher mit Bugs im Frontend und/oder schlechter Backup-Strategie. Das oben genannte EcoDMS nutzt Postgresql im Hintergrund - das würde mich schon sehr wundern, wenn das bei 200k DS schlapp macht (dann sollte ich mir für unser gerade anstehendes Projekt auch eine andere DB suchen...).

[sukram]

Also Postgres kann große Datenbanken. Ich habe hier etwa 2 Jahre Status und Messdaten aus dem Smarthome ungefiltert reingeschickt, die DB ist jetzt etwas über 8,5 GB dick. Man merkt nur, dass die (Notebook) Festplatte und RAM in meinem Atom Server limitierend sind - eine händische Anfrage kann schon mal mehrere Minuten dauern. Die Graphen in der FHEM Oberfläche werden aber zügig aufgebaut.

Ich weiss, dass das noch größer geht, aber für Indexdaten sind 8 GB schon ne Menge Holz.

[jodurino]

moin

was ist wenn man die Datenbank von einem Warenwirtschaftssystem nimmt?

Die sind doch auf große Datenmengen eingestellt.

[zauberkopf]

was ist wenn man die Datenbank von einem Warenwirtschaftssystem nimmt?

Die sind doch auf große Datenmengen eingestellt.

Das wäre dann u.A. postgressql.. (kann z.B. Transaktionen)
Ne.. das problem ist oft der "Client".. z.B. das Problem, was ich mit der Euroumstellung weiter oben beschrieben hatte, betraf rein zufällig ne Warenwirtschaft.
Und wenn es nicht der Client ist, dann der Nutzer davor..
Du wirst nicht glauben, was User alles versuchen in die Datenbank zu schupsen !
Das kann man unmöglich alles abfangen ..

Nach meinem Wissenstand von 2005 würde ich um Access einen Bogen machen. Da habe ich mal die unschöne Erfahrung gemacht, wo Access bei gleichen Daten und gleichem ANSI SQL mir verdammt unterschiedliche Daten geliefert hat.

[Marsupilami72]

Nach meinem Wissenstand von 2005 würde ich um Access einen Bogen machen. Da habe ich mal die unschöne Erfahrung gemacht, wo Access bei gleichen Daten und gleichem ANSI SQL mir verdammt unterschiedliche Daten geliefert hat.

Access ist und war nie ANSI kompatibel...muss man halt wissen. Ansonsten tut es innerhalb des ihm zugedachten Ökosystems was es soll, ab Version 2010 auch sehr zuverlässig (so lange man die 32 Bit Version nimmt).
Aktuelle Lockdownerkenntnis: was Access überhaupt nicht mag, sind VPNs...aufgrund der vielen Dateizugriffe bei komplexeren Abfragen bricht das da völlig zusammen (gemessene und reproduzierbare Verlangsamung um den Faktor 30).

Aber das nur so nebenbei...

P.S.: das soll jetzt keine Empfehlung für Access für die genannte Fragestellung sein - es würde zwar wahrscheinlich sogar funktionieren, aber es gibt sicher bessere Alternativen.

[sysconsol]

Ich will doch nur eine Suchmöglichkeit die feiner ist als eine Verzeichnisstrucktur
in meinen Ordner Röhren liegen ca.30.000 Dateien sind halt nach Datenbücher(Hersteller,Sprache sortiert) Daten Blätter (Bezeichnung Alphanumerisch)Schaltungen Radios (nach Hersteller) usw. Sucht sich halt nicht gut und dauert dann auch....

Nunja, es sollte mal swish-e werden. Wird aber anscheinend nicht mehr gepflegt, also investiere ich da keine Zeit mehr rein.
Auf der Suche nach Alternativen stößt man auf so Dinge wie Mnogosearch.
Wer soll das alles warten?
Da arbeitet man doch mehr an seinem Werkzeug als am Projekt

Mindestens Windows hat eine Suchfunktion eingebaut.

Bisher handhabe ich das so, dass von allen nicht durchsuchbaren Dateien via OCR eine Textdatei mit gleichem Namen erzeugt wird. Die liegt neben der PDF-Datei.
OCR via Abbyy FineReader 14 funktioniert recht gut, solange man nicht Formeln und Tabellen hat.
Dann findet man zumindest die passende Datei zum Suchwort.

Man kann mit dem FineReader auch durchsuchbare PDF erstellen, nur ist die Schrift nach dem OCR etwas unschärfer (Kompression).
Muss man mit leben können oder eben nicht

Nicht durchsuchbare Dateien betrachte ich als nicht vorhandene Dateien.
Zumindest ich habe nicht die Zeit, manuell in Dateien nach irgendwas zu suchen, was ich gerade wissen will.

Habe ich (und andere Nutzer) aber alles schon einmal geschrieben, da ging es - soweit ich es richtig erinnere - um OCR und Digitalisierung von Büchern.

[jodurino]

also hier in der Firma werde ich wohl mit orgAnice zu tun bekommen.

Kein Plan ob das ok ist und was es kostet.

Gerade erst von gehört.

[zauberkopf]

Bisher handhabe ich das so, dass von allen nicht durchsuchbaren Dateien via OCR eine Textdatei mit gleichem Namen erzeugt wird. Die liegt neben der PDF-Datei.
OCR via Abbyy FineReader 14 funktioniert recht gut, solange man nicht Formeln und Tabellen hat.
Dann findet man zumindest die passende Datei zum Suchwort.

Man kann mit dem FineReader auch durchsuchbare PDF erstellen, nur ist die Schrift nach dem OCR etwas unschärfer (Kompression).
Muss man mit leben können oder eben nicht

Das muss nicht sein. Als ich noch Patente Datentechnisch verarbeitet habe, hatte ich dieses "problem" auch.
Verschiedene Open Source Lösungen brachten hier keine zufriedenstellende Lösung, eigentlich schon.. aber Patentanwälte sind pingelig.. Nur eine Windowssoftware, (für die dann ein eigener Rechner angeschafft wurde).
Nur.. frag mich jetzt bitte nicht, welche.. hatte aber ein bisschen Geld gekostet... Konnte Dateien von einem Verzeichnis automatisch annehmen, und hat diese in ein anderes ausgespuckt. Nur den Text dazu geschmissen, nicht noch mal komprimiert.
Wäre auch bei alten Patenten in niedriger Auflösung auch ein absolutes Fiasko.

[sysconsol]

Mit der ganzen Open-Source-Texterkennung habe ich auch keine brauchbaren Ergebnisse erzielt.
Der FineReader kostet. Die Testversion läuft aber auch 30 Tage.
Wenn man sich mit der Software beschäftigt, findet man womöglich noch ein paar Einstellungen, die zwischen Dateigröße und "Bildqualität" Anpassungen ermöglichen.
Hab ich aber keine Lust zu. Wieder die Sache mit dem Werkzeug

Wie machen das eigentlich die besseren Multifunktionsgeräte für das Büro?
Deren Texterkennung ist ebenfalls recht gut - wenn auch nicht fehlerfrei
Die gescannten Dokumente sehen ebenfalls recht brauchbar aus bei geringer Dateigröße.

[andreas6]

Vor über zehn Jahren hatte mein Chef mal so ein dubioses Dms beschafft. Das benutzte ein installiertes, aber nie direkt aufgerufenes Programm ohne Lizenz zur Texterkennung. Die Grafik wurde durch eine Dll geschoben und hinten fiel der Text raus. Man konnte daran nichts einstellen, aber für gratis war das schon toll.
Für Maschinen von T*shiba gab es auch mal ein Gratis-Tool für den Pc, was aber nur lief, wenn im Netzwerk mindestens ein Kopierer dieser Firma erkannt wurde. Ist aber auch lange her, ob das noch aktuell ist, weiß ich nicht.

MfG. Andreas