2GB-Grenze aushebeln

Deine Meinung ist gefragt! Hast Du Verbesserungsvorschläge oder willst Du einfach nur mal meckern? Hier ist Platz dafür!
Antworten
Benutzeravatar
svru
Beiträge: 308
Registriert: 16.01.2004, 03:24
Wohnort: München

2GB-Grenze aushebeln

Beitrag von svru »

Hallo Elmar,

da ich nun auch langsam an dieser Grenze angekommen bin, auf meine geliebten Alt-Daten nicht so schnell verzichten möchte suche ich verzweifelt nach einem Ausweg ohne gleich teuer für die SQL-Variante löhnen zu müssen...

Ist es nicht möglich die Access-Datenbank in 2 Dateien aufzusplitten? 1 Datei enthält alle Daten außer den Artikelbeschreibungen und die andere enthält nur die Artikelbeschreibungen mitsamt der zugehörigen Artikelnummer um wiederum in der Hauptdatenbank beides zu verknüpfen?
Das habe ich mal probehalber so gemacht, 2 Tabellen "tblAuction MAIN" und "tblAuction DESC" aus der tblAuction gemacht und die jeweils überflüssigen Felder gelöscht und in einer Abfrage namens "tblAuction" beides wieder verknüpft. BayWotch spuckt natürlich Fehler, aber mit ein paar Anpassungen müßte das doch gehen, oder?
Auf alle Fälle hätte man dann mehr Platz - mit Artikelbeschreibungen, aber irgendwann kommt natürlich wieder eine Grenze... :(


Sven
Bild
Borkumer
Beiträge: 1443
Registriert: 03.01.2004, 17:27
Wohnort: Borkum
Kontaktdaten:

Beitrag von Borkumer »

Hallo Sven!

Die Größe der Beschreibung ist das Problem. In der DB4 fallen etwa 80% der DB-Größe für die Beschreibung an. Wenn Du das Beschreibungs-Feld in eine andere DB auslagerst, bekommst Du etwas Luft, die aber durch die Infrastruktur der neuen DB gleich wieder aufgefressen wird (jedenfalls so ungefähr).

Mein Vorschlag: die Beschreibung als eigenständige Datei auslagern wie die Pics. Dabei entfällt die Möglichkeit einer Datenbanksuche in der Beschreibung, was aber durch die Ordnerstruktur wieder ausgebügelt werden kann! (Artikel die durch die Beschreibung Online gefunden wurden in einem Ordner [je Suchbefriff] abspeichern)
Gruß

Tim
__________________________
XP Pro; SP3 (werde ohne Not auch nicht wechseln !!)
Benutzeravatar
svru
Beiträge: 308
Registriert: 16.01.2004, 03:24
Wohnort: München

Beitrag von svru »

Hallo Borkumer,

Du hast recht, teile ich meine V2-DB3-Datenbank mit derzeit 1.568.564 KB (komplett abgeglichen & frisch komprimiert) entsprechend meiner Vorgabe auf erhalte ich 144.848 KB an allen Daten ohne Artikelbeschreibungen und 1.430.508 KB an Artikelbeschreibungen + Artikelnummer. Das ist ja echt Wahnsinn, was die fast ganz für sich allein schlucken! Ganze 90%... und bei V3/DB4 sind es dann vielleicht Deine 80%, da ja neue Felder hinzugekommen sind.
Aber die Auslagerung der Artikelbeschreibungen in einzelne Textdateien (pro Artikel) dürfte dann endgültig die Festplatte auffressen und mit WinXP darf man sich ja per Explorer dann auch nicht mehr in diesen Bereichen bewegen (Oder täusche ich mich da und das war früher schon so?)...

Also auf die Suche in den Artikelbeschreibungen könnte ich fast auch verzichten (kommt sehr selten vor), aber dann könnte man genausogut doch wieder eine Sammel-Access-Datenbank nehmen und wenn die voll ist eine weitere... durchnummerieren und in der Hauptdatenbank noch ein Feld wo steht welche der Artikelbeschreibungsdatenbanken die entsprechende Artikelbeschreibung enthält... aber das ist mir auch nur ein ziemlich besch....... Würgaround.

... Latein ... Ende. :'(


Sven
Bild
Mischa
Beiträge: 801
Registriert: 04.01.2004, 07:28
Wohnort: Köln

Beitrag von Mischa »

svru hat geschrieben:Du hast recht, teile ich meine V2-DB3-Datenbank mit derzeit 1.568.564 KB (komplett abgeglichen & frisch komprimiert) entsprechend meiner Vorgabe auf erhalte ich 144.848 KB an allen Daten ohne Artikelbeschreibungen und 1.430.508 KB an Artikelbeschreibungen + Artikelnummer. Das ist ja echt Wahnsinn, was die fast ganz für sich allein schlucken! Ganze 90%... und bei V3/DB4 sind es dann vielleicht Deine 80%, da ja neue Felder hinzugekommen sind.
bei mir bleiben zur zeit immer ca. 200MB Datenbank über (bei ca. 200.000 Datensätzen), wenn ich alle artikelbeschreibung auslagere.

svru hat geschrieben: Aber die Auslagerung der Artikelbeschreibungen in einzelne Textdateien (pro Artikel) dürfte dann endgültig die Festplatte auffressen
nein eigentlich nicht ... geht alles so ganz gut.

was man auch noch aktivieren kann ist die dateikomprimierung auf verzeichnisebene ... ich denke da geht dann auch noch einiges an komprimierung ....

aktuelle Statistik (ohne Komprimierung):

Code: Alles auswählen

Pfad                  : C:\Programme\baywotch3\desc\
Größe                 : 1,96 GB (2.109.865.561 Bytes)
Größe auf Datenträger : 2,33 GB (2.510.094.336 Bytes)
Inhalt                : 182.437 Dateien, 116 Ordner

svru hat geschrieben:und mit WinXP darf man sich ja per Explorer dann auch nicht mehr in diesen Bereichen bewegen (Oder täusche ich mich da und das war früher schon so?)...
je nachdem wie man die verzeichnisstruktur aufbaut geht es ganz gut. auf jeden fall nicht nach verkäufer! das können bis zu 20.000 werden!


ich habe die folgende struktur gewählt und da sind normale reaktionszeiten beim Explorer:

Code: Alles auswählen

C:\Programme\baywotch3\desc\#START_YEAR#\#START_MONTH#\#START_DAY#\#ARTICLE_NO#.htm
jahr ist zur zeit nur 2005
monat ist von 1-12
und tag ist von 1-31
also immer maximal 31 unterordner ... die gehen schnell auf.
in den letzten ordnern sind immer so 2000-3000 dateien drin. die werden auch sehr flott vom Explorer angezeigt.


bei baywotch ist dadurch überhaupt keine verzögerung zu spüren.

svru hat geschrieben: Also auf die Suche in den Artikelbeschreibungen könnte ich fast auch verzichten (kommt sehr selten vor), aber dann könnte man genausogut doch wieder eine Sammel-Access-Datenbank nehmen und wenn die voll ist eine weitere... durchnummerieren und in der Hauptdatenbank noch ein Feld wo steht welche der Artikelbeschreibungsdatenbanken die entsprechende Artikelbeschreibung enthält... aber das ist mir auch nur ein ziemlich besch....... Würgaround.
das ist ein sehr schlechter workaround. vor allem, weil das problem des speicherplatzverbrauchs nicht gelöst ist (auch in der anderen DB verbraucht die beschreibung soviel platz).

man muß sehr tief in der baywotch-datenbank rumfummeln, um die jeweiligen richtigen daten anzuzeigen.

svru hat geschrieben: ... Latein ... Ende. :'(
dann mal ohne latein aber auf deutsch mein vorschlag: ;)


Auslagerung der Artikelbeschreibung auf Festplatte

vorteil:
- größe der beschreibungsdaten nur durch festplatte beschränkt
- keine änderungen in der datenbankstruktur notwendig
- nahtlose integration der internen und der externen artikelbeschreibungen
- kein unterschied bei der anzeige (egal ob intern oder extern)

nachteil:
- keine suche mehr in artikelbeschreibung möglich.

Haupt-Funktion: Nachlade-Trick
- das nachladen erfolgt nicht durch baywotch, sondern durch eine url-umleitung bei der anzeige im internet-explorer


vorgehensweise:

siehe "Snippet: Auslagerung der Artikelbeschreibung auf Festplatte"
http://www.baywotch.de/phpbb/viewtopic.php?t=1271
Borkumer
Beiträge: 1443
Registriert: 03.01.2004, 17:27
Wohnort: Borkum
Kontaktdaten:

Beitrag von Borkumer »

Hallo Mischa!

Hatte ganz vergessen, dass wir das Thema auch im öffentlichem Forum schon hatten, sonst hätte ich auch direkt auf den Thread verwiesen! (zuviel input die letzten Wochen :-/ )

Habe aber dazu noch eine Anmerkung. Mache aber im anderem Thema weiter, da es dort hingehört!

http://www.baywotch.de/phpbb/viewtopic.php?t=1271
Gruß

Tim
__________________________
XP Pro; SP3 (werde ohne Not auch nicht wechseln !!)
Benutzeravatar
svru
Beiträge: 308
Registriert: 16.01.2004, 03:24
Wohnort: München

Beitrag von svru »

Hallo Mischa,

interessante Verfahrensweise! Was sagt eigentlich der Entwickler dazu?
Ich gehe jetzt aber auch in den anderen Thread und wenn ich dazu etwas zu sagen habe werde ich es dort tun. :)


Sven
Bild
Mischa
Beiträge: 801
Registriert: 04.01.2004, 07:28
Wohnort: Köln

Beitrag von Mischa »

svru hat geschrieben:Was sagt eigentlich der Entwickler dazu?
er kann die funktion erst in einer späteren version einbauen, es steht auf jeden fall auf der TODO-Liste :-)


ansonsten dürfte er nicht viel meckern, da ich das system vom prinzip her nicht beschädige oder verändere. meine "operation" wirkt sich nur auf die dateninhalte aus.
Antworten