Seite 1 von 2

Speicherprobleme

Verfasst: 18.01.2004, 20:36
von sissus
Hi Elmar,

die v2.5.50 läuft prima. Herzlichen Glückwunsch.

Allerdings beobachte ich seit einiger Zeit (so seit Anfang der v2.5), daß BayWotch nach massiver Nutzung deutliche Update-Probleme mit der Datenbank aufweist.

Heute habe ich zunächst Favoriten abgeglichen, danach ca. 1.000 Gefundene Artikel wieder gelöscht, dann ca. 3.600 Artikel abgeglichen. Schließlich war es BayWotch nicht mehr möglich die offenen Jobs abzugleichen. Zwar wurden die Daten empfangen, aber eben nicht in die Datenbank geschrieben.

Komprimieren der DB brachte nichts. Nur BayWotch beenden und Neustarten.

Was könnte die Ursache sein? Ich würde gerne weiter forschen, weiß aber nicht worauf ich meinen Blick werfen kann.

-Axel

Verfasst: 18.01.2004, 21:30
von Borkumer
Hallo Axel!

Wenn die DB nicht mehr speichern will, könnte es daran liegen, daß die 1GB-Grenze für Tabellen erreicht ist. Kann ich mir bei Dir aber nicht vorstellen!

Passiert es reproduzierbar oder war es eher ein "Ausrutscher"? Platz auf der Festplatte ist wohl auch noch da?

Könntest Du mal unter Access direkt auf die DB zugreifen und Daten ändern? Evt. auch dort mal rep./komp. durchführen?

Wenn unter Access alles läuft, unter BW aber nicht, kann nur Elmar weiterhelfen!

Verfasst: 19.01.2004, 01:46
von sissus
Hi Tim, hi Elmar,

das Problem ist 'wieder hervorbringbar' aber nicht wirklich 'reproduzierbar'. Es tritt nur nach einer Vielzahl von DB-Updates auf und bleibt dann hartnäckig bestehen bis zum Beenden von BayWotch.

Festgestellt habe ich es nach wiederholten Favoritenabgleichen und jeweils nachfolgendem Löschen von Artikel sowie abschließenden Artikelabgleichen. Erkennen kann ich letztlich nur, daß sich entweder das gelbe Bildicon oder das 'Abgleich offen' Icon trotz eines Abgleichs der Artikel nicht ändern.

Zuerst sind mir nur die Bildicons aufgefallen. Wenn ich nach Favoritengleichen dann irgendwann die wieder gelb markierten Artikel abgleiche (die Trefferliste in ebay signalisiert ein Bild, der Artikel selbst hat aber kein IPIX-Bild, sondern weist in die Beschreibung integrierte Bild-Links zu externen Servern auf), bleiben bei wenigen Artikeln die gelben Icons stehen. Schaut man genau hin, wird kurzzeitig das gelbe Icon gelöscht (Bild nicht gefunden) und dann in der selben Sekunde wieder gesetzt. BayWotch hat also die Daten korrekt ausgewertet, konnte aber das Feld 'picture' nicht updaten.

Bei umfangreicheren DB-Aktionen, also mehrfachen Favoritenabgleichen etc., können dann auch offene Jobs nicht mehr upgedatet werden. Die Daten bleiben unverändert. Auch mehrmaliges Abgleichen bringt nichts.

Zuerst dachte ich, das Phänomen durch DB-Komprimierung beseitigen zu können. Sehr selten gelingt dies auch. Die sicherste Methode ist aber BayWotch zu beenden und neu zu starten. Danach funktionieren die Abgleiche wieder tadellos.

Für mich deutet das auf ein Problem in der Speicherverwaltung hin. Die DB-Größe ist 200MB und in Access gibt es keine Probleme. Allerdings weiß ich auch nicht, ob die letzten Favoritenabgleiche überhaupt noch die Artikel abgleichen konnten, da ich das Auftreten des Phänomens ja nur an den Icons erkennen konnte.

Zur Vollständigkeit: P3/750MHz, 80GB HDD, 512MB RAM, Win98SE upgedatet, DAO 3.6.

Wie kann ich die Ursache des Fehlers weiter einkreisen?

-Axel

Verfasst: 19.01.2004, 02:11
von Borkumer
Hallo Axel!

Das erinnert mich stark an den LZF 94, wo auch die Datenbank nach eifriger Arbeit so wackelte, dass selbst "Daten" gespeichert wurden, die dort nicht hingehörten.
( http://www.baywotch.de/cgi-bin/yabb/YaB ... 1062661164

Bei Dir steigt sie anscheinend ganz aus und speichert zur Abwechslung erst mal gar nicht mehr.
Auch das sie unter Access unauffällig ist, bestätigt dies.
Und wahrscheinlich ein Verhalten, dem schwer beizukommen ist.

Herzlichen Glückwunsch! :-/

Ein Fall für Elmar!

Verfasst: 19.01.2004, 14:31
von Borkumer
Hallo Axel!

Hab nochmal das Problem überdacht.
Dadurch, daß nach einem Neustart von BW das Problem erstmal beseitigt ist, deutet doch darauf hin, daß die DB nur mittelbar beteiligt ist.
Vielmehr scheint es was mit der Verwaltung des Abgleichs ( Verwaltung der Kanäle, Geziptes entzippen, Cache der ge- und entzippten Daten, anfordern und abspeichern der Bilder) zu tun zu haben.
Zusammen mit einer nicht mehr so frischen DB und einem unübersichtlichen pics-Verzeichnis könnte da was aus dem Tritt geraten (?)

Wieviel Datensätze mit wievielen Kanälen hast Du abgeglichen?

Verfasst: 19.01.2004, 15:15
von sissus
Hi Tim,
Wieviel Datensätze mit wievielen Kanälen hast Du abgeglichen?
Die Übertragungskanäle sind auf 8 eingestellt (bei mir das Optimum hinsichtl. Durchsatz).

Bei jedem Favoritenabgleich sind es derzeit ca. 1.800 Artikel, von denen ich je nach Zeit nach dem letzten Lauf ca. 1.500 Artikel wieder lösche. Das defragmentiert schon einmal die DB. Dann gleiche ich die ca. 300 neuen Artikel ab, wodurch die Fragmentierung wegen der unterschiedlich großen Beschreibungen zunimmt. Schließlich werden die wieder auf gelbes Bildicon geänderten Artikel abgeglichen (upgedatet). Anscheinend werden nur die wenigen Artikel hier nicht korrekt in der DB upgedatet, bei denen das Bild auf einem langsamen externen Server liegen.

Je häufiger ich diesen Prozeß Favoritenabgleich - neue Artikelabgleich - Bildiconabgleich - offene Jobs Abgleich ohne DB-Komprimierung durchführe, desto mehr Artikel mit gelben Bildicons lassen sich nicht mehr updaten. Treibe ich es so richtig auf die Spitze mit z.Bsp. mehr als 8 Durchläufen, dann lassen sich sogar die offenen Jobs nicht mehr in der DB updaten (wie gesagt, Daten werden empfangen, aber eben nicht in die DB übernommen).

Es scheint sich also um zwei Phänomene zu handeln: langsame externe Bild-Server und die Speicher-Allozierung unter Win98SE, mit der die DB-Treiber nicht mehr klarkommen. Trotzdem ist das sehr vage ohne entsprechende Analysetools.

-Axel

Verfasst: 19.01.2004, 15:23
von denkmann
Hi Axel,

das ist ja mal ganz was neues, was Du da beschreibst... sowas hatten wir noch nicht, denke ich. :-/

Die 2.5'er ist bzgl. Fehlerbehandlung stark optimiert... wenn's irgendwo im Programm hakelt, gibt's eine aussagekräftige Fehlermeldung, direkt als Meldung und Textdatei.

Ich kann mir keinen Reim darauf machen, warum Datensätze nach einer bestimmten Nutzungsdauer pro Sitzung nicht mehr geschrieben/aktualisiert werden könnten.

Du stellst mich da vor ein echtes Rätsel. ???:(

Und ich befürchte, daß ich da erst einmal nicht viel machen kann, solange das Problem nicht mindestens bei einem weiteren User auftritt.

Die Sache mit dem Bild-Icon würde ich mal ganz vorsichtig gesondert behandeln, denn das könnte ja durch - bisher unbekannte - eBay Sonderfälle in den HTML Seiten verursacht werden.

Was aber keinesfalls sein darf ist, daß bei einem Abgleich das Bild Symbol vorhanden bleibt! Das ist ein klares Zeichen dafür, daß BayWotch hier Schreibprobleme in der Datenbank hat.

Einzige Erklärung, was nach meiner Meinung einen solchen Effekt verursachen könnte, wären die ADO Datenbanktreiber. Wurde da bei Dir kürzlich was aktualisiert?

Verfasst: 19.01.2004, 18:43
von sissus
Hi Elmar,
Die Sache mit dem Bild-Icon würde ich mal ganz vorsichtig gesondert behandeln, denn das könnte ja durch - bisher unbekannte - eBay Sonderfälle in den HTML Seiten verursacht werden.
Hier handelt es sich ausschließlich um in die Beschreibung eingebaute, extern gehostete Bilder überwiegend von amerikanischen Servern. Ziel ist immer, daß das Icon gelöscht wird, also erkannt wird, es ist kein Bild vorhanden. Was aber passiert, ist, daß das Icon erst gelöscht und dann wieder gesetzt wird.

Ich glaube auch, daß dies Sonderfälle sind, bei denen der externe Server beim 'erfolgreichen' Abgleich anders z.Bsp. schneller reagiert. Ggf. wird auch durch eine DB-Komprimierung der ADO Pufferspeicher zurückgesetzt. Wie auch immer...
Was aber keinesfalls sein darf ist, daß bei einem Abgleich das Symbol vorhanden bleibt! Das ist ein klares Zeichen dafür, daß BayWotch hier Schreibprobleme in der Datenbank hat.
Das ist bisher nur wenige Male vorgekommen und ausschließlich nach massivem BayWotch-Gebrauch und gleichzeitiger Nutzung diverser anderer Programme während der Abgleiche. Deswegen kann ich das Phänomen ja auch nicht reproduzieren. Auch hier tippe ich auf den Treiber.
Einzige Erklärung, was nach meiner Meinung einen solchen Effekt verursachen könnte, wären die ADO Datenbanktreiber. Wurde da bei Dir kürzlich was aktualisiert?
Eigentlich nicht, aber... Ich habe vor einiger Zeit die Partitionen auf eine neue Platte portiert. Die bisherigen Installationen laufen zudem auf einem anderen Rechner.

Ich werde jetzt einfach mal die neuesten Jet/Mdac-Treiber installieren und schauen, was dann passiert.

-Axel

Verfasst: 19.01.2004, 23:26
von Borkumer
Hallo!

Ich kann Axels geschildertes Verhalten bestätigen.

Habe heute 8109 Artikel versucht abzugleichen. Der Abgleich ist bei 6246 stehen geblieben. Das System hat eine Mail an den Support abschicken wollen, was ich auch zugelassen habe. :D

Innerhalb der 6246 abgeglichenen Artikel gibt es jede Menge gelbe Icons.
Als Beispiel ein Foto:
http://www.gerresheim-keramik.de/baywot ... a25100.jpg

BayWotch ist nach der Beendigung nicht neu gestartet worden und verursacht eine weiße Fläche oben bei den Artikeldetails nachdem ich versucht habe, die Größe dieses Fensterteils zu verändern.

Die Artikel lassen sich jetzt nur sehr zäh bei eBay direkt aufrufen. Ist der Artikel doch nach einigen Minuten geladen, sieht man, daß die Fotos nicht mehr auf den externen Server liegen. Es werden keine Fotos angezeigt, sondern nur die Platzhalter mit dem roten kleinen Kreuz (Bild kann nicht angezeigt werden).

Das ganze System ist sehr zäh geworden. BayWotch scheint voll ausgelastet zu sein und läßt den anderen Anwendungen nicht genug PC-Power.

Werde das Verhalten noch mal ein wenig beobachten und melde mich wieder!

Verfasst: 19.01.2004, 23:48
von Borkumer
Hallo!

Die im Bild gezeigte weiße Fläche oben, wo sonst die Artikeldetails zu sehen sind, kommt zustande, wenn man von einem normalen Artikel auf diesen Artikel wechselt. Die Artikeldetails des normalen Artikels verschwinden, wenn man die Größe des Fensters ändert. Nach etwa 60 sec. werden dann aber die Details des jetzt markierten Artikels angezeigt.
Der Timeout steht auf 20 sec. ???:( ???:(

Verfasst: 20.01.2004, 00:00
von denkmann
Hi Tim,
Borkumer hat geschrieben:Die im Bild gezeigte weiße Fläche oben, wo sonst die Artikeldetails zu sehen sind, kommt zustande, wenn man von einem normalen Artikel auf diesen Artikel wechselt. Die Artikeldetails des normalen Artikels verschwinden, wenn man die Größe des Fensters ändert. Nach etwa 60 sec. werden dann aber die Details des jetzt markierten Artikels angezeigt.
Das kann ich nachvollziehen, und auch begründen:

Der besagte Artikel 2566500950 enthält eine ganze Reihe von externen Bildern, die nicht gefunden werden. Der IE (also das von BayWotch benutzte IE Plugin) muß sich hier erst einmal "durchbeißen", bevor es weitergeht.

Das passiert auch beim Laden des Artikels im "normalen" Browserfenster:

http://cgi.ebay.de/ws/eBayISAPI.dll?Vie ... 2566500950

Dies dürfte aber als nichts mit Axels Probleme zu tun haben, schätze ich.

Verfasst: 20.01.2004, 00:21
von Borkumer
Hallo!
Der besagte Artikel 2566500950 enthält eine ganze Reihe von externen Bildern, die nicht gefunden werden. Der IE (also das von BayWotch benutzte IE Plugin) muß sich hier erst einmal "durchbeißen", bevor es weitergeht.
Das ist nachvollziehbar! Viele Fotos die nicht mehr auf dem Server liegen benötigen Zeit, bis der Browser merkt, dass dort gar nichts mehr ist.

Es erklärt aber nicht, warum der Abgleich gestoppt wurde. (?) Gibt die Mail was her?

Außerdem gab es noch jede Menge mehr gelbe Icons, auch bei Artikeln, bei denen noch ein Foto nachgeladen wurde, nachdem ich sie einzeln abgeglichen habe. Allerdings könnten dies auch Fragmente sein, die nach der nicht vorgesehenen Beendigung des Abgleichs nicht zu Ende kamen.

Auch wurden, so wie ich meine, alle Beschreibungen geladen und das Icon „Abgleich offen“ ersetzt durch das jeweilig passende (was ja nicht richtig wäre, da das Foto noch fehlt).

Aber Du hast recht, dadurch ist dies ein anderes Verhalten als bei Axel!
Werde es aber noch mal wiederholen und weiter eingrenzen!

Verfasst: 20.01.2004, 01:22
von sissus
Hi Elmar, hi Tim,

bei den gelben Icons funktioniert bei noch alles tadellos. Artikeldetails lassen sich anzeigen, DB-Suchen klappen und sogar Abgleiche sind noch möglich. Allerdings nur bei einigen und vor allem nicht immer den selben Artikeln klappt das Bildupdate nicht. Wohlbemerkt, es werden Daten empfangen und auch wohl korrekt ausgewertet (Bildicon verschwindet für knapp eine Sekunde), aber danach wird das Feld wieder zurückgesetzt (gelbes Icon wird wieder angezeigt).

Wiederhole ich dann die ganze Litanei, also Favoritenabgleich - Artikel löschen - Abgleich neuer Artikel (wenn es denn welche gibt) und Abgleich der 'Gelben', dann trifft es durchaus wieder andere Artikel als zuvor.

Ich bastle schon an einem Favoriten, um das Verhalten bei mir halbwegs stabil hinzukriegen, damit Ihr was zu testen habt. Dummerweise ist das gar nicht so einfach...

Auf jeden Fall habe ich noch einmal MDAC 2.8 und den Jet 4.0 SP8 neu downgeloadet und installiert. Trotzdem erscheint das Phänomen wieder, obwohl vor der Abgleicherei die DB komprimiert und der PC neu gestartet war.

Ich habe den favoriten, der mir den Artikel mit dem gelben Bildicon beschert hat, noch einmal separat laufen lassen. Wie nicht anders zu erwarten, konte ich jetzt den fehler nicht mehr darstellen. Alle gelben Icons sind korrekt gelöscht worden.

Trotzdem hier zum Experimentieren die wesentlichen Daten:

Suchtext: "adding machine" -CD -Children -Kid -Software -Bird -Toy -Figurine -Keypad -Ply -dollhouse
Suche auch in Beschreibung
Kategorie: alle
Land: weltweit
Artikelstandort: Artikel mit Standort in gewähltem Land
Rest ist default

Gefunden werden 192 Artikel. Artikel 2588510110 hat heute bereits dreimal das geschilderte Problem bereitet (allerdings ist jetzt alles okay mit ihm in meiner DB ... bis zum nächsten Favoritenabgleich-etc., oder auch nicht ...).

Wahrscheinlich liegt es am Speichermanagement von Win98SE, so meine Vermutung.

-Axel

Verfasst: 20.01.2004, 09:19
von denkmann
Moin Axel und Tim,

gestern nacht ist mir noch ein gewaltiger Bug beim Abbruch einer laufenden Übertragung aufgefallen!

Vielleicht hat das damit zu tun: Problem war, daß - sobald die Übertragung in den Last-Kontroll-Bereich kommt (also gepufferte Seiten abgearbeitet werden) der Abbruch mit dem Stop-Button dazu führt, daß zwar die Aktion stoppt, jedoch die im Puffer befindlichen Daten weiterhin vorhanden sind... und beim nächsten Transfer weiter benutzt werden!!

So kam es z.B. dazu, daß eine Onlinesuche, ein Abbruch (zum richtigen Moment) und ein anschließender Artikelabgleich zu einer Debug-Meldung führte.

Bitte ladet mal folgende überarbeitete EXE (einfach ersetzen):

http://www.baywotch.de/beta/bw2551.zip

Verfasst: 20.01.2004, 10:19
von migo
Hallo alle,

die flackernden gelben Icons hatte ich auch schon mal, die extremen Probleme von Axel und Tim allerdings noch nicht. Ich hatte gestern abend mal versucht, das von Axel geschilderte Problem nachzuvollziehen. Nach zwölf Zyklen war die am Anfang leere Datenbank zwar auf über 300 MB angeschwollen und Baywotch durch die Fragmentierung etwas langsamer, aber abgeglichen hat Baywotch am Ende genauso gut wie am Anfang. Bei mir konnte ich das Problem nicht provozieren.

Michael