Standard /Pro Version

BayWotch 3.x wird nicht mehr unterstützt. Dieser Bereich dient als Archiv.
Antworten
blackakito
Beiträge: 6
Registriert: 20.03.2007, 18:09

Standard /Pro Version

Beitrag von blackakito »

Hallo Elmar,

ich habe vor kurzem die Standard-Version von Baywotch gekauft und war auch neugirig auf die Leistung der Pro-Version und habe mir dann den 7-Tage Lizenz-Schlüssel beantragt.
Mir ist dabei aufgefallen daß das Einlesen neuer Artikel nicht schneller (ca. 700/min.) geworden ist, lediglich das Abgleichen der Artikel ist gestiegen.
Gleichzeitig ist mir aufgefallen das bei beiden Versionen die Cpu-Last auf 100% steigt, die Festplatte ständig aktiv ist und das sich der Arbeitsspeicher regelrecht aufblätt.

Mein System: Intel M780/2,27Ghz, 2 GByte-Ram

Meine Fragen hierzu:

Warum wird nur das Abgleichen beschleunigt und nicht das Einlesen neuer Artikel?
Warum steigt beim einlesen neuer Artikel die Cpu-Last auf 100% obwohl nur 700 Artikel in der Minute eingelesen werden?
Wie gesagt ->"nur", weil jede 08/15 Datenbank Schaft locker zig-Tausende neue Einträge in der Minute.
Bei Systemen wie PostGre / Codebase / SQL usw sind locker 1.000.000 mio/min und mehr drin.
An der DSL-Leitung (6mbit) kann es nicht liegen denn die langweilt sich schon bei der Standard-Version
siehe Online-Monitor.

Warum blätt sich der Speicher so extrem auf? Die Daten die eingelesen werden, werden doch sofort in die Datenbank/Festplatte geschrieben oder...?

Es wäre nett, wenn du mir diese Fragen beantworten könntest.

Gruss Ingo
denkmann
Administrator
Beiträge: 5368
Registriert: 31.12.2003, 00:14
Wohnort: Stolberg (Rhld.) bei Aachen
Kontaktdaten:

Re: Standard /Pro Version

Beitrag von denkmann »

Hallo Ingo,
erst einmal herzlich Willkommen im Forum! :welcome:
blackakito hat geschrieben:Warum wird nur das Abgleichen beschleunigt und nicht das Einlesen neuer Artikel?
Vorab etwas Grundlegendes zur asynchronen Datenübertragung der Professional Edition:
http://www.baywotch.de/help3/bw3doku.htm#_Toc157417735

Beim Einlesen neuer Artikel, also bei der Onlinesuche, liest BayWotch die Suchergebnisse in 400'er Blöcken, d.h. pro API Anfrage kommen 400 Artikel zurück.

Beim Abgleich hingegen kommt pro Anfrage ein Artikel zurück, da jeder Artikel einzeln ausgelesen werden muß.

Während bei der Onlinesuche die API Abfragen relativ schnell abgeschlossen sind (für z.B. 10.000 Artikel nur 25 Abfragen), muß BayWotch die Ergebnisse noch verarbeiten. Der Flaschenhals ist hierbei nicht die API, sondern BayWotch.

Beim Artikelabgleich ist die Geschwindigkeit abhängig von der Antwortzeit der eBay Server und der Anzahl der gleichzeitigen Übertragungskanäle (für z.B. 10.000 Artikel 10.000 Abfragen!).

Mit eingeschaltetem Onlinemonitor läßt sich dieser Effekt sehr genau beobachten.
Warum steigt beim einlesen neuer Artikel die Cpu-Last auf 100% obwohl nur 700 Artikel in der Minute eingelesen werden?
Weil BayWotch beim Einlesen der Suchergebnisse extrem viel zu tun hat. Es ist ja nicht so, daß man eine Datenbankverbindung zu eBay öffnet und die Artikeldaten "runterkopieren" kann. Stattdessen muß man die umfangreichen XML Daten auslesen und logisch verarbeiten. Und das kostet Rechenzeit.

Meine Performancetests ergaben, daß es sehr viel schneller geht, wenn ich auf prozessorschonende Zeitschleifen verzichte. Natürlich könnte ich das optional anbieten, so wie die Prozessor-Leerlaufzeit in den erweiterten Optionen (wirkt sich nur auf den Artikelabgleich aus) auch.
Warum blätt sich der Speicher so extrem auf? Die Daten die eingelesen werden, werden doch sofort in die Datenbank/Festplatte geschrieben oder...?
Ich stelle mir gerade vor, eine solche Frage hätte ich an z.B. Symantec gestellt... ob ich jemals eine Antwort bekäme? ;)

Die internen Vorgehensweisen bzgl. Speichernutzung von BayWotch zu diskutieren würde wohl zu weit führen. Der Speicherbedarf liegt in der Art und Weise begründet, wie BayWotch seine "Jobs" intern verwaltet.

Hierzu habe ich mir aber bereits Optimierungen fest vorgenommen... weniger aufgrund der Speichernutzung, sondern eher wegen der Geschwindigkeit beim Abbruch größerer Jobs.

Ich hoffe, ich konnte Deine Fragen klären. Falls nicht, einfach nochmal nachhaken.
Gruß,
Elmar Denkmann
(Entwickler)
Borkumer
Beiträge: 1443
Registriert: 03.01.2004, 17:27
Wohnort: Borkum
Kontaktdaten:

Beitrag von Borkumer »

Hallo Elmar!
Ich stelle mir gerade vor, eine solche Frage hätte ich an z.B. Symantec gestellt... ob ich jemals eine Antwort bekäme? ;)
Wie wäre es denn mit der kostpflichigen Hotline die Symantec hat (hatte?). Ein Anruf 45,- € ....Festpreis!! 8-)
Gruß

Tim
__________________________
XP Pro; SP3 (werde ohne Not auch nicht wechseln !!)
blackakito
Beiträge: 6
Registriert: 20.03.2007, 18:09

Re: Standard /Pro Version

Beitrag von blackakito »

Danke für die schnelle Antwort. Ich muß aber nochmal nachhacken.
denkmann hat geschrieben: Meine Performancetests ergaben, daß es sehr viel schneller geht, wenn ich auf prozessorschonende Zeitschleifen verzichte. Natürlich könnte ich das optional anbieten, so wie die Prozessor-Leerlaufzeit in den erweiterten Optionen (wirkt sich nur auf den Artikelabgleich aus) auch.
Um wieviel schneller wäre das denn (in Prozent)?
Ich habe meinen Notebook gerade von 735(1700Mhz) auf einen 780(2,26Mhz) aufgerüstet. Ich konnte dabei keine Nennenswerte Unterschiede feststellen, außer das die Cpu-Last von 100% auf ca. 70%-80% runtergeht.....da müßen die Zeitschleifen aber recht groß sein...
und... was heißt Optional???
denkmann hat geschrieben: Ich stelle mir gerade vor, eine solche Frage hätte ich an z.B. Symantec gestellt... ob ich jemals eine Antwort bekäme? ;)
Das sollte jetzt nicht falsch verstanden werden. Nur bei Datenbankanwendungen werden die Daten geschrieben und dann meistens aus dem Arbeitsspeicher wieder gelöscht. Wenn Sie eh nicht mehr gebraucht werden oder bei einer neuen Anfrage sowiso wieder eingelesen werden. Das war nur eine Allgemeine Verständnissfrage


Gruß Ingo
denkmann
Administrator
Beiträge: 5368
Registriert: 31.12.2003, 00:14
Wohnort: Stolberg (Rhld.) bei Aachen
Kontaktdaten:

Re: Standard /Pro Version

Beitrag von denkmann »

Hallo Ingo,
blackakito hat geschrieben:Um wieviel schneller wäre das denn (in Prozent)?
Ich habe meinen Notebook gerade von 735(1700Mhz) auf einen 780(2,26Mhz) aufgerüstet. Ich konnte dabei keine Nennenswerte Unterschiede feststellen, außer das die Cpu-Last von 100% auf ca. 70%-80% runtergeht.....da müßen die Zeitschleifen aber recht groß sein...
und... was heißt Optional???
beim Artikelabgleich wurde eine Zeitschleife eingebaut, die sich in den erweiterten Optionen einstellen läßt:
http://www.baywotch.de/help3/bw3doku.htm#_Toc157417754

Dies gilt allerdings nicht für die Onlinesuche (=Hinzufügen neuer Artikel). Hier wurde das Optimum an Performance herausgeholt - ungeachtet der Prozessorlast. Würde ich prozessorschonende Zeitschleifen einbauen, würde die Suche merklich langsamer ablaufen.

Das könnte ich aber noch einbauen, so daß man - wenn es auf Geschwindigkeit nicht so ankommt - die Prozessorlast reduzieren könnte.
Das sollte jetzt nicht falsch verstanden werden. Nur bei Datenbankanwendungen werden die Daten geschrieben und dann meistens aus dem Arbeitsspeicher wieder gelöscht. Wenn Sie eh nicht mehr gebraucht werden oder bei einer neuen Anfrage sowiso wieder eingelesen werden. Das war nur eine Allgemeine Verständnissfrage
Wie gesagt: Es passiert bei BayWotch sehr viel mehr, als nur Daten von eBay in die lokale Datenbank zu schaufeln.
Gruß,
Elmar Denkmann
(Entwickler)
Antworten