Hallo Elmar,
ich habe vor kurzem die Standard-Version von Baywotch gekauft und war auch neugirig auf die Leistung der Pro-Version und habe mir dann den 7-Tage Lizenz-Schlüssel beantragt.
Mir ist dabei aufgefallen daß das Einlesen neuer Artikel nicht schneller (ca. 700/min.) geworden ist, lediglich das Abgleichen der Artikel ist gestiegen.
Gleichzeitig ist mir aufgefallen das bei beiden Versionen die Cpu-Last auf 100% steigt, die Festplatte ständig aktiv ist und das sich der Arbeitsspeicher regelrecht aufblätt.
Mein System: Intel M780/2,27Ghz, 2 GByte-Ram
Meine Fragen hierzu:
Warum wird nur das Abgleichen beschleunigt und nicht das Einlesen neuer Artikel?
Warum steigt beim einlesen neuer Artikel die Cpu-Last auf 100% obwohl nur 700 Artikel in der Minute eingelesen werden?
Wie gesagt ->"nur", weil jede 08/15 Datenbank Schaft locker zig-Tausende neue Einträge in der Minute.
Bei Systemen wie PostGre / Codebase / SQL usw sind locker 1.000.000 mio/min und mehr drin.
An der DSL-Leitung (6mbit) kann es nicht liegen denn die langweilt sich schon bei der Standard-Version
siehe Online-Monitor.
Warum blätt sich der Speicher so extrem auf? Die Daten die eingelesen werden, werden doch sofort in die Datenbank/Festplatte geschrieben oder...?
Es wäre nett, wenn du mir diese Fragen beantworten könntest.
Gruss Ingo
Standard /Pro Version
-
- Administrator
- Beiträge: 5370
- Registriert: 31.12.2003, 00:14
- Wohnort: Stolberg (Rhld.) bei Aachen
- Kontaktdaten:
Re: Standard /Pro Version
Hallo Ingo,
erst einmal herzlich Willkommen im Forum!![Willkommen! :welcome:](./images/smilies/icon_welcome.gif)
http://www.baywotch.de/help3/bw3doku.htm#_Toc157417735
Beim Einlesen neuer Artikel, also bei der Onlinesuche, liest BayWotch die Suchergebnisse in 400'er Blöcken, d.h. pro API Anfrage kommen 400 Artikel zurück.
Beim Abgleich hingegen kommt pro Anfrage ein Artikel zurück, da jeder Artikel einzeln ausgelesen werden muß.
Während bei der Onlinesuche die API Abfragen relativ schnell abgeschlossen sind (für z.B. 10.000 Artikel nur 25 Abfragen), muß BayWotch die Ergebnisse noch verarbeiten. Der Flaschenhals ist hierbei nicht die API, sondern BayWotch.
Beim Artikelabgleich ist die Geschwindigkeit abhängig von der Antwortzeit der eBay Server und der Anzahl der gleichzeitigen Übertragungskanäle (für z.B. 10.000 Artikel 10.000 Abfragen!).
Mit eingeschaltetem Onlinemonitor läßt sich dieser Effekt sehr genau beobachten.
Meine Performancetests ergaben, daß es sehr viel schneller geht, wenn ich auf prozessorschonende Zeitschleifen verzichte. Natürlich könnte ich das optional anbieten, so wie die Prozessor-Leerlaufzeit in den erweiterten Optionen (wirkt sich nur auf den Artikelabgleich aus) auch.
Die internen Vorgehensweisen bzgl. Speichernutzung von BayWotch zu diskutieren würde wohl zu weit führen. Der Speicherbedarf liegt in der Art und Weise begründet, wie BayWotch seine "Jobs" intern verwaltet.
Hierzu habe ich mir aber bereits Optimierungen fest vorgenommen... weniger aufgrund der Speichernutzung, sondern eher wegen der Geschwindigkeit beim Abbruch größerer Jobs.
Ich hoffe, ich konnte Deine Fragen klären. Falls nicht, einfach nochmal nachhaken.
erst einmal herzlich Willkommen im Forum!
![Willkommen! :welcome:](./images/smilies/icon_welcome.gif)
Vorab etwas Grundlegendes zur asynchronen Datenübertragung der Professional Edition:blackakito hat geschrieben:Warum wird nur das Abgleichen beschleunigt und nicht das Einlesen neuer Artikel?
http://www.baywotch.de/help3/bw3doku.htm#_Toc157417735
Beim Einlesen neuer Artikel, also bei der Onlinesuche, liest BayWotch die Suchergebnisse in 400'er Blöcken, d.h. pro API Anfrage kommen 400 Artikel zurück.
Beim Abgleich hingegen kommt pro Anfrage ein Artikel zurück, da jeder Artikel einzeln ausgelesen werden muß.
Während bei der Onlinesuche die API Abfragen relativ schnell abgeschlossen sind (für z.B. 10.000 Artikel nur 25 Abfragen), muß BayWotch die Ergebnisse noch verarbeiten. Der Flaschenhals ist hierbei nicht die API, sondern BayWotch.
Beim Artikelabgleich ist die Geschwindigkeit abhängig von der Antwortzeit der eBay Server und der Anzahl der gleichzeitigen Übertragungskanäle (für z.B. 10.000 Artikel 10.000 Abfragen!).
Mit eingeschaltetem Onlinemonitor läßt sich dieser Effekt sehr genau beobachten.
Weil BayWotch beim Einlesen der Suchergebnisse extrem viel zu tun hat. Es ist ja nicht so, daß man eine Datenbankverbindung zu eBay öffnet und die Artikeldaten "runterkopieren" kann. Stattdessen muß man die umfangreichen XML Daten auslesen und logisch verarbeiten. Und das kostet Rechenzeit.Warum steigt beim einlesen neuer Artikel die Cpu-Last auf 100% obwohl nur 700 Artikel in der Minute eingelesen werden?
Meine Performancetests ergaben, daß es sehr viel schneller geht, wenn ich auf prozessorschonende Zeitschleifen verzichte. Natürlich könnte ich das optional anbieten, so wie die Prozessor-Leerlaufzeit in den erweiterten Optionen (wirkt sich nur auf den Artikelabgleich aus) auch.
Ich stelle mir gerade vor, eine solche Frage hätte ich an z.B. Symantec gestellt... ob ich jemals eine Antwort bekäme?Warum blätt sich der Speicher so extrem auf? Die Daten die eingelesen werden, werden doch sofort in die Datenbank/Festplatte geschrieben oder...?
![Zwinkernd ;)](./images/smilies/yabb_wink.gif)
Die internen Vorgehensweisen bzgl. Speichernutzung von BayWotch zu diskutieren würde wohl zu weit führen. Der Speicherbedarf liegt in der Art und Weise begründet, wie BayWotch seine "Jobs" intern verwaltet.
Hierzu habe ich mir aber bereits Optimierungen fest vorgenommen... weniger aufgrund der Speichernutzung, sondern eher wegen der Geschwindigkeit beim Abbruch größerer Jobs.
Ich hoffe, ich konnte Deine Fragen klären. Falls nicht, einfach nochmal nachhaken.
Gruß,
Elmar Denkmann
(Entwickler)
Elmar Denkmann
(Entwickler)
Hallo Elmar!
![Cool 8-)](./images/smilies/yabb_cool.gif)
Wie wäre es denn mit der kostpflichigen Hotline die Symantec hat (hatte?). Ein Anruf 45,- € ....Festpreis!!Ich stelle mir gerade vor, eine solche Frage hätte ich an z.B. Symantec gestellt... ob ich jemals eine Antwort bekäme?![]()
![Cool 8-)](./images/smilies/yabb_cool.gif)
Gruß
Tim
__________________________
XP Pro; SP3 (werde ohne Not auch nicht wechseln !!)
Tim
__________________________
XP Pro; SP3 (werde ohne Not auch nicht wechseln !!)
-
- Beiträge: 6
- Registriert: 20.03.2007, 18:09
Re: Standard /Pro Version
Danke für die schnelle Antwort. Ich muß aber nochmal nachhacken.
Ich habe meinen Notebook gerade von 735(1700Mhz) auf einen 780(2,26Mhz) aufgerüstet. Ich konnte dabei keine Nennenswerte Unterschiede feststellen, außer das die Cpu-Last von 100% auf ca. 70%-80% runtergeht.....da müßen die Zeitschleifen aber recht groß sein...
und... was heißt Optional???
Gruß Ingo
Um wieviel schneller wäre das denn (in Prozent)?denkmann hat geschrieben: Meine Performancetests ergaben, daß es sehr viel schneller geht, wenn ich auf prozessorschonende Zeitschleifen verzichte. Natürlich könnte ich das optional anbieten, so wie die Prozessor-Leerlaufzeit in den erweiterten Optionen (wirkt sich nur auf den Artikelabgleich aus) auch.
Ich habe meinen Notebook gerade von 735(1700Mhz) auf einen 780(2,26Mhz) aufgerüstet. Ich konnte dabei keine Nennenswerte Unterschiede feststellen, außer das die Cpu-Last von 100% auf ca. 70%-80% runtergeht.....da müßen die Zeitschleifen aber recht groß sein...
und... was heißt Optional???
Das sollte jetzt nicht falsch verstanden werden. Nur bei Datenbankanwendungen werden die Daten geschrieben und dann meistens aus dem Arbeitsspeicher wieder gelöscht. Wenn Sie eh nicht mehr gebraucht werden oder bei einer neuen Anfrage sowiso wieder eingelesen werden. Das war nur eine Allgemeine Verständnissfragedenkmann hat geschrieben: Ich stelle mir gerade vor, eine solche Frage hätte ich an z.B. Symantec gestellt... ob ich jemals eine Antwort bekäme?![]()
Gruß Ingo
-
- Administrator
- Beiträge: 5370
- Registriert: 31.12.2003, 00:14
- Wohnort: Stolberg (Rhld.) bei Aachen
- Kontaktdaten:
Re: Standard /Pro Version
Hallo Ingo,
http://www.baywotch.de/help3/bw3doku.htm#_Toc157417754
Dies gilt allerdings nicht für die Onlinesuche (=Hinzufügen neuer Artikel). Hier wurde das Optimum an Performance herausgeholt - ungeachtet der Prozessorlast. Würde ich prozessorschonende Zeitschleifen einbauen, würde die Suche merklich langsamer ablaufen.
Das könnte ich aber noch einbauen, so daß man - wenn es auf Geschwindigkeit nicht so ankommt - die Prozessorlast reduzieren könnte.
beim Artikelabgleich wurde eine Zeitschleife eingebaut, die sich in den erweiterten Optionen einstellen läßt:blackakito hat geschrieben:Um wieviel schneller wäre das denn (in Prozent)?
Ich habe meinen Notebook gerade von 735(1700Mhz) auf einen 780(2,26Mhz) aufgerüstet. Ich konnte dabei keine Nennenswerte Unterschiede feststellen, außer das die Cpu-Last von 100% auf ca. 70%-80% runtergeht.....da müßen die Zeitschleifen aber recht groß sein...
und... was heißt Optional???
http://www.baywotch.de/help3/bw3doku.htm#_Toc157417754
Dies gilt allerdings nicht für die Onlinesuche (=Hinzufügen neuer Artikel). Hier wurde das Optimum an Performance herausgeholt - ungeachtet der Prozessorlast. Würde ich prozessorschonende Zeitschleifen einbauen, würde die Suche merklich langsamer ablaufen.
Das könnte ich aber noch einbauen, so daß man - wenn es auf Geschwindigkeit nicht so ankommt - die Prozessorlast reduzieren könnte.
Wie gesagt: Es passiert bei BayWotch sehr viel mehr, als nur Daten von eBay in die lokale Datenbank zu schaufeln.Das sollte jetzt nicht falsch verstanden werden. Nur bei Datenbankanwendungen werden die Daten geschrieben und dann meistens aus dem Arbeitsspeicher wieder gelöscht. Wenn Sie eh nicht mehr gebraucht werden oder bei einer neuen Anfrage sowiso wieder eingelesen werden. Das war nur eine Allgemeine Verständnissfrage
Gruß,
Elmar Denkmann
(Entwickler)
Elmar Denkmann
(Entwickler)