V3 und wie geht ein TURBOABGLEICH???

[killer]

hi

die V3 ist ja erheblich schneller geworden als die V2 es war danke erstmal !!

jetzt die frage wie stelle ich sie am besten ein um den schnellste möglichen abgleich zu bekommen!!???

ist es möglich mehr als 99 kanäle zu bekommen???????

erste test bei mir

dyn lastkontrolle auf 200 gesetzt datenkomprimierung rausgenommen
ergebnis cpulast bei 50% inet verbindung setzt nach erreichen des 200er parserwertes dann immer mal aus....

nächster test

2 baywotcher laufe gelaßen gleiche einstellung wie oben
ergebnis fast 100%cpu und inet konstant auf 100% beide baywotcher gehen ganz langsam im parserwert in richtung 200 dauert aber 15min wen erreicht immer mal wieder kurzes einbrechen der inet last...

also schon recht gut aber warum kann ich nicht einfach bei einem baywotcher 200 oder 250 kanäle laufen laßen??????????

was ich bis dato kapiert habe
datenkompromierung is gut für die inet verbindung und schlecht für die cpu last?? richtig??

momentan hab ich als pc nen 2,8 p4 mit 1gb ram hyperthreading nen speedraid aus raptoren und ne 3mbit leitung

da sich das ganze ändert in richtung 3,2P4 und 2x 6mbit Inet anschluß mit loadbalancing wäre meine traumeinstellung dann wohl unlimited kanäle wo ich mich dann an einen wert rantasten würde sodas CPU 100% ist...
ohne datenkomprimierung versteht sich

ich parse immer ohne bilder und ohne artikelbeschreibung aber mit dem haken bei vollständig

sind mehr als 99 kanäle möglich???

[denkmann]

Hi killer,

also schon recht gut aber warum kann ich nicht einfach bei einem baywotcher 200 oder 250 kanäle laufen laßen??????????

also ich kann nicht so recht nachvollziehen, wie Deine Optimierung einen Geschwindigkeitsvorteil bringen soll.

Beispiel:

* AMD 3400+, 1GB RAM, SATA-IDE, DSL2000
* 221 Artikel ohne Bild (Beschreibung wird immer mitgeladen, das kann man nicht beeinflussen)

Test 1:
99 Kanäle, Keine Komprimierung, Lastkontrolle 200
Dauer: 1 Minute

Test 2:
20 Kanäle, Komprimierung aktiv, Lastkontrolle 30
Dauer: 24 Sekunden

Das Optimum wird m.E. nicht durch mehr Kanäle erreicht werden können, wobei ich jetzt nicht Deine Traumkonfiguration zum Test zur Verfügung hatte.

was ich bis dato kapiert habe
datenkompromierung is gut für die inet verbindung und schlecht für die cpu last?? richtig??

Theoretisch ist das richtig. Aber bedenke, daß die eBay Seiten im komprimierten Zustand nur noch etwa ein Fünftel so groß sind. Ich kann mir nicht vorstellen, daß eine schnelle CPU damit ein Problem hat, das File in einem Sekundenbruchteil zu entzippen.

sind mehr als 99 kanäle möglich???

Nein, in den bisherigen Versionen ist das nicht vorgesehen.

[ThoBo]

Hallo,

auch ich habe mehre Tests mit der V3 gefahren, um rauszufinden, wo der Flaschenhals beim Abgleich ist.
Folgende Varianten habe ich jeweils mit einer DB mit 200 Tsd. Artikeln durchgeführt:

• - Internetkanäle zwischen 7 und 35
  - unterschiedliche Einstellungen in der Registry bei den
  Werten "HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Session Manager\Memory Management\LargeSystemCache" und "HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\lanmanserver\parameters\Size"
  - Installation der V3 sowie der DB auf Raid bzw. Ramdisk

Ergebnis:
Den schnellsten Abgleich habe ich bei 15 Kanälen und Maximierung des Durchsatzs für Netzwerkanwendungen (LargeSystemChache=3 -> Size=3) mit 511 Artikeln pro Minute (ohne Artikelbeschreibung und ohne Bilder).
Doch leider liegt der Unterschied aller Varianten max. bei 10% - deshalb ist meine Schlussfolgerung, dass hier nirgendwo der Engpaß liegt. Seht Ihr das auch so?

Wenn man in den Taskmanager schaut, stellt man fest, dass die V3 bei dieser DB-Größe auf rd. 220 Tsd. KB Speicherauslastung wächst. Beim stoppen des Abgleichs dauert es rd. 6,5 Minuten bis der Abbruch abgeschlossen ist.
Mit dem Tool "Filemon" sieht man, dass die V3 die meiste Zeit damit beschäftigt ist ein Lock / Unlock bei der bawotch.ldb durchzuführen.

Meine Frage hierzu:
Kann man nicht in der V3 die Option integrieren, dass (wie bei Access ebenfalls möglich) die DB exklusiv geöffnet wird, so dass Lock / Unlock entfällt?
Hiermit dürfte wahrscheinlich noch eine spürbare Geschwindigkeitssteigerung möglich sein, oder?

Gruß,
Thorsten

Meine Konfiguration:
P4 3Ghz HT 800FSB \ MSI 865PE Neo2-PFISR \ MSI Geforce FX 5500 \ 3 GB Single Channel DDR 400\ SATA Raid0 (2x 74 Gb WD Raptor) \ Hansenet DSL mit 1.024KB

[denkmann]

Hallo Thorsten,

Meine Frage hierzu:
Kann man nicht in der V3 die Option integrieren, dass (wie bei Access ebenfalls möglich) die DB exklusiv geöffnet wird, so dass Lock / Unlock entfällt?
Hiermit dürfte wahrscheinlich noch eine spürbare Geschwindigkeitssteigerung möglich sein, oder?

hierzu stelle ich gerne eine Testversion zur Verfügung, wenn Du das testen möchtest. Bei Interesse bitte einfach eine kurze Email an mich.

[killer]

aber bitte

dann mal hier posten wie der test ausging...


also klartext komprimierung sollte immer an sein???

hoffenlich melden sich noch ein paar user mit erfahrungswerten....

so ganz schlau bin ich jetzt noch net

[ThoBo]

Vielen Dank an Elmar für die Testversion.

Doch leider führte das exklusive Öffnen der DB auch zu keinem Geschwindigkeitsvorteil.

Hier nun meine Ergebnisse zur Abgleichgeschwindigkeit aus rd. 40 Tests:

• - Die V3 ist mit einem Durchschnitt von 477 Datensätzen pro Minute schneller als die V2.5 (402 Datensätze).
  
  - Alle Veränderungen bzgl. Kanälen (zwischen 7 und 40), Parserschwellenwerten (zwischen 20 und 90), exklusivem / nicht-exklusivem Öffnen der DB sowie Varianten der Registry führen zu Ergebnissen die nur +/- 5% vom Mittelwert abweichen.
  
  - Die Ergebnisse variieren nach keinem erkennbaren Muster, sondern scheinbar zufällig.

Mein Fazit:
Wahrscheinlich sind die unterschiedlichen Ergebnisse hauptsächlich auf Serverauslastung bei eBay oder die Internetauslastung zurückzuführen.
Bei einem gegebenen System und vernünftigen Einstellungen lassen sich mit den untersuchten Varianten keine weiteren Geschwindigkeitssteigerungen erzielen.

Es würde mich interessieren, falls jemand noch andere Ideen hierzu hat.
Erreicht jemand höhere Werte? Wenn ja, mit welcher Konfiguration?

Gruß aus Hamburg,
Thorsten

[killer]

hi

kann es nicht auch mit den max möglichen verbindungen der inet anbindung zu tun haben??

haste mal deine leitung bei zb www.speedtest.nl durchgemessen und geschaut wieviel verbindungen sie leistet???

ich glaub für filesharing ist das ja zb auch ein thema emule usw...

[Borkumer]

Hallo!

Zwei Anmerkungen:

1) Der Abgleich mit exakt den gleichen Artikel und exakt den gleichen Einstellungen führte bei mir zu unterschiedlichen Meßergebnissen (morgens, mittags, abends, nachts und spätnachmitternacht; Montags, Freitag, Samstags und Sonntag)! Ich habe mich entschlossen, die Messungen nicht mehr in Artikel/ Std. (bzw. Min) anzugeben, sondern die gemessene Größe als Reaktionszeit des externen Systems einzustufen ( Internetanbindung, Reaktionszeit vom eBay-Server). Vereinfacht gesagt: ich messe die eBay-Antwortzeit und nicht die Schnelligkeit von BW. Insofern bestätigt ThoBo meine Einschätzung!!

2) Um BW auf max-Transfer einzustellen sollte bei einem Abgleich die Lastkontrolle ausgeschaltet und der Wert "zu parsen" unten im Online-Monitor sollte sich < 200 bei etwa 1000 Artikeln einpendeln. Um das zu erreichen muß die Anzahl der Kanäle runtergefahren werden. Dadurch wird die volle Rechenpower dem Abgleich zur Verfügung gestellt und im Online-Download entstehen die geringesten Leerlaufphasen.

Auf meinem System komme ich zwischen 8-12 Kanälen auf die besten Werte. Die Einschätzung, je mehr Kanäle um so besser, ist leider total falsch!! Jedes System hat ein Optimum, das erst ermittelt werden muß!!