Benchmark-Zeit für grosse Artikelmengen?

[ThoBo]

Hallo Methyst,

vielleicht liegt es an den Registry-Einstellungen - siehe:
http://www.baywotch.de/phpbb/viewtopic.php?t=799

Gruß,
Thorsten

[Gast]

Danke für den Tip Thorsten , IoPageLockLimit ist bereits auf 262144
gesetzt (ist ja ein Standardtweak), largesystemcache steht auf 1, size steht auch auf 1.
Ich werde die Werte deinem Vorschlag entsprechend abändern und neu testen, bezweifle aber daß damit die Performance bis hin zu deinen Werten zunimmt.

Ich frage mich ernsthaft wo bei meinem vergleichbaren System der "Flaschenhals" steckt.

[methyst]

Oops, da hab ich doch glatt als Gast gepostet.

Gruß

Jan

[denkmann]

Hallo zusammen,

bitte beachtet bei euren Tests auch folgendes:

Beendete Powerauktionen benötigen mehr Zeit, da zur Auswertung der Stückzahlen eine zusätzliche Seite (Gebotsliste) geladen werden muß.

[SuGo]

Also ich komme auf gut 370/min,ohne Bilder,mit Beschreibung,bei 12 Kanälen.

System (vergleichsweise spartanisch):
MSI K7N2 Delta
Athlon XP2400 @ 2,1GHz,256KB Cache
1GB PC290 2-2-2 (2x256,1x512,DualChannel,FSB-Synchron)
DSL1000
WinXP Pro,Sp2, Einstellungen wie in http://www.baywotch.de/phpbb/viewtopic.php?t=799

Viele Grüße von Helferlein

[ThoBo]

Hallo nochmal,

ich komme ja inzwischen beim Abgleich der nicht abgeglichenen Artikel auf einen Durchsatz von 480 Datensätzen pro Minute (30 Kanäle - ohne Artikelbeschreibung und Bilder).

Meine Konfiguration:
P4 3Ghz HT 800FSB \ MSI 865PE Neo2-PFISR \ MSI Geforce FX 5500 \ 1,5 GB Single Channel DDR 400\ SATA Raid0 (2x 74 Gb WD Raptor 10000u/min) \ 2xIDE HD (280 GB) \ 350W NT \ Thermalright XP-120 \ 3x Papst 4412/F2GLL

Damit bestätgit sich die Aussage von Chris - Raid etc. bringt nicht besonders viel Performance-Vorteile. Die Arbeit liegt beim Parsing.
Bei mir ist die CPU-Auslastung dann konstant bei 50% - aber mehr Kanäle bringen nichts. Wenn ich BayWotch zweimal parallel ausführe, liegt die CPU-Auslastung zwar konstant bei 100% doch der Durchsatz ist nicht höher - also muss der Engpaß woanders liegen.
Vielleicht sind es die Einstellungen im Schlüssel "HKEY_LOCAL_MACHINE\ Software\ Microsoft\ Jet\ 4.0\ Engines\ Jet 4.0" ?
Insbesondere die Werte bei „MaxLocksPerFile“, "MaxBufferSize" und "PagesLockedToTableLock"?


@ Helferlein: Ich vermute unsere Differenz liegt in der Systemausstattung begründet. Hast Du mal 25 Kanäle probiert.

@methyst:
Was ergab die Veränderung Deiner Registryeinstellungen?

Gruß,
Thorsten

[Gast]

@Thorsten

habe den Wald vor lauter Bäumen nicht gesehen, nachdem ich alles mögliche (auch die Registryänderungen) ohne Erfolg ausprobiert habe war mal ein Blick ins BIOS fällig.

Und siehe da : Prozessor viel zu heiss, der P4 taktet sich dann automatisch runter ..... Kühler gereinigt, frische Kühlpaste ..... und alles läuft wunderbar .....

506 Artikel in 1:20 Min

Ohne mir Sorgen über Baywotch zu machen wär ich so schnell nicht drauf gekommen, selbst bei über 70°C CPU Temperatur lief bei mir alles noch stabil und ohne Probleme.

(Und wieder mal zu spät im Bett)

[ThoBo]

Ich kann da den Thermalright XP-120 kühlstens empfehlen - der Prozessor wird auch bei konstanter Vollast nicht wärmer als 56°C (CPU Temperatur gemessen über das Mainboard)

Gruß aus Hamburg,
Thorsten

[Gast]

Anmerkung: Ich speichere weder die Bilder noch die Artikelbeschreibung, da ich inzwischen rd. 16 Mio Artikel abgleichen muss.

Was mich mal interessieren würde, ist, ketzerisch gefragt, ob hier mit BW neue Rekorde aufgestellt werden sollen, oder ob jemand mit den Daten, die er/sie sammelt, auch sinnvolle Sachen anstellt.
16 Millionen Artikel... leicht kopfschüttel

Ich lasse mich aber gern aufklären.

Bis denne
Wolfgang

[Gast]

Sorry... wollte nicht anonym schreiben, aber hatte mich vergessen, anzumelden.

Bis denne
Wolfgang

[ThoBo]

Hallo Wolfgang,

um Rekorde geht es mir gar nicht. Und mit so vielen Daten kann man sehr sinnvolle Sachen anstellen. Aber bei solch einer Datenmange ist es sehr entscheidend, den Abgleich soweit wie möglich zu optimieren.

Gruß,
Thorsten

[Borkumer]

Hallo Wolfgang!

Um Rekorde geht es hier sicher nicht, aber wenn frau/man ihr/sein System optimiert hat, geht vieles schneller!

Beispiel: Ich suche alte Postkarten von Leuchttürmen, weltweit. Eine Online-Suche bringt etwa 1000 Ergebnisse. Wenn ich nur mal durchsehen möchte, ob was dabei ist, was mich interessiert, brauche ich die Fotos dazu. Deswegen muß ich alle gefundenen Artikel abgleichen damit diese geladen werden. Und wenn dann das System nicht optimiert ist, kann ich neben der Tasse Tee (Kaffee) auch noch eine Zusatz-Runde mit dem Hund gehen.

Deswegen sind Tips, die auf das Optimum hinzielen gerne gesehen.

[Daniel]

Nun denn, als bekennender Massendatensammler muss ich mich hier natürlich auch noch kurz melden. Ich beobachte mit BayWotch einige mich interessierende Kategorien (naja: wenigstens Unterkategorien), hauptsächlich in Sammel- und Antiquitätengebieten.
Es geht mir dabei zur Hauptsache um die Marktbeobachtung, soviel wie ich beobachte, kaufe ich natürlich nicht ein. Aber wenn mich dann mal was wirklich interessiert, habe ich gute Anhaltspunkte bezüglich des (eBay-)Marktpreises und zahle nicht zuviel, (oder wenn ich zuviel zahle, dann wenigstens mit offenen Augen.)
Ich habe meine Datensätze nicht gezählt, aber ich habe mehrere Datenbanken, die ich alle mit Bildern und detaillierten Beschreibungen (Antiquitäten...) abspeichere und das ergibt auf einem reservierten BayWotch 120GB-RAID1 momentan doch so etwa 70GB.
OOps, habe grad noch mal schnell nachgeschaut - es ergibt inzwischen schon über 100 GB. RAID-Vergrösserung ist angesagt.