Ich werde die Änderungen für die aktuelle v2.5.x schnellstmöglich einfügen !
Hi Wotcher,
viele User nutzen BayWotch zur langfristigen Beobachtung kompletter Unterkategorien und möchten möglichst vollständige und aktualisierte Daten in ihrer Datenbank verwalten. Dabei tauchen immer wieder Unsicherheiten bei der Funktion und auch der Handhabung von BayWotch Version 2.x auf, die zu Anfragen hier im Forum führen. Bei einigen davon, kann man sich den Hinweis auf die BayWotch-Hilfe nur schwer verkneifen ("read the fucking manual!"). Ich möchte gerade für Neueinsteiger darstellen, wie ich vorgehe, um über möglichst 'saubere' Daten zu verfügen...
1. Favoriten anlegen
Favoriten sind nichts weiter als gespeicherte Suchparameter. Die Artikel-Datensätze enthalten keine Information, durch welche Favoriten der Artikel gefunden wird.
Um z.Bsp. alle Artikel in vier Unterkategorien zu beobachten, habe ich entsprechend vier Favoriten angelegt, jeweils mit Währung=alle, Region=alle, Land=weltweit. Letzteres ist wichtig, da es einige User gibt, die als Land 'USA' bei ihrer Anmeldung angegeben haben. So umgehen sie z.Bsp. den Wortfilter (existiert nicht mehr seit Ende 2003). Bei einigen geht das auch auf einen früheren ebay-Fehler zurück.
Um auch die Artikel zu finden, die der Verkäufer in falsche Kategorien eingestellt hat, habe ich zusätzliche Favoriten eingerichtet, die gezielt nach Begriffen oder Begriffsbestandteilen suchen sollen. Natürlich auch in der Beschreibung. Auch hier empfiehlt sich das Land 'weltweit', weil es als Synonym für 'alle' steht, also auch für Artikel bei ebay in Frankreich, UK, USA etc.
2. Favoriten abgleichen
Das erledige ich mindestens einmal täglich über das BayWotch-Menü 'Artikel - Alle Favoriten abgleichen...'. BayWotch ruft dabei für jeden Favoriten getrennt die ebay-Powersuche mit den beim Favoriten eingegebenen Parametern auf und liest die Suchergebnisse aus.
Dabei werden bei allen bereits in der Datenbank befindlichen Artikel die Felder 'Aktuelles Gebot' und 'Gebote' aktualisiert. Falls der Verkäufer den Titel geändert hat oder die Laufzeit bzw. ein Bild hinzugefügt bzw. gelöscht hat oder den Startpreis verändert hat, wird dies auch im Datensatz aktualisiert. Weitere Daten sind in der Liste der Suchergebnisse bei ebay nicht vorhanden. Diese Liste ist bei ebay selten aktuell (siehe unterhalb der Liste die Zeitangabe hinter 'aktualisiert').
Noch nicht in der Datenbank befindliche Artikel werden neu angelegt. Bei diesen fehlen zahlreiche Detaildaten, wie 'Verkäufer' und das IPIX-Bild, sofern vorhanden.
Die hierbei geladenen Artikeldaten sind i.d.R. nicht aktuell. ebay verweist bei jeder Ausgabe unterhalb der Liste darauf hin. Beispielsweise war einmal der Zeitpunkt meiner Abfrage 01:23 Uhr.:
„Hinweis: Die Anzahl der Gebote sowie die Betragshöhe sind unter Umständen nicht auf dem neuesten Stand. Um aktuelle Angaben zu erhalten, klicken Sie bitte auf den/die entsprechenden Artikel. Diese Seite wurde zuletzt aktualisiert am: 02. Aug. 01:19“
oder bei Anzeige einer beliebigen Unterkategorie:
„Aktualisiert: 01. Aug. 23:10:43 MESZ“
Demnach können die angezeigten Daten sogar ein paar Stunden alt sein. Wer also wirklich aktuelle Werte in BayWotch haben möchte, muß die Artikel einzeln abgleichen lassen.
3. Neu gespeicherte Artikel durchforsten
Für die Erkennung neu hinzugeladener Artikel bietet BayWotch keine separate Funktion. Dennoch lassen sich alle neuen Artikel leicht finden, indem man nach dem Verkäufer=<blank> (Leerzeichen) sucht, natürlich mit Land=weltweit und Status=laufend.
Wenn man neben kompletten Unterkategorien auch nach Begriffen weltweit sucht, findet man auch Artikel, die uninteressant sind und gelöscht werden können. Dazu gehe ich die Artikelliste durch, selektiere die entsprechenden Zeilen und lösche.
Wenn man mindestens einmal täglich die Favoriten abgleicht, kann man bei der Artikelsichtung erheblich Zeit sparen, in dem man die neu geladenen Artikel nach dem Startdatum absteigend sortiert. Nur die in den letzten ca. 24 Stunden neu eingestellten Artikel weisen dieses Datum auf. Es reicht also, nur diese durchzusehen. Alle Artikel ohne Startdatum sind älter und beireits bei früheren Sichtungen als uninteressant identifiziert. Sie können bei täglichem Favoritenabgleich einfach gelöscht werden.
Besser wäre es natürlich, es gäbe eine Möglichkeit, die nicht interessierenden Artikel als solche markieren zu können, damit sie bei künftigen Favoritenabgleichen nicht mehr geladen werden. Eine solche Negativliste wird sicher in einer künftigen BayWotch-Version implementiert werden. Es werden dann zwar immer noch die Daten aller von den Favoriten-Suchparametern gefundenen Artikel von ebay heruntergeladen, aber eben nicht mehr in der Datenbank gespeichert.
4. Neu gespeicherte Artikel abgleichen
Auch hierfür bietet BayWotch keine separate Funktion. Gesucht wird wieder nach Verkäufer=<blank>, Land=weltweit und Status=laufend. Die gelisteten Treffer selektiere ich zunächst (mit dem blauen Stern-Icon oberhalb der Artikelliste) und lasse sie dann alle aktualisieren (mit dem grüne-Pfeile-Button).
Jetzt ruft BayWotch jede Artikelnummer einzeln bei ebay auf und liest alle wichtigen Daten aus der Artikelseite. Die restlichen Artikel-Felder der Datenbank werden damit gefüllt bzw. bereits vorhandene Daten aktualisiert. Ist die Option 'Artikelbilder beim Abgleich speichern' aktiv, wird das erste IPIX-Bild (sofern vorhanden) geladen und als im Pfad %Bilderpfad%\%Verkäufer%\%startdatum% als %artikelnummer%.jpg gespeichert.
In seltenen Ausnahmefällen kann es die Bilddatei in verschiedenen Pfaden geben. Ich habe bei mir wenige Fälle, bei denen der Verkäufer irgendwann einmal seinen ebay-Mitgliedsnamen zwischen zwei Abgleichen geändert hat.
Es kann auch passieren, daß nach dem Favoritenabgleich ein Artikel, egal ob neu oder vorher schon in der Datenbank, das 'Bild vorhanden' Icon aufweist. Beim Einzelabgleich wird dann aber kein Bild geladen. Das liegt daran, daß der Verkäufer in seiner Artikelbeschreibung ein Bild integriert hat, daß ebay ihm folgerichtig als Angebotsfeature berechnet. Letztlich ist dann kein IPIX-Bild zum Download für BayWotch vorhanden, so daß das Hinweisbild 'Kein Bild vorhanden' in BayWotch angezeigt wird. Nach dem nächsten Favoritenabgleich wird dann wieder 'Bild nicht gespeichert' angezeigt, weil ebay in der Trefferliste wieder das 'Bild vorhanden' Icon ausgibt.
5. Offene Jobs abgleichen
Hierbei werden von BayWotch alle beendeten Artikel einzeln akzualisiert, die noch während der Laufzeit zuletzt abgeglichen wurden.
Ist die Option 'Beendete Auktionen bei Aktualisierung abgleichen' nicht aktiv, war dies die letzte Aktualisierung des Artikels. Sollten sie bei späteren Abgleichen mit selektiert werden (geht nur manuell), werden sie trotzdem nicht von BayWotch aufgerufen.
6. Laufende Artikel abgleichen
Das einfachste Verfahren ist, alle laufenden Artikel zu suchen (Land=weltweit, aber den Verkäufer=<blank> wieder löschen !), zu selektieren und abzugleichen. Das macht aber nur bei kleineren Datenbanken oder einer DSL-Flatrate wirklich Sinn.
Eine Variante zur Kosten- und Zeitersparnis ist das Abgleichen der Artikel, die in der nächsten Zeit (z.Bsp. innerhalb der nächsten 24 Stunden) enden. Hierzu stelle ich das Datum - Ende vor wunschgemäß ein (vorher natürlich Reset, Status=laufend und Land=weltweit), suchen, selektieren, abgleichen, fertig.
Wer will, kann auch alle frisch bebotenen Artikel abgleichen. Dazu suche ich dann in der Datenbank nach Höchstbietender=<blank>, Anzahl Gebote>0, Auktionstypen Festpreis und Power abgewählt und natürlich wie immer Land=weltweit. Alle Treffer selektieren und abgleichen, dann sind auch die Höchstbietenden geladen. Allerdings werden dabei auch die Privatauktionen abgeglichen, obwohl hier von ebay kein Höchstbietender angezeigt wird. Die Suchoption 'Nur Privatauktionen' kann in BayWotch nicht negiert werden in 'keine'.
Eine weitere Variante ist, die laufenden Kombi- und Festpreis-Auktionen abzugleichen. Bei den Kombis kann die Sofortkauf-Option durch Gebote nicht mehr zur Verfügung stehen und bei Festpreis-Artikeln ist der Artikel ggf. durch Kauf bereits beendet. Gesucht werden also alle Artikel mit Status=laufend, Auktionstyp=Kombi & Festpreis und Land=weltweit. Dann alle Treffer in der Artikelliste selektieren und abgleichen.
Powerauktionen berücksichtige ich eigentlich nicht, da sie unter meinen Artikeln extrem selten vorkommen. Das grundsätzliche Verfahren zum Abgleich ist natürlich gleich. Allerdings hat hier ebay Ende 2003 die Anzeige der Stückzahl so geändert, dass eine Rückrechnung der verkauften Stückzahlen nur noch durch häufige Abgleiche möglich ist.
Ein weitere Möglichkeit 'sinnvoll' ausgewählte Artikel abzugleichen ist, nur die laufenden Kombi-, Festpreis- und Power-Auktionen auszuwählen. Diese Auktionstypen können bereits vor dem ursprünglichen Laufzeitende beendet werden.
Bei Kombi-Auktionen kann es vorkommen, daß der Sofortkauf wegen Abgabe mind. eines Gebotes nicht mehr möglich ist, der Sofortkauf-Preis aber nicht in der Datenbank gespeichert ist. Grund dafür ist, daß das erste Gebote bereits vor dem ersten Speichern der Artikeldaten in die Datenbank abgegeben wurde. Dies spricht dafür, die Favoriten sowie die Artikel möglichst häufig abzugleichen.
Außerhalb ebay.de gibt es Auktionen mit sogenanntem ’reserved price’, die bisher in der BayWotch-Datenbank nicht vollständig abgebildet werden können. Bei diesen Auktionen wird der Artikel erst dann verkauft, wenn das aktuelle Höchstgebot größer ist als der reserved price. Der ’reserved price ist also eine vom Vk festgelegter Mindestpreis, ab dem der Verkauf tatsächlich zustande kommt. Er kann vom Verkäufer unabhängig vom Startpreis festgelegt werden und ist für die Bieter nicht sichtbar (lediglich erkennbar an der Meldung ‚reserved-price nicht erreicht’). Diese Option gibt es in Deutschland nicht, da hier immer ein Kaufvertrag zwischen Vk und Höchstbietendem zustande kommt.
Beim Favoritenabgleich setzt BayWotch die Anzahl Gebote und den Höchsthgebotsbetrag zunächst für diese Artikel. Das Vorhandensein eines ‚reserved prices’ ist in der Trefferliste bei ebay nicht erkennbar. Beim Artikelabgleich wird aber für alle reserved-price-Artikel, bei denen dieser noch nicht erreicht wurde, die Anzahl Gebote auf Null zurückgesetzt. Dadurch lassen sich zumindest die Umsatzwerte dieser Artikel korrekt ermitteln.
7. Artikel zur Beobachtung markieren
Ich markiere mit dem 'beobachten'-Icon grundsätzlich alle Artikel, die bei mir Kaufinteresse wecken bzw. bei denen ich der Verkäufer bin.
Bin ich aus anderen Gründen an einem Artikel interessiert, trage ich eine Bemerkung mit vorangestellten B: in das Notizfeld ein.
8. Datenbanksuche
Die Datenbanksuche in BayWotch hält sich so gut es geht an die Regeln für die ebay-Powersuche. Dies betrifft auch die syntaktischen Regeln für Suchbegriffe mit Ausnahme der Suche nach Wortkreuzungen (mit @-Symbol). Bitte lest dazu sowohl die ebay-Hilfeseiten zum Thema ‚Suchen’ sowie die Hinweise in der BayWotch-Hilfe.
Erstaunlichweise erlaubt die Suche bei ebay mehr Möglichkeiten als offiziell angegeben. Außerdem verändert ebay hier gelegentlich Einzelheiten, so dass bei ebay Sucheingaben akzeptiert werden können, die BayWotch ablehnt.
Um Überraschungen bei den Suchergebnissen zu vermeiden, sollte man die Sucheinstellungen vor jeder Suche mit dem Reset-Button zurücksetzen..
9. Onlinesuche
Bis irgendwann in 2003 gab es bei ebay die Begrenzung von maximal 10.000 Treffern pro Suchanfrage. Gottseidank gibt es jetzt für BayWotch diese Grenze nicht mehr.
Sinnvolle Suchparameter sind hier 'Artikel mit Standort in gewähltem Land' und Land=weltweit, Auktionstyp=Alle sowie 'Bald endende Angebote zuerst'. Dadurch ist gewährleistet, daß zumindest nach einiger Zeit (fast) alle Artikel von BayWotch erfaßt werden. Das gilt natürlich nicht für die ganz frischen per Sofortkauf beendeten und die vom Verkäufer vorzeitig beendeten Auktionen. Näher an die 100% geladener Artikel kommt man, wenn nach der Suche mit Auswahl='Bald endende Angebote zuerst' das ganze erneut mit Auswahl='Niedrigste Beträge zuerst' bzw. 'Höchste Beträge zuerst' (je nach Preisgefüge und Interesse) durchgeführt wird. Auch mit DSL ist dieses Vorgehen allerdings recht zeitintensiv.
Ist in der Onlinesuche 'Treffer automatisch abspeichern' abgewählt, werden noch nicht in der Datenbank vorhandene Treffer in der Artikelliste mit dem Diskettensymbol als 'noch zu speichern' angezeigt. BayWotch markiert zudem die Artikel automatisch, die nur aufgrund des Suchbegriffes in der Beschreibung gefunden wurden. Bestätigt man die zugehörige Meldung, werden die markierten Artikel komplett abgeglichen, um auch die Artikelbeschreibung nachzuladen.
Man kann aber auch gleich alle Artikel abgeglichen, wodurch ein zugehöriges Bild geladen und gespeichert wird. Allerdings sind diese Daten nur temporär vorhanden, da die Artikel noch nicht in der Datenbank gespeichert wurden. Startet man jetzt eine Suche z.Bsp. in der Datenbank, sind alle diese nicht gespeicherten Daten verloren. Beendet man dann BayWotch, werden sogar das/die gespeicherten Bilder der nicht gesicherten Datensätze korrekt gelöscht.
Auch hier sollte mann die Sucheinstellungen vor jeder Suche zurücksetzen..
Für mich ist die Onlinesuche nur interessant, um auch mal nach Artikelnummern zu suchen, die nicht durch die Favoriten abgedeckt sind (z.Bsp. bei eigenen (Ver-)Käufen). Ansonsten nutze ich sie nur selten.
10. Datenbank-Pflege
Auch das gehört dazu, um seine BayWotch-Daten sauber zu halten. An erster Stelle steht hier das regelmäßige Komprimieren/Reparieren der Datenbank, erreichbar durch den gleichnamigen Menüpunkt unter 'Datenbank'. Das sollte man nach jeder großen Abgleich-Session und vor allem nach einem Update der Kategorien (unter 'Programm - Update') vornehmen. Es macht die Datenbank kleiner und damit schneller.
BayWotch verwendet die Datenbank nicht nur zum Speichern der ‚gewollten’ Artikel, sondern auch,um Suchergebnisse zu puffern. Da die Datenbankgröße beim Löschen nicht reduziert wird, sondern nur die betroffenen Datensätze als gelöscht markiert sind, kann die datenbank unnötig groß werden. Außerdem entstehen immer mehr Lücken, die bei jedem Zugriff übersprungen werden müssen. Dieser auch von Festplatten-Partitionen bekannter Effekt nennt man Fragmentierung. Eine Komprimierung/Reparatur fügt die verstreuten Fragmente wieder nahtlos zusammen und löscht gleichzeitig die als ‚zu löschen’ markierten Bereiche. Dadurch werden die Datenbankzugriffe besonders beim Schreiben (Speichern) beschleunigt und sicherer gemacht. Deswegen sollte die Option ‚Datenbank bei Bedarf automatisch komprimieren’ immer aktiviert bleiben.
Wer seine Datenbank so richtig innig liebt, erstellt sich regelmäßig Backups. Dazu gehören die Dateien baywotch.db3., baywotch.db3.bak und baywotch.ini (bei mir alle 3 Tage). Gelegentlich kann man auch das komplette \PICS-Verzeichnis kopieren, z.Bsp. auf CD bzw. DVD brennen (bei mir einmal monatlich ... meistens...).
Wenn man diese Sicherungen von CD/DVD zurückspielt, müssen hinterher bei allen Dateien die Schreibschutz-Flags zurückgesetzt werden. Dazu geht man in der Eingabeaufforderung (Dos-Box) in das BayWotch-Verzeichnis und gibt den Befehl ‚ATTRIB –r *.* /s’ ein.
User der BayWotch Pro-Version haben ja freien Zugang zur Datenbank in Access2000. Ich habe mir zur Datenpflege einige Prüfungsabfragen erstellt, mit denen ich meine Daten schnell auf Konsistenz überprüfen kann. Diese Abfragen sind in einer separaten Datenbank enthalten, mit der die wesentlichen BayWotch-DB-Tabellen lediglich verknüpft sind. An der BayWotch-Datenbank-Struktur selbst wurde nichts geändert.
User der Light- und Standard-Version müssen für weitergehende Auswertungen und Kontrollen die Daten exportieren, um sie dann in Excel oder Access nach Import weiterzuverarbeiten. Allerdings steht hierfür die Artikelbeschreibung nicht zur Verfügung, da sie maximal 64kB pro Artikel umfassen kann.
Erkennt man bei der Analyse in Excel oder Access Datenprobleme, kann man die Artikelnummern mit Komma getrennt wieder in BayWotch in die 'Suche nach Artikelnummern' mit cut&paste einfügen und z.Bsp. online suchen und abgleichen lassen.
Wer seine Datenbank ständig durch hinzugespeicherte Datensätze vergrößert, muß auf die Access2000-Begrenzungen achten. Access2000-Datenbank dürfen maximal 2GB groß werden, jede darin enthaltene Tabelle darf 1GB nicht überschreiten. Die entscheidende Tabelle ist die mit den Artikel-Datensätzen, weshalb die 1GB-Grenze für BayWotch relevant sein dürfte. Für die meisten User gilt :
Datensatzgröße inkl. Artikelbezeichnung: 4,0-5,0kB/Artikel => ca. 225.000 Artikel maximal
Datensatzgröße ohne Artikelbezeichnung: 0,6-0,8kB/Artikel => ca. 1,5 Mio. Artikel maximal
Allerdings scheinen diese Grenzwerte nicht absolut zu sein. Dennoch sollte jeder ‚Poweruser’ die Größe der Datenbank-Datei regelmäßig überprüfen, um Schäden zu vermeiden.
11. Datenbank mit PICS-Verzeichnis abgleichen
Diese Analyse ist schon eine zeitlang her, verdeutlicht aber einige Effekte rund um ebay.
Nach ca. 14 Wochen intensiver BayWotch-Nutzung und ca. 12.000 neu hinzugekommenen Datensätzen habe ich meine Datenbank mit dem Pics-Verzeichnis verglichen und synchronisiert. Das ging nur manuell und mit viel Aufwand.
Die Ausgangssituation war :
- Entscheidend für diesen Abgleich ist das Feld 'pic_saved'. Von insgesamt 26.237 Datensätzen wiesen 24.294 'pic_saved'=true auf.
- Das Pics-Verzeichnis hatte anfangs 24.565 Dateien in 33.321 Verzeichnisse.
Beim Abgleichen habe ich folgendes festgestellt:
1. einige Bilder tauchen mehrfach (doppelt) auf, da der Verkäufer während der Artikel-Laufzeit seiner Mitgliedsnamen geändert hat. Beim nächsten Artikelabgleich wird dann das Bild unter dem neuen Namen im Pics-Verzeichnis erneut gespeichert. Der alte Pfad bleibt samt jpg erhalten.
Dadurch konnte ich 89 Dateien und nebst zugehörigen Verzeichnissen löschen.
2. Es existierten Dateien mit Nicht-jpg Endungen (gif, png, jpeg). Dies geht wohl auf die Umstellung der Artikelseiten durch ebay Mitte 2003 zurück. Hier konnte ich 182 Dateien nebst zugehörigen Verzeichnissen löschen.
3. Es traten keine leeren Namens oder Datumsverzeichnisse auf. BayWotch löscht sowohl die zugehörigen Verzeichnisse als auch die Dateien zuverlässig, wenn ein Artikel aus der Datenbank gelöscht wird.
4. Insgesamt habe ich 29 Datensäte angepaßt, in denen 'picture' und 'pic_saved'=true waren, aber kein jpg gespeichert war. Auch dies geht auf die ebay-Umstellung (siehe 2.) zurück.
5. Ich fand außerdem 45 Datensätze mit 'picture'=true und 'pic_saved'=false, die alle von ebay als ungültig gemeldet waren. Hier wurden die Artikel entweder von ebay oder vom Verkäufer vorzeitig gelöscht, bevor ich den Artikelabgleich vorgenommen hatte.
Am Ende ergab sich :
- Datenbank: 26.237 Datensätze mit 24.294 mal 'pic_saved'=true.
- Pics-Verzeichnis: 24.294 jpg-Dateien in zusammen 33.163 Verzeichnissen.
Mein Fazit aus dieser Horror-Aktion ist :
... immerhin nach drei Stunden intensiven Excel-Einsatz. Allein der Dir-Befehl mit Schreiben in eine Datei dauerte gut eine Stunde (hatte hier noch FAT32).
A. BayWotch sollte über eine Synchronisations-Routine verfügen, die die Unterschiede zwischen Datenbank und Pics-Verzeichnis bereinigt. Jede Änderung sollte dazu entweder durch den User bestätigt werden können oder automatisch ablaufen.
B. Die Anzahl der verwendeten Verzeichnisse ist im Verhältnis zu den gespeicherten jpg-Dateien erheblich zu hoch. Als weitere Aufgliederung des Pics-Verzeichnisses empfehle ich entweder nur das Startdatum oder nur den Verkäufernamen zu wählen (wahlweise bei Installation). Dadurch wird auch der Dateizugriff aus BayWotch heraus beschleunigt.
That's it for the moment...
Viel Erfolg mit BayWotch und in ebay !
-Axel
