Hallo Lutz,
bitte sei nicht enttäuscht, wenn ich trotz Deiner m.E. provozierenden Zeilen versuche, möglichst sachlich zu bleiben.
Ich habe diesen viel zitierten Schmarrn, BayWotch wäre ohne Umstellung auf API von eBay verboten worden, nie geglaubt.
Außerdem hatte ich ja Deine Zusicherung, dass Du die mündliche Erlaubnis von eBay für BayWotch mit Scraping hast.
Munnin und Schnapper beweisen übrigens putzmunter, das es sehr gut auch ohne API geht und eBay stört sich in keinster Weise daran, nicht mal am snippen.
Dir ist sicher klar, daß eine solche mündliche Zusage keinerlei verbindliche Vereinbarung darstellt, zumal sich die Ansprechpartner in einem Unternehmen wie eBay sehr schnell ändern können. Im Übrigen interessiert es mich in keinster Weise, wie andere Programme vorgehen.
Wenn Du meine "Zusicherung" zitierst, dann ist Dir beim Lesen der Mails sicher auch der Teil ins Auge gefallen, in dem ich Dir erklärte, daß ich die API seinerzeit nicht nutzen konnte, weil diese - damals noch kostenpflichtig - nur für transaktionsorientierte Applikationen sinnvoll war. Durch den Wegfall der API Nutzungsgebühren eröffneten sich jedoch völlig neue Möglichkeiten.
BayWotch ist nicht nur mein Hobby, sondern mein Job. Als Firma habe ich Ziele. Zu meinen Zielen gehört keinesfalls, Site-Scraping möglichst lange zu praktizieren. Ganz im Gegenteil: Diese Technik war ein Ressourcenfresser, Fehlerherd und Stressfaktor, den es galt, so schnell wie möglich zu ersetzen.
Es war nur Glück, daß die komplexen Funktionen von BayWotch 3.0 so lange ohne größere Einbußen verfügbar waren. Jeden Tag, jede Stunde konnte es dazu kommen, daß Teile von BayWotch oder sogar das gesamte Programmkonzept durch eine kleine, inhaltliche Änderung der eBay Webseiten zusammenbrechen. Nur ungern denke ich an die eBay Umstellung von Weihnachten 2003, wonach keine Stückzahlen bei Festpreis- und Powerauktionen mehr verfügbar waren. Für BayWotch Anwender war das eine Katastrophe! Wer dieser Technik im Zeitalter der API nachtrauert, hat nicht verstanden, daß die Scraping-Auswertung eine Zeitbombe ist. Bestes Beispiel ist die jüngste Umstellung der Artikelseiten vom 29. März: eBay zeigt bei Auktionen, deren Mindestpreis erreicht wurde, nicht mehr an, daß ursprünglich ein Mindestpreis definiert war. Wieder eine Funktion, die mit Scraping-Technik einfach verschwindet.
Insgesamt liest sich die Liste der Einschränkungen, welche sich aus der Scraping-Technik ergeben, wie ein Bug-Report:
- Anzahl Beobachter wird nicht erfasst
- eBay Motors und Live Auktionen werden nicht unterstützt
- Verkaufsoptionen (Fett, Highlight, Rahmen, Top-Gallerie, Top-Suche) bei beendeten Auktionen können nicht erkannt werden -> ungenaue Gebührenberechnung
- Die Laufzeit von Shop-Artikeln kann nicht exakt bestimmt werden (wird auf volle 30 Tage geschätzt)
- Das Merkmal 'Mindestpreis' wird nach Erreichen des Mindestpreises nicht erkannt
- Der ehemalige Sofortkaufenpreis bei Kombis, die bereits Gebote erhalten haben, kann nicht ermittelt werden
- Artikel von Verkäufern im 'Abwesenheitsmodus' können nicht eingelesen werden
- Ausländische Artikel mit Altersbeschränkung können nicht eingelesen werden
Das Ziel ist, BayWotch zu einer erfolgreichen Software zu machen. Und die Nutzung der API gehört dabei zu den wesentlichen Steps im Entwicklungsverlauf.
Du hast ohne zwingenden Grund, sondern nur aus Bequemlichkeit auf die APIs umgestellt, weil sie eben nichts kosten und die "BayWotch Gemeinschaft" muss dies mit neuen Sparpaketen und jetzt auch noch mit Überwachung bezahlen.
Ich kann mir nicht vorstellen, daß Du die gesamten Zusammenhänge der "zwingenden Gründe" bzw. meiner strategischen Entscheidungen kennst. Zumindest wäre mir nicht aufgefallen, daß Du Dein Lager neben meinem Bürostuhl aufgeschlagen hättest.
Soviel darf ich Dir verraten: Der Auslöser zur Umstellung auf die API war nicht der Wegfall der API Gebühren. Die Umstellung war zu diesem Zeitpunkt bereits im Gange!
Ab wann Beginnt denn Deiner Meinung nach eine unsachgemäße Anwendung von BayWotch, bzw. für was soll ich es sonst verwenden, wenn Daten speichern unsachgemäß ist?
Von unsachgemäßem Gebrauch spreche ich dann, wenn der Benutzer die programmeigenen Mittel umgeht, mit denen der Zugriff auf die eBay Server gesteuert werden soll, z.B. das Aufbohren des 6-Kanal-Limits durch Betrieb mehrerer Programminstanzen.
Das Speichern der Daten ist erlaubt.
Ich kann Dir nur sagen, dass eine Datenmenge größer als 2 Millionen Datensätzen auf dem SQL-Server keinen Sinn macht. Die Daten sind zwar da, aber BayWotch ist völlig überfordert damit zu arbeiten, hängt sich auf und man kommt nur noch über den Task-Manager raus.
Ich habe Enterprise Kunden, die ein vielfaches an Daten verwalten. Probleme dieser Art sind mir von dort nicht zu Ohren gekommen. Ich selber habe (mit bescheidenen Hardwaremitteln) einmal testweise mit 10 Mio. Daten gespielt. Programmabstürze habe ich dabei nicht festgestellt.
Gerne versuche ich, zu helfen, wo ich kann.
Das wollte ich Dir eigentlich erst nach Deinem Urlaub erklären. Unter 8.4 steht da was von Gewährleistungspflicht und Nacherfüllung durch Nachbesserung, wenn ein Mangel vom Kunden nicht genehmigt wird.
Auf welchen Mangel beziehst Du Dich?
