Test: Wieviel Produkte verkraftet ein Siquando Pro Shop

Auf meine Frage vor 14 Tagen in die Runde bezüglich der noch praktikablen Artikel- bzw. Produkteanzahl in einen Siquando-Pro Shop folgte bisher keine Antwort.
Eine direkte Anfrage diesbezüglich bei Siquando ergab - "keine Grenze"

Also habe ich heute beschlossen die Grenzen selbst auszuloten und werde die Tests und Ergebnisse hier dokumentieren.

Nun sollte man aber wissen, das in der Siquando Datenbank für jede Eigenschaft eines Produktes ein extra Datensatz angelegt wird.(Das ist sehr ungewöhnlich, hat jedoch auch Vorteile) Das wiederum bedeutet, das alleine bei 30 Eigenschaften die über die API exportiert werden können, folglich 30 Zeilen pro Produkt in die Haupttabelle gespeichert sind. Gehen wir also von diesen 30 Eigenschaften aus, ohne die Dunkelziffer zu kennen, bedeuten diese 200.000 Artikel sage und schreibe
mindestens 6 Millionen Datensätze in der Haupttabelle der Datenbank. Diese 6 Millionen Datensätze müssen zur Anzeige eines einzigen Produktes alle geprüft und selectiert werden.

Ich bin gespannt.

Meine lokale Testdatenbank umfasst 200.000 Artikel aus dem Bereich Modellbahnen und Spielwaren.

Testplanung:
Die Hauptgruppe Modellbahnen und Spielwaren werde ich etappenweise mit Untergruppen füllen.
In den Gruppenamen schreibe ich die Anzahl der Artikel.
Diese Untergruppen werden dabei auch 10.000 Artikel und mehr beinhalten.
Es werden keine Produktbilder verwendet, um die reine Datenbankperformance prüfen zu können.

Dabei werde ich Ladezeiten, Anpassung der Lagerbestände, Preisänderungen usw. testen

Der Shop ist zwar öffentlich aber geschützt.
Interessenten, die es gern live verfolgen möchten, sende ich gern auf Anfrage eine PN mit Adresse und Zugangsdaten.

1. Etappenziel erreicht.

Die Warengruppe Modellbahn und Spielwaren in meinem Testshop beinhaltet jetzt 10.095 Produkte aufgeteilt auf 6 Untergruppen, nach Anzahl der Produkte sortiert und benannt.

Alle Produkte sind mit meinem lokalen System verbunden. Abgleiche der Lagerbestände und Preisanpassungen können einzeln, nach selectierten Gruppen oder für alle Artikel einer Warengruppe ausgeführt werden.

Jeden Schritt ab dem Import in den Siquandoshop dokumentiere ich mit der Stoppuhr, um prüfen zu können, inwieweit sich die Verarbeitungsgeschwindigkeit mit der wachsenden Produktanzahl verändert.

Bestimmte Grenzen zeigen sich bereits im Web, wie auch in der Verwaltung.
z.B. fehlt bei Siquando der übliche Trenner (weitere Produkte anzeigen) bei der Ansicht der Produktliste im Web. Es werden immer alle Produkte geladen, was bei 5708 Produkten in einer Warengruppe 1:33 Min dauert (ohne Bilder), bis auch die Lieferbarkeit in der Ansicht aktualisiert ist.
In der Verwaltung dauert die Übertragung neuer Preise für alle 5708 Artikel stolze 14:44 Minuten. Der Vorgang läuft zwar im Hintergrund und ich kann nebenher z.B. diesen Bericht schreiben, doch es ergeben sich bereits gewisse Einschränkungen für den weiteren Ablauf.

So werde ich z.B. darauf verzichten, die größte Warengruppe mit über 100.000 Artikel in den Shop zu importieren.
Alleine dieser Vorgang dauert, hochgerechnet auf Basis der bisherigen Messungen ca. 4 Stunden. Dazu kommen die nicht praktikablen Zeiten für Verwaltung und Webansicht. Das macht also wenig Sinn.

Es stehen aber genug andere Warengruppen für den Import zur Verfügung. Es geht weiter.

Hallo Andreas

Toll das Du mal versucht auszuloten wie Leistungsfähig proShop6 ist.

Für uns nicht IT-Spezialisten (Laien) wäre es interessant zu erfahren, ob Du den Test auf einem eigenem Webserver oder bei einem Provider fährst. Die meisten von uns haben Ihre Webseiten Shops bei einem Provider laufen. Dies dann auch noch möglichst kostengünstig.

Hallo Rene,

der Shop läuft auf unserem eigenem Web-Server, auf dem neben unseren Testumgebungen auch unsere öffentlichen Seiten gehostet werden.

Wenn dieser Test durch ist, werde ich zum Vergleich noch einen Test bei einem Provider machen.  

Das zweite Etappenziel ist erreicht - 32.000 Produkte.

Die Leistung der Datenbank bei Datenbereitstellung, also die Anzahl der verarbeiteten Datensätze pro Sekunde verändert sich bisher scheinbar nicht.Ich werde die Leistungsmessungen hier noch im Detail dokumentieren. Warten wir mal die 3. Etappe ab.

Bestimmte Einschränkungen gibt es aber schon. Die Warngruppe mit den 10.000 Artikeln verursacht auf Grund der Datenmenge einen Timeout bei der Anzeige im Webbrowser, was auch vollkommen normal ist.

Die Warengruppe Miniaturfahrzeuge mit 7957 Produkten lässt sich noch öffnen. Die Geländeausstattung HO (10231 Produkte) erzeugt im ersten Versuch oben benannten Fehler 505 Timeout. Beim zweiten Versuch werden dann die bereits im Cache geladenen Produkte angezeigt und es wird noch der Rest nachgeladen.

Weiterhin offenbart sich bei mehr als 50 Produkten in einer Warengruppe ein Problem für den Benutzer. Der Shopaufmacher bietet zwar die Konfiguration zu Anzeige von z.B. nur jedes 2. Produkt oder z.B. max. 20 Produkte. Dem Shopbenutzer, also dem zukünftigen Umsatzbringer stehen nicht die typischen Filter oder Sortiermöglichkeiten zur Verfügung, also z.B. die Selektion nach nur lieferbaren Produkten, Sortierung nach dem Preis, nach Beliebtheit oder nach dem Alphabet. Diese Problematik gehört jedoch in einen anderen Thread. Hier soll es nur um Leistung des Datenbanksystems und um das Handling dieser Datenmengen gehen.

Mein Angebot steht nach wie vor, wer sich selbst einen Eindruck verschaffen will, einfach PN schicken.

Ausblick zur 3. Etappe.

Ich möchte eine Warengruppe mit 100.000 Artikeln importieren. Das muss ich allerdings direkt auf dem Server machen, weil schon bei der Importvorbereitung über das Web (von zu Hause aus) ein Abbruch auf Grund Timeout folgte.

Zuerst vorweg zur Beantwortung meiner zu Beginn gestellten Frage.

Ja, die Siquando-Datenbank verkraftet 200.000 Datensätze.

Ich habe allerdings nach 131.089 Datensätzen den Test beendet, weil das Handling und die damit sich in die Länge ziehenden Testreihen für die Leistungstests sehr viel Zeit erfordern. Am Gesamtergebnis würden sich durch noch mehr Datensätze auch keinen wesentlichen Veränderungen mehr ergeben.

Die wichtigste Frage zur Geschwindigkeit der Datenbereitstellung konnte ich klären.

Ich habe am Ende mit einigen Zwischenstufen folgendes verglichen.

Diesen Datenbankstand - rund 10.000 Produkte (Produkttabelleninhalt 316.949 Datensätze)
mit diesen Datenbankstand: rund 130.000 Produkte (Produkttabelleninhalt 4.047.575 Datensätze)

Hier mal der interessanteste Vergleich:
Wieviel Produkte können pro Sekunde angezeigt oder verarbeitet werden?

Dabei zeigten sich nachfolgende Veränderungen:

Auflistung der Produkte in der Siquando Shopverwaltung: 400 zu 200 Produkte pro Sekunde
Auflistung im Webshop (ohne Produktbild): 60 zu 50 Produkte pro Sekunde
Auflistung der Produkte in der lokalen X1 Shopverwaltung: 180 zu 110 Produkte pro Sekunde
Bestandsaktualisierung zwischen lokaler und Onlinedatenbank: 8 zu 6 Produkte pro Sekunde (hier ist die Siquando-API die eigentliche Bremse)
Übertragung einer Massenpreisänderung: 8 zu 6 Produkte pro Sekunde (hier ist die Siquando-API die eigentliche Bremse)

Die Verzögerung fällt damit deutlich geringer aus, als ich es erwartet hatte.

Was bedeutet das in der Praxis:

200 Produkte pro Warengruppe wären also kein Problem, wenn der Shopaufmacher über eine Trennerfunktion "Weitere Produkte laden" verfügen würde.

Gehen wir ohne Trenner von maximal 50 Produkten pro Warengruppe aus und ca. 100 Shop-Warengruppen, über die man noch den Überblick behalten könnte, lassen sich im Webshop folglich 5.000 Produkte darstellen. Das sollte wohl für die allermeisten Shopbetreiber ausreichen.

In der lokalen X1-Verwaltung der Shop-Warengruppen sind auch 1.000 Produkte in einer Gruppe kein Problem. Das ist dann von Vorteil, wenn die Produkte dieser Gruppe nur per Suchfunktion im Webshop erreichbar sein sollen (z.B. bei Ersatzteilen über die Teilenummer). In diesem Fall könnten dann auch 30.000 Produkte verteilt auf vielleicht 50 – 100 Warengruppen effektiv lokal verwaltet werden.

Noch ein wichtiger Hinweis zu Schluss:
Keine Importe von mehr als 10.000 Produkten in eine Warengruppe! Das verkraftet die Performance der Datenbank dann doch nicht. Diese Warengruppe verursacht in jeder weiteren Bearbeitung einen Timeout, zeigt als kein Produkt mehr an. Löschen ist ebenfalls nicht möglich.

Ich werde jetzt also einen neuen Testshop aufsetzen müssen.

Hallo Anreas
Danke für sie Testergebnisse. Ist meiner Meinung nach doch recht spannend, was man für wenig Geld, welches die Software kostet, effektiv erhält

Hallo Rene,

wie weiter oben auf Deine Frage in Betrag #3 versprochen, habe ich einen Test auf einen typischen Kundenserver ausgeführt.

Nach ein paar Startschwierigkeiten und nach Konfiguration der Sicherheitsregeln des Webservers, konnte ich den Test ausführen. Bei diesem Test hatte ich nur 1500 Produkte im Shop, da sich in den vorhergehenden Tests gezeigt hat, diese Anzahl nur wenig Einfluß auf den Geschwindigkeit hat.

Dabei kam ich zu folgendem Ergebnis:

Der Aufruf im Netz ist vergleichbar, die Zeiten unterscheiden sich kaum bei max. 500 Produkten pro Warengruppe. Aber die Verarbeitungsgeschwindigkeit über die Siquando-API bei Preis- und Bestandsaktualisierungen ist von 6 auf 4 Produkte pro Sekunde gefallen.

Also 500 Produkte z.B. mit neuen Preisen versehen dauert auf diesem Server 2:10 min, auf unserem Server 1:30 min. 

Hallo Andreas

Danke für Deine weiteren Tests.

Wenn ich Deine Aussage richtig verstehe, hängt doch einiges vom richtigen Provider und dem gehosteten Produkt ab. Weiter natürlich auch von uns Shop Betreibern und unseren Ansprüchen.
Nach Deinen ausführlichen Tests wage ich die Aussage, dass man mit der Software von Siquando ein gutes Produkt für wenig Geld erhält. Nach kurzer Einarbeitungszeit kann praktisch jeder seine eigene Webpräsenz ohne Webdesigner (welche nicht unbedingt zum Schnäppchenpreis arbeiten) erstellen.
"Liebe Webdesigner, nicht falsch verstehen, auch Ihr müsst Geld verdienen"

Klar es gibt immer was Besseres und wir Menschen neigen mal dazu immer zuerst das Schlechte im Produkt zu suchen, bevor wir uns aufmachen das gute zu finden. Als Shop Betreiber gehöre, ich auch dazu, da ich mich auch immer zuerst frage, warum wurde das nicht integriert, das fehlt auch noch und, und...

Aber wie sagt man so schön "Der Mensch, der allen Leuten recht getan, ist vor seiner Geburt gestorben" Ich denke, das gilt auch für Softwareentwickler

Hallo Rene,

die Auswahl des Providers ist nach meinen Erfahrungen nicht auschlaggebend, sondern das Leistungspaket ist entscheidend.
Die Frage ist immer, wieviel CPU-Leistung und RAM steht meinem Web zur Verfügung.
Teile ich mir mit 100 anderen Nutzern einen Webserver und bezahle dafür nur 1 Euro pro Monat oder ich teile mir die Leistung nur mit 10 anderen Nutzern, dafür jedoch für einen etwas höheren monatlichen Betrag. Mein Testwebserver bei einem Hostingdienstleister kostet 6,99 Euro Brutto pro Monat, nur mal so als Richtwert.

Ich persönlich halte den Siquando Pro Shop für ein sehr gutes Softwareprodukt. Leider hat es den Anschein, dass sich das Unternehmen versteckt vor der Welt da draußen.
Ohne Werbung und Schnittstellen nach außen bin ich ganz für mich allein. Warum?. Wer sich nicht zufällig an Data Becker erinnert und "Data Becker Nachfolger" als Suchbegriff bei Google eingibt, lernt Siquando nicht kennen.

Wir sind überzeugt von dem Produkt und hoffen die Verbreitung mit unserer neuen Software zu unterstützen. Natürlich möchten wir uns auch einen neuen Markt erschließen, ganz klar. Ich habe ich mich also bei der Afono GmbH stark gemacht, um für eine spezialisierte Auftragsverwaltung mit Kassenanbindung ausreichend Programmierkapazitäten zu bekommen. Die geplanten Kapazitäten sind lange aufgebraucht. Siquando hat es uns nicht leicht gemacht.
Wir haben nicht aufgegeben und trotzdem weiter gemacht. Jetzt sind wir fast fertig und stehen in den Startlöchern.

PS:
Ich bin nur ein Hobbyprogrammierer. Davon profitiert maximal ein kleiner Eigenbauroboter, der durch die Wohnung irrt.
Hauptberuflich betreue ich die Software, die meine Damen und Herren Softwareentwickler so den ganzen Tag programmieren.
Wenn es mir dann noch gelingt, ausreichend zahlende Abnehmer zu finden, das wir alle davon leben können, ist alles in bester Ordnung.

Hallo Andreas
ich denke schon das die Auswahl des Providers nebst der Leistung wichtig ist.

Wenn Du Pech hast, erfüllt der Provider die Mindest-Systemvoraussetzungen Server nicht. So sollte gemäss Siquando ja mindestens ein,  

"Apache Webserver mit FTP-, FTPS-, SFTP- oder Dateisystem-Zugang (direkt oder über Windows-Netzwerk, SMB)"

unterstützt werden.

Dies war bei meinem damaligen Provider trotz Nachfrage und Bestätigung nicht der Fall. Im Nachgang stellte sich heraus, dass zwar ein Top-Server verwendet wird, aber die Voraussetzungen von Siquando nicht erfüllt waren. Das Resultat war bei meinem Shop fast doppelt so hohe Ladezeit der Webseite. Tja und wenn der Kunde zu lange warten muss, ist er bei der Konkurrenz

Bei der Leistung bin ich voll bei Dir. Man kann keine "Eierlegende Wollmilchsau" erwarten, wenn man nicht bereit ist in die Leistung zu investieren. Aber das muss jeder für sich entscheiden

Hallo Rene,

ja natürlich fließen die Vorgaben von Siquando bei der Auswahl mit ein. Ich meinte, das sich kein spezieller Provider anbietet, sondern jeder entsprechend der eigenen Erfahrungen entscheiden kann, ob er sich einen der Großen oder lieber einen kleineren Provider sucht.
Ich habe mich für einen kleineren entschieden.