Migros plant Lasttests vor dem Start neuer Werbekampagnen für den Einzelhandel
Seit 2021 unterstützen wir unsere Partner*innen von Migros durch gezielte Last- und Performancetests.
Über Migros
Migros ist eines der 50 größten Handelsunternehmen weltweit. Die Genossenschaft bietet Supermärkte, Fachmärkte und diverse Dienstleistungen an. Das Unternehmen setzt sich für bessere Standards in der Lebensmittelbranche ein. Daher wird auf höchste Qualitätsstandards geachtet – nicht zuletzt bei den Digitalprodukten der Migros.
IN KÜRZE
QA-Ziele
- Regelmäßige Lasttests vor erhöhten Systemzugriffen (z.B. durch Kampagnen)
- Einblicke ins System und zum User-Verhalten
IN KÜRZE
Ergebnisse
- Optimierte Ladezeiten
- Gewissheit eines funktionierenden Systems insbesondere vor Kampagnenstart
Das Projekt
Projekttyp
Web-Testing
Branche
Einzelhandel
Servicetyp
Automatisiertes Testing
QA-Services
Last- und Performance Testing
Projekttyp
Consulting
Servicetyp
QA-Beratung
QA-Services
QA-Analyse, Maturity Assessment, Strategie & Maßnahmen-planung
Genutzte Plattformen
Jira, Confluence
Branche
Einzelhandel
Herausforderung
Als einer der führenden Betreiber für Super- und Fachmärkte in der Schweiz setzt Migros groß angelegte Werbekampagnen für Kund*innen auf, insbesondere zu saisonalen Anlässen. Im Schnitt muss das System der Migros Webseiten einmal monatlich geprüft werden, um Systemausfälle zu vermeiden.
Ziele und
Testfrequenz
Das gemeinsame Ziel: Mithilfe von Lasttests soll herausgearbeitet werden, wo nachgesteuert werden – also Last anders verteilt – werden muss.
Für die regelmäßige Schaltung von Werbeaktionen bieten Lasttest einen guten Anhaltspunkt zur User Experience. Hierzu stehen wir mit unseren Partner*innen im regelmäßigen Austausch und führen im Schnitt einen monatlichen Lasttest durch. Die Tests auf Belastung der Server sind insbesondere bei Aktionen entscheidend, um möglichst reale Erwartungen zum User-Verhalten zu testen.
Für sie Stakeholder bieten Lasttests die Möglichkeit, live mit unseren Expert*innen den Test mitzuverfolgen. Das unterscheidet diese Variante von vielen anderen Testmethoden. Das Gespräch und die Bewertung der Ergebnisse im gemeinsamen Austausch fördern effizient die anschließenden Entwicklungsmaßnahmen.
„Die professionelle Unterstützung von Appmatics im Testbereich, sichert uns eine optimale Performance und Erfolg unserer digitalen Kampagnen und Promotionen."
Leiterin Digital Campaigning & Promotions
Testablauf
Das Fallbeispiel: Die Migros Onlinetheke. Eine saisonale Kampagne der Migros für Produkte zur Grillsaison.
1) Codierung & Timing: Für die Migros Onlinetheke wurden die Lasttests ca. 2 Wochen vor Go-Live der Kampagne geschrieben. Das entspricht der Durchschnittszeit unserer Lasttets, die in der Regel 2 bis 3 Wochen vor einem Go-Live durchgeführt werden.
Auf Grundlage der interne Migros Kampagnenauswertungen wurde ein Richtwert von 10.000 bis 20.000 Usern pro Stunde für Spitzenzeiten festgelegt. Anhand des Wertes schreiben wir die Tests. Dabei wird umgerechnet, wie viele User pro Sekunde erwartet werden. Anhand dieses Wertes wird zunächst in der Rampup-Phase getestet. Dabei wird ein Zielwert für die Last festgelegt, der über die Dauer beibehalten werden soll.
2) Teststart & Testumgebung: Nach Abschluss des Codierens beginnt der Lasttest. Bei dem Test sind unsere Migros Partner*innen anwesend und verfolgen den Testablauf.
3) Tracking & Belastungsgrenzen: Während der Testdurchführung übernehmen unsere Appmatics Expert*innen das Monitoring aus User-Perspektive. Parallel dazu schalten sich die Entwickler*innen von Migros hinzu und tracken die Schwankungen im System. Dabei werden verschiedene Belastungsgrenzen durchlaufen.
4) Analyse & Fehlerbehebung: Bei auftretenden Schwankungen außerhalb der vorher festgelegten Grenzen werden diese besprochen und analysiert. Häufige Fehler liegen z.B. an der Logik des Systems oder an der Platzierung von Elementen. Während der Analyse entwickeln wir einen Maßnahmenplan zur Verbesserung der Seitenperformance. Das Dev-Team übernimmt die Anpassungen. In diesem Zeitraum stehen wir in engem Austausch. Übertragene Konfigurationen im Code werden durch uns nachgetestet. So können unsere Partner*innen sicherstellen, dass die behobenen Fehler weitere unerwünschte Folgen ausschließen.
5) Erneuter Lasttest: Ca. nach einer Woche erfolgt ein weiterer Lasttest in großer Runde, um sicherzustellen, ob das gewünschte Ergebnis erreicht wurde. Im Fall der Migros Onlinetheke konnten bereits nach dem ersten Lasttest alle nötigen Anpassungen eingeleitet werden.
Fazit
Ziel des Lasttests war es sicherzustellen, dass bei Go-Live der Werbekampagne zur Online-Theke der erwartete Traffic vom System unterstützt wird. Das gewünschte Ergebnis: Ein uneingeschränktes Kauferlebnis für die Kund*innen, unabhängig von der Serverlast.
Bei der Migros Online-Theke wurde eine Belastungsgrenze von 400 % des Nominalwerts festgelegt. Diese galt es zu testen, um zu sehen, wie sich das System hierzu verhält.
Ein entscheidender Bestandteil der Lasttest-Cases sind Szenarien, die das Verhalten der User realitätsnah spiegeln. Die häufigsten Aktionen der User werden eingebaut, gewichtet und mit Karenzzeiten belegt. Durch dieses Vorgehen wird die Infrastruktur des Systems maximal gereizt.
Lasttests zählen zu den automatisierten Testverfahren. Doch an diesem Beispiel wird klar, dass auch hier stets ein Anspruch auf einen möglichst hohen Realitätsbezug besteht.
Für die Migros Online-Theke wurden vier Szenarien festgelegt. Jeder User im Lasttest wird einem Szenario zugeteilt und gewichtet. Die Szenarien fließen also unmittelbar in den Lasttest ein und werden in ihrer Auswertung getrackt.
Im Fall der Migros Online-Theke war das Ergebnis der Seitenperformance sehr responsiv und es traten lediglich kleinere Konfigurationsprobleme auf. Getestet wurden u.a. mehrere Tätigkeiten einzelner User. Bei diesen Konfigurationsstellen traten Latenzabweichungen auf, die anhand der Testergebnisse behoben werden konnten. Nach den Anpassungen der Lasttest Ergebnisse konnte die Kampagne der Online-Theke wie geplant starten.
Weitere Case Studies
AGILE TESTING
QA-Consulting für den internationalen Handel und soweiter
ACCESSIBILITY TESTING
BVG setzt auf Usability Tests zur Überprüfung der Barrierefreiheit
MANUELLES TESTING
Eurowings sichert die Qualität für Reisen & Buchungen durch konstantes Testing
Kontaktiere unser Team
Du hast Fragen zu dem Projekt oder deiner eigenen QA-Herausforderung? Unser Team freut sich auf deine Nachricht.