Statement zum Internet-Dilemma

Hallo liebe LAN-Party-Freunde,

was viele sicherlich interessiert, warum kam es zur Internetstörung und warum dauerte die Behebung so lange. Dazu muss man etwas ausholen, welches ihr im Langtext nachlesen könnt.

 

Zur CXT 23 bekamen wir von Unitymedia zwei neue Modems gesponsort. Jedes dieser Modems kann theoretisch 450 MBit/s downstream und 40 MBit upstream. Bei den Modems wurde zudem der Bridge-Mode aktiviert. Dies ist wichtig um den internen Router zum umgehen, da dieser nicht genügend Speicher hat um die vielen gleichzeitigen Verbindungen aufrecht zu erhalten.

Ansonsten entsprach das Setup dem der vergangenen Jahren. Die neuen Modems liefen auf unserer drei-tägigen Probe-LAN anstandslos. Ebenso gab es seit dem Aufbau am Donnerstag keinerlei Probleme.

Etwa eine Stunde nach Einlassbeginn hatten wir etwa 550 MBit im downstream über beide Modems zusammen. Gegen 19 Uhr gab es allerdings auf Modem-1 einen massiven Einbruch an Performance und es kam folgedessen zu Paketverlusten. Etwa 15 Minuten später zeigte Modem-2 die gleichen Symptome.

Nach einem zeitlich versetzten Neustart der Modems liefen diese etwa 10-15 Minuten stabil und die gleichen Symptome begannen erneut, wieder zeitlich versetzt, aufzutreten. Der Fehler war somit reproduzierbar und kein Einzelphänomen. Ein Paketmitschnitt zeigte, dass es Probleme gab neue Verbindungen aufzubauen. Somit drängte sich recht schnell der Verdacht auf, dass die neuen Modems wohl nur einen Bridge-Mode simulieren und wir den internen Speicher der Modems aufbrauchen und überlasten.

Als "Hotfix" haben wir im Internet eine Firewall auf unserem Root-Server aufgesetzt und sämtlichen Traffic über einen GRE-Tunnel dort hin geschickt. Somit konnten wir die Verbindungsanzahl auf unseren Modems reduzieren auf nämlich genau eine je Modem. Somit wollten wir die Verbindungsprobleme umgehen, da die Verbindungen dann auf unserer Firewall auf unserem Root-Server anfallen und dieser genügend Arbeitsspeicher hat um dies zu handlen. Im ersten Moment schien diese Lösung zu funktionieren. Es konnten wieder Verbindungen aufgebaut werden und es kam zu keinen Paketverlusten mehr. Leider verschlechterten sich durch diese Maßnahme stätig die Latenz. Der Grund dafür ist noch unbekannt und konnte während der LAN nicht erforscht werden. Ein Neustart der Modems hat hier das Problem wieder nur temporär gelöst.

Als nächsten Schritt beschlossen wir daher unsere alten Modems in Betrieb zu nehmen. Diese laufen das ganze Jahr über bei uns und haben ihre Tauglichkeit bereits mehrfach auf den vergangenen CXTs unter Beweis gestellt. Als wir die Modems jedoch ans Netz hingen, bekamen beide Modems ein Update, welches wiederum den dringen benötigten Brdige-Mode deaktivierte. Wir mussten also erstmal den Bridge-Mode wieder aktivieren lassen. Doch die Probleme rissen nicht ab...

Der Internet-Zugang befindet sich rund 700m von der Wagbachhalle entfernt. Wir legen jedes Jahr extra für die LAN-Party mehrere Glasfaserkabel dort hin. Dazu stellen wir am Anfang und am Ende der Kabel einen Switch als Medienkonverter hin (Kupfer auf Glasfaser), auch dieses Setup ist jahrelang erprobt.

Nach dem Update und dem reaktivieren des Brdige-Modes haben die Modems jedoch die Kommunikation mit dem Switch verweigert. Dies ist ein Problem das wir von deutlich älteren Modems kennen. Egal was wir auch versuchten, nachdem wir eine IP hatten, schickten die Modems keine Daten mehr. Wir waren also auf Hilfe bzw. Ersatz angewiesen.

Zu diesem Zeitpunkt war es bereits samstagmorgens 2 Uhr. Ihr könnt euch sicherlich vorstellen, dass es um diese Zeit schwer bzw. unmöglich ist, noch auf schnelle Hilfe in der Hotline zu hoffen. Ersatz stand uns erst ab Samstagmorgen 8 Uhr bereit. Wir tauschten die Modems erneut und waren gegen 9:30 wieder am Netz.

Ab da lief das Internet zwar, aber wir sahen trotzdem immer wieder in unregelmäßigen Abständen dass auf beiden Modems für etwa 30 Sekunden keine Daten ankamen, was immer wieder zu kleineren Ausfällen sorgte. Wir konnten jedoch sicher unsere Modems und unser Setup als Verursacher ausschließen. Die Fehler kamen vom CMTS (Cable Modem Termination System). Hier gab es am Mittwoch vor der CXT 23 einen mehrstündigen Ausfall mit Wartungsfenster. Offensichtlich wurden dort noch nicht alle Probleme behoben.

Wir haben alles in unserer Macht stehende getan, das Problem schnellstmöglich zu beheben und sind genauso enttäuscht und verärgt wie ihr.

Das Technik-Team schaut auf ein anstregendes Wochenende zurück. Wir analysieren nun alles nochmal und überlegen uns ein neues Konzept und zusätzliche Testszenarien um so einen Vorfall zukünftig zu vermeiden. Unsere Bestrebung ist aus diesem Vorfall zu lernen und es nächstes mal besser zu machen.

 

Euer CXT-Team.



verfasst am 16.05.2019, 12:07 Uhr
verfasst am 16.05.2019, 13:43 Uhr

macht euch kein kopf ,klar war ich ein wenig entäuscht aber ich habe es auch euch speziel deto angesehen das es extremst an euch genagt hat aber ihr habt euch mühe gegeben es hinzubekommen , ich fand die Lan trotzdem wieder Geil und komme nächstes jahr gerne wieder :)

verfasst am 16.05.2019, 16:17 Uhr

Danke für die ausführliche Info! Ist doch ein großes Aha-Erlebnis zu wissen was Sache war.

Das während der LAN zu erfahren wär natürlich besser gewesen. Diese kurzen "sind dran" oder so Meldungen sind da im Vergleich Kappes.

verfasst am 16.05.2019, 17:00 Uhr

ja ok hört sich schlimm an,

 

aber nun zu den ernsthaften problemen:  ihr braucht mehr ladekapazitäten für den hopfenblütentee,  nach der 3. bestellung reichte die kühlleistung nicht mehr aus!! 

könnte an der fehlenden rgb beleuchtung liegen oder ihr braucht ne gscheite kompressorkühlung XDDDD

verfasst am 16.05.2019, 21:23 Uhr

Technische Probleme kommen nunmal vor..sind wir ja aus vorherigen Jahren zumindest teilweise gewöhnt.

für mich was dann ab samstag einfach ärgerlich, dass das internet zwar lief aber die Server dann nicht mehr.

Ich fands traurig, dass 450 Besucher auf der kompletten Lan mit nem zweizeiler auf der Leinwand abgespeist wurden. Anscheinend hatte da keiner mal die Eier dazu sich auf die bühne zu stellen und mal eben zu erklären was los ist....somit war man von freitags 18 uhr bis samstags 10 uhr durchgehend gefrustet weil nichts lief und man null infos hatte ob überhaupt dran gearbeitet wird bzw wann es vermutlich wieder gehen soll.

Großes Lob an die 2 Jungs vom Turnier-Management ( wenn man auf die bühne schaut links an den tischen( der geile typ mit den 12-meter dreads und sein nebenmann)). Die beiden haben die serverprobleme die auftraten jedes mal in minuten beseitigt sodass man ab samstags nachmittags wenigstens seine turniergames machen konnte. ihr 2 habt uns wenigstens den samstag gerettet!!

 

ich bleib euch trotzdem treu, catering, Bar und alles drumrum war mal wieder kaum zu übertreffen!

hoffen wir, dass es nächstes jahr besser läuft, ich bin sicher ihr werdet alles dafür tun.

 

 

verfasst am 16.05.2019, 22:05 Uhr

@Tastaturensohn: Die CS:GO Server liefen wegen den gleichen Problemen nicht. Leider benötigen auch die Dedicated Server durchgehend Internet. Auch das haben wir erst viel viel später herausgefunden. Da die Info aber auch mich zu spät erreicht hat war der drops dann schon gelutscht.

Es hat schlicht einfach niemand etwas zu den CS:GO Servern intern vermeldet, dass man es hätte an den Beamer oder ins Intranet schreiben hätte können.

Zu den "Eiern haben"...  im Intranet und Discord wurde regelmäßig gepostet das wir an diversen Teststellungen und Problemlösungsversuchen dran sind und das Problem am beheben sind. Jetzt im nachhinein zu behaupten wir hätten nicht informiert stimmt schlicht und einfach nicht.

Wir waren zu diesen Zeitpunkten nicht in der Lage einen genauen Status zu vermelden, da ja auch keiner der Lösungsversuche geklappt hat. Natürlich wollen wir ein Lösungsversuch dann auch erstmal eine Zeitlang beobachten. Denn wenn wir uns nicht sicher sind das es klappt bringt es auch nichts euch zu sagen das es möglicherweise wieder tut.

 

@Dago, siehe Kommentar hier, während der LAN war so ein Status vermelden einfach nicht möglich, sonst hätten wir das getan.

verfasst am 16.05.2019, 23:02 Uhr

So hatte das gamestool tollen Zulauf und es wurden gefühlt mehr offlinegames gezockt. Gestört hat's nur weil man nicht googlen konnte wie man die alten Spiele ans Laufen bringt :D

Infos gab's tatsächlich im intranet, das hat schon gepasst. Die Meldung nachts fand ich ungünstig - nicht wörtlich zitiert " die Leute vom Netzwerk sind müde und gehen schlafen, machen morgen weiter". Ja ich weiss sind alles ehrenamtliche Leute, donnerstag schon geschafft und man kann es zwar verstehen aber ich fand's ne komische Massage. "Heute kein Techniker erreichbar" wäre vllt besser gewesen

Hätte hätte fahradkette wir haben es überlebt, ihr seid um Jahre gealtert und das nächste mal klappt es auch wieder mit dem Internet ;)

Wo bleibt die feedback-mail? Wir sind alle alt ich vergess in den nächsten Tagen sicher dass ich bei der cxt war, wie soll ich dann Feedback geben? :D

verfasst am 17.05.2019, 00:28 Uhr

Erst wird uns vorgeworfen das wir mit Infos geizen. Dann schreiben wir was Phase ist das eben die Mannschaft total am Limit ist und es ist auch nicht recht. Ihr machts uns nicht einfach ;-)

 

Feedback Umfrage ging gerade raus.

Kommentar verfassen

Du musst eingeloggt sein um ein Kommentar verfassen zu können
Angemeldete Personen: 559
davon Bezahlt: 457
Plätze insgesamt: 463
Letztes Update: 09.05.2019, 10:50
99%