Infos zur Downtime …


Für diejenigen die wissen wollen warum der Dienst mit einer längeren Downtime “gesegnet” war, hier ein kleiner Auszug 😉

Begonnen hatte der “Spaß” mit der Aktualisierung des SSL Zertifikates am 10.12.2020.
Da ich den Dienst ungern tagsüber durchstarte, hatte ich den Restart auf Freitag gesetzt. Leider spielt das Leben nicht immer mit – und somit kam ich erst Samstag Abend gegen 21 Uhr (danke für die Hinweise) dazu, den Dienst mit dem korrekten SSL Zertifikat durchzustarten.

Um den Neustart gleich für ein Modulupdate zu nutzen, wurde hier das Prosody Community Modules Repo aktualisiert und der Dienst restartet.
Da für mich der Neustart erstmal sauber verlief (Monitoring grün und Clients verbunden), war das Thema vorerst durch.

Da das Modul für TURN/STUN nicht sauber lief (danke für das Feedback!), wurde am Coturn Dienst und im Prosody der Fehler analysiert und bereinigt. Leider verlief der Neustart hier nun nicht mehr reibungslos – die S2S Verbindungen waren ausgehend nicht mehr möglich. Nach weiteren Analysen/Troubleshooting liefen die S2S Verbindungen, aber die CPU Last des Dienstes schwankte im 90%+ Bereich. Durch die hohe CPU Last und die extrem langsame Abarbeitung von Anfragen konnte der Dienst nur eingeschränkt genutzt werden.

Durch Unterstützung vom Prosody Team konnte das Problem letztendlich (und gegen Spätmitternacht) auf PEP als Verursacher eingegrenzt werden.
Da wir für PEP und MAM keine Datenbanken verwenden, konnten die Anfragen nicht schnell genug ausgeliefert werden.
Durch eine Migration der PEP Daten in eine SQL Datenbank und die Umlagerung der MAM Daten in die selbige, konnte der Dienst heute morgen (16.12.2020) wieder sauber starten und alle Clients in gewohnter Geschwindigkeit bedienen.

Mein Dank geht hier nochmal an das Prosody Team und Mattj der sich zwecks Debug und Analyse bis spät in die Nacht dem Problem gewidmet hat.

gruß dev

 

 

2 Gedanken zu „Infos zur Downtime …

  1. Auch von mir ein herzliches Dankeschön für das Angagement. Zugegeben – es war schon ärgerlich. Bin selber Betreiber eines (kleinen) Servers, natürlich ehrenamtlich, kenne ich zu gut diese Probleme. Hatte den Ausfall mit einem Lächeln hingenommen 😃 Danke noch mal und für das ganze Team wünsche ich schöne Festtage ubd ein gesundes neues Jahr. Grüsse Utsch

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.