Annonce

#1 Maintenances Serveurs » [19/02/2020] Incident SSL » 2020-02-19 18:52:28

o2switch
Réponses : 0

Bonjour,

Le déploiement d'un patch a provoqué une gène sur ~15 serveurs physiques. (sur plusieurs centaines).
La gestion SSL répondait alors par une erreur de protocole, ceci malgrès des tests nombreux et préalables réalisés.

Nous nous excusons de la gène générée.
Le déploiement étant réalisé manuellement, serveur par serveur, seuls quelques sites ont rencontré une gène.
Nous avons immédiatement stoppé l'opération dès constatation du cas.

Un rollback a été mis en place afin de revenir sur la configuration d'origine.
L'incident aura impacté les sites concernés pendant ~10mns.

Nous nous excusons vivement de la gène générée. Nous travaillons à trouver l'origine du cas, et naturellement l'incident ne peut pas se reproduire.

Cordialement
Equipe Technique

#2 Maintenances Serveurs » [13/02/2020] Incident smtp chez Orange » 2020-02-13 16:32:48

o2switch
Réponses : 0

Bonjour,

Un incident existe actuellement chez Orange, sans rapport avec o2switch, et qui impacte l'ensemble des hébergeurs/prestataires de messagerie.
Les serveurs SMTP d'Orange ne répondent plus correctement, et rejettent alors les messages sous motif d'une erreur 108.

Erreur: 421 mwinf5c34 ME Service refuse. Veuillez essayer plus tard. Service refused, please try later. OFR_108; [108]

Aucune action n'est possible de votre côté, ou de notre côté.
Vous devrez refaire vos envois. et/ou attendre qu'Orange accepte les messages en attente, dès résolution chez eux.

Cordialement
Equipe Technique

#3 Maintenances Serveurs » [07/02/2020] Incident King » 2020-02-07 22:23:46

o2switch
Réponses : 0

Bonjour,

Un incident matériel est en cours sur le node "king"
Nous sommes bien informés, et en traitement.

Cordialement
Equipe Technique

#4 Maintenances Serveurs » [Début 2020] Mises à jour matérielles d'anciens clusters » 2020-01-31 15:32:07

o2switch
Réponses : 0

Bonjour,

Dans le cadre de l'évolution constante des services, o2switch est amené à mettre à jour les configurations physiques de ses serveurs.
Ceci, afin de coller aux usages futurs, et de pouvoir proposer à nos hébergés des services toujours plus performants et complets.

Les mises à jour matérielles sont totalement gratuites, et n'altèrent pas les données ou configurations des hébergés.
Il n'est pas nécessaire de contacter nos services pour en bénéficier.
Cela permet alors et par exemple d'actualiser les CPU exploités qui sont toujours dans les dernières générations possibles.

Nous préparons préalablement de nouveaux serveurs, et installons, dessus, les unités de stockage.
Une mise à jour matérielle est alors presque invisible : elle ne nécessite qu'une opération de redémarrage avec pose/dépose des volumes de données. Le tout, d'une durée moyenne de 10 à 15mns. L'équivalent d'une mise à jour d'un noyau Linux classique (que nous réalisons habituellement à chaud et sans coupure).

Sont exclusivement concernés les comptes d'hébergement créés avant début 2019.


# Comment procédons nous ?

L'évolution physique sera réalisée pendant une tranche de temps importante, de fin Janvier 2020 à Mars 2020. Progressivement et de telle manière à ce que l'opération soit neutre pour nos hébergés.
Pendant cette tranche, nous repérons les périodes de faible affluence en visiteurs. et, lorsque les conditions techniques permettent l'évolution nous procédons au redémarrage de chaque serveur sur son nouveau node.


# Et l'écologie dans tout cela ?

Nous avons conscience que des serveurs neufs et/ou à jour matériellement génèrent un nombre conséquent de serveurs à recycler pour un hébergeur de la taille d'o2switch.
C'est néanmoins une condition pour proposer des services d'excellence.

N'ayez pas d'inquiétude pour cela !
Tout matériel déposé, qui ne contient aucun élément personnel/aucune donnée, sera recyclé.
Ce recyclage consiste à donner une seconde vie au matériel, en, par exemple, valorisant ce dernier auprès de sociétés spécialisées. Ou encore, en re-vendant les serveurs à des confrères, moins regardant sur l'âge et la génération du matériel.

A votre service!
Equipe o2switch

#5 Maintenances Serveurs » [29/12/2019] Incident électrique sur baie » 2019-12-30 01:45:47

o2switch
Réponses : 0

Bonjour,

Nous avons rencontré un incident électrique sur une baie de serveurs.
En amont de certains serveurs, nous utilisons un STS qui est un mécanisme destiné à coupler plusieurs sources d'alimentations afin de faire une distribution sur un PDU. (bandeau de prises IEC)

Le STS en question a brûlé, faisant alors disjoncteur une prise 32A qui alimente la baie. et de facto, l'ensemble des serveurs de cette dernière.
Nous avons donc procédé par urgence :

- Les mécanismes de coupure ont fonctionné. Les deux sources d'alimentation de la baie sont tombées afin de protéger les serveurs et l'installation électrique.
- Le STS a été retiré.
- L'alimentation a été changé, et les serveurs rebranchés en urgence sur la nouvelle alimentation.

L'ensemble des serveurs (~12 concernés) ont été relancés sans encombre progressivement, au bout d'environ 15 à 20mns.
Un serveur a été détecté comme responsable de l'incident sur le STS, pasta. Nous investiguons sur l'origine. Le STS n'aurait pas du être impacté (plus organes de protections) et le fabriquant sera informé de l'état.
Le serveur a été totalement isolé, retiré. Nous avons déplacé ses disques vers un serveur neuf, et relancé l'ensemble.

L'ensemble des services est restauré.

Equipe Technique

#6 Maintenances Serveurs » [24/12/2019 Maintenances » 2019-12-24 12:03:07

o2switch
Réponses : 0

Bonjour,

Nous devons réaliser des maintenances importantes sur certains serveurs.
Le 24/12 étant une journée relativement creuse avec les fêtes de fin d'année, nous allons, dans la journée, réaliser ces dernières.
Les serveurs impactés seront relancés (~5 sur plusieurs centaines). Durée de perturbation : ~15/20mns.

Cordialement
Equipe Technique,

#7 Maintenances Serveurs » [09/12/2019] Incident "alligator" » 2019-12-09 19:31:25

o2switch
Réponses : 0

Bonjour,

Nous avons constaté à deux reprises et consécutivement une des-synchronisation, et une dégradation des grappes raid de l'hôte alligator. Impatant alors la disponibilité et la vitesse.
Notre équipe a traité l'incident, et a remplacé physiquement le matériel présumé défectueux.

Incident 1 : ~18h. Durée de perturbation : ~ 20mns.
Incident 2 : ~19h, Durée de perturbation : ~ 10mns.

La situation doit revenir optimale suite à l'action réalisée.

Merci de votre compréhension.
Equipe Technique

#8 Maintenances Serveurs » [04/11/2019] Relance nécessaire sur "kilo" » 2019-11-04 09:13:28

o2switch
Réponses : 0

Bonjour,

Afin de finaliser une opération urgente, la plateforme kilo doit être relancée.
Cette opération sera réalisée dans la matiné du Lundi 4 Novembre. Temps estimé : 10/15mns.

Merci de votre compréhension,
Equipe Technique,

#9 Maintenances Serveurs » [28/05/19] Routage interne ipXtender/LSCache/XtremCache » 2019-05-28 21:04:34

o2switch
Réponses : 0

Bonjour,

Nous avons traité un incident de routage interne sur la plateforme ipXtender, qui impactait par ailleurs LSCache et XtremCache.
Cause : un des systèmes de load balancer HS.  Panne matérielle lourde.
Opération réalisée : remplacement physique du load balancer impacté.

Durée de perturbation : ~ 15mns.
Date : 28/05/19 ~21h30 - Heure de Paris

Equipe Technique o2switch

#10 Re : Maintenances Serveurs » [21/04/2019] Incident "moldavie" » 2019-04-21 13:02:18

Opération terminée.

Début : 13:21:37 GMT+1
Fin : 13:55:12 GMT+1

#11 Re : Maintenances Serveurs » [21/04/2019] Incident "moldavie" » 2019-04-21 12:46:47

Erreur sur contrôleur RAID NVMe.
Remplacement en cours du contrôleur et des chips NVMe.
Recopie de la basedir MySQL. Pas de restauration nécessaire.

Opération en cours de finalisation.

#12 Maintenances Serveurs » [21/04/2019] Incident "moldavie" » 2019-04-21 12:21:37

o2switch
Réponses : 2

Bonjour,

Nous traitons une alerte monitoring réceptionnée sur "moldavie" et rapport au serveur SQL.

Cordialement
Equipe o2switch

#13 Maintenances Serveurs » [15/04/19] Framboise » 2019-04-15 10:21:09

o2switch
Réponses : 0

Bonjour,

Nous avons été alerté d'un incident sur certains comptes d'hébergement, situés sur le node "framboise".
Un défaut d'alimentation sur une grappe raid, à provoqué une desynchronisation des données, vers une date antérieure pour certains hébergés de framboise.

Nous avons fait le nécessaire, et remplacé le matériel défectueux.
Les données à jour sont à présent bien présentes.
Nous faisons le nécessaire pour éviter réitération du cas, qui ne devrait pas se reproduire après remplacement de l'alimentation concernée.

Cordialement
Equipe technique,

#14 Maintenances Serveurs » [30/03/19] Incident "milan" » 2019-03-30 07:22:57

o2switch
Réponses : 0

Bonjour,

Nous détectons un incident sur l'hôte milan.
Nous travaillons dessus, ainsi qu'au rétablissement dans les plus brefs délais.

Equipe Technique.

#15 Maintenances Serveurs » [28/03/19] > [début 04/19] Mises à jour nocturnes » 2019-03-27 20:48:09

o2switch
Réponses : 0

Bonjour,

Nous devons redémarrer physiquement certains serveurs, afin d'appliquer des mises à jour Kernel.
En effet, certains serveurs n'ont pas été redémarré depuis plusieurs centaines de jours. Nous réalisons habituellement des mises à jour par applications de patchs Kernel, ceci permettant d'éviter un redémarrage et de minimiser toute gène.

Cependant, suite à un grand nombre de patchs appliqués, et afin de prévenir toute gène, un redémarrage s'avère nécessaire.
Le temps d'un reboot est d'environ 15 minutes. Cette opération sera réalisée de nuit, soit vers 1h du matin, soit sur la tranche 5h - 6h30.
Nous profiterons de l'opération pour réaliser des améliorations matérielles (renouvellements physiques+rajouts) sans impacter le délai nécessaire.

Cordialement
Equipe Technique

#16 Maintenances Serveurs » [15/03/19] Toaster » 2019-03-15 20:42:46

o2switch
Réponses : 0

Bonjour,

Nous recevons une remontée monitoring pour "toaster".
Un volume du système rencontre une difficulté. Un technicien est sur l'incident.
Recopie en cours d'un volume raid (hotswap n'ayant pas fonctionné comme souhaité).

Prévisionnel ~20mns.
Pas de perte de données, pas d'incident consécutif à prévoir. Le tout va repartir dès recopie terminée,

Cordialement
Equipe o2switch

#17 Re : Maintenances Serveurs » [06/02/2019] Incident "rognon" » 2019-02-06 11:30:55

Lors du redémarrage nocturne, le dernier kernel (noyau linux) a été chargé par le système. (comportement normal)
Il semble qu'un bug existe sur ce kernel officiel, dans la gestion des processus. L'incident disque peut être lié.

Nous avons rechargé un ancien kernel en rajoutant des patchs de sécurité et investiguons.
Si quelques ralentissements persistent, cela va disparaitre seul.

La situation générale doit être rétablie.

Cordialement
Equipe Technique

#18 Maintenances Serveurs » [06/02/2019] Incident "rognon" » 2019-02-06 09:37:31

o2switch
Réponses : 1

Bonjour,

Nous avons constater un incident sur l'hôte "rognon" le 6 Février, 1h du matin.
Le serveur a subit un incident électrique, et perdu une partie des disques qui constituent son RAID.

Le technicien d'astreinte a alors changé le matériel impacté, et relancé le serveur.
Tout était, visuellement bon. (intégrité, uuid des disques, correspondance d'espaces disques et dates).
A la relance, nous avons été alerté par des demandes de support qu'un problème existait sur les données de certains hébergés : des informations anciennes étaient lues.

Après analyse, une partie de la nuit, nous avons constaté au niveau du chip RAID un melange des identifiants physiques de disques.
Un des disques de backups locaux, avant remontée sur les serveurs isolés d'archivages, était lu à la place de la production.

Nous avons donc reconstruit complètement le RAID impacté. La carte RAID a été changé dans la foulée.
L'ensemble des données doit être visible depuis ce matin 9h15 environ pour les hébergés impactés.

Nous faisons une remonté au constructeur du chip RAID, afin de voir avec lui s'il s'agit d'un bug sur les drivers, ou dans le chip lui même.
Auquel cas, un upgrade de son bios sera réalisé.

Bon à savoir :

- Les données bénéficient de recopies multiples,
- Si un incident existe sur les disques locaux, non réparable, nous disposons d'archivages journaliers sur des serveurs distants.

Quoi qu'il en soit et dans un tel incident, l'intégrité des données hébergées est assuré.
Malgrès le stress que peut constituer un tel cas, vous n'avez donc pas d'inquiétude à avoir.
Si cependant vous constatez la moindre erreur, merci d'informer le support à support@o2switch.fr de manière précise.

Cordialement
Equipe Technique

#20 Maintenances Serveurs » Passage à MariaDB 10.3 / cPanel 78 » 2019-02-03 22:49:56

o2switch
Réponses : 0

Bonjour,

Nous informons nos hébergés que nous mettons progressivement à jour MariaDB (bases MySQL) vers la version 10.3.
Cette mise à jour est destinée à apporter des performances supérieures au moteur SQL.
Afin de basculer sous MariaDB 10.3, nous mettons, dans la foulée, à jour les serveurs sous la branche 78 de cPanel. Cette dernière permettant le support de cette nouvelle version. (gestion des bases depuis votre interface)

La mise à jour de MariaDB sera déployée par groupes de serveurs, à partir de 22h et dans la nuit.
Cette mise à jour doit être transparente pour les hébergés à l'exception d'une micro-coupure (relance) du moteur SQL pendant quelques minutes. Dont nous nous excusons.

L'opération de mise à jour est nécessaire à maintenir, chaque jour, une excellence de services afin d'accompagner nos hébergés.
Si vous rencontrez la moindre gène, nos experts auront une solution à support@o2switch.fr

Merci!
Equipe Technique o2switch

#21 Maintenances Serveurs » [03/02/2019] Maintenance planifiée "Flexo" » 2019-02-01 19:27:12

o2switch
Réponses : 1

Bonjour,

Nous interviendrons le Dimanche 03 Février 2019 sur l'hôte "flexo".
Nous devons réaliser une opération préventive, durée approximative : 10 minutes.

Cordialement
Equipe Technique

#22 Maintenances Serveurs » [15/12/18] Erreurs "framboise" et mode IO/lecture seule aléatoire. » 2018-12-15 12:14:40

o2switch
Réponses : 0

Bonjour,

Nous avons des remontés de clients sur des erreurs aléatoires, localisées sur Framboise.
Nous suspectons après analyse soit le rail d'alimentation des disques, soit les nappes du controleur.

Les deux viennent d'êtres changés.
Le tout est en banc de test et devrait être stabilité.
Si tout est bon, le serveur impacté sera re-mis en salle de production Dimanche 16 Décembre au matin.
A défaut, nous changerons les disques. Pas d'impact pour les données.

Cordialement
Equipe technique

#23 Re : Maintenances Serveurs » [09/12/2018] Incident Serflex » 2018-12-09 14:01:56

Serveur re-positionné en environnement de production.
R.A.S, le problème venait venait bien du riser.

Nous nous excusons de la gène générée.
Les cas matériels de ce type sont relativement rares, et même, normalement inexistants. (...)
Nous avons vérifié l'ensemble, il ne s'agissait pas d'une erreur humaine de branchement.

Nous signalerons au constructeur, si besoin, la défaillance.

Crdt,
Equipe Technique

#24 Re : Maintenances Serveurs » [09/12/2018] Incident Serflex » 2018-12-09 13:10:07

L'incident est clôturé.

Nous avons remplacé le serveur physique concerné et localisé.
Le problème venait d'un riser, https://en.wikipedia.org/wiki/Riser_card pci-express.

Un condensateur a brulé, avec une partie du PCB.
Lors de l'incident, une partie des SSD du système ont été touché. (problème électrique sur ces derniers)

Nous avons réinstallé le système sur des disques neufs,
Aucune perte de donnée n'est à prévoir.
Nous terminons et surveillons.

#25 Maintenances Serveurs » [09/12/2018] Incident Serflex » 2018-12-09 12:09:25

o2switch
Réponses : 2

Bonjour,

Nous rencontrons un incident sur certains serveurs de "serflex".
Nous pensons l'incident lié au réseau et au matériel attenant.
Actuellement ~50 clients sont concernés par l'incident. Nous travaillons bien dessus depuis l'alerte monitoring liée.

Nous remplaçons le matériel.

Cordialement
Equipe Technique