Annonce

#1 Maintenances Serveurs » [09/09/2019] Intervention urgente toaster.o2switch.net » 2019-09-09 08:22:27

o2switch
Réponses : 0

Bonjour,

Nous devons réaliser une intervention urgente sur les grappes disques de "toaster".

Cette intervention ne peut être planifiée, et doit être réalisée ce matin.
Heure approximative : 9h45/10h.
Durée : ~15mns

Merci de votre compréhension,
Equipe technique.

#2 Maintenances Serveurs » [07/07/2019] Maintenance planifiée sur 5 Nodes » 2019-07-07 11:41:03

o2switch
Réponses : 0

Bonjour,

o2switch réalise la conception de ses datacenters sur un modèle de Tier 4.
Ceci implique deux distributions d'énergie totalement indépendantes et différentes avec deux TGBT compartimentés.

De fait, chaque serveur est alimenté soit avec un module en double alimentation. Soit avec un STS/ATS frontal afin de coupler les deux sources d'énergie.
Nous devons réaliser la migration d'environ ~ 5 nodes d'un système de STS vers des modules à double alimentation. Et donc réaliser un déplacement de baie.

Cette opération sera réalisée ce jour, aux heures de faible trafic constaté, et visera les nodes : "chaise", "bureau", "couteau", "frite", "vache".
Dans la mesure où nous possédons nos datacenters, cette opération sera relativement rapide, et prendre environ 5mns, le temps de relancer les serveurs concernés.

Merci de votre compréhension,
Equipe Technique

#3 Maintenances Serveurs » [10/06/2019] Incident Electrique mineur » 2019-06-10 19:40:13

o2switch
Réponses : 0

Bonjour,

Nous avons rencontré le 10/06/2019 à 20:26 un incident électrique qui a impacté 4 nodes : chaise, bureau, sonnette, churros.

Début d'incident : 20:26 environ.
FIn d'incident : 20:37

Localisation : Rangée 3, Baie 11, Section 2.

Les deux alimentations 32A de la section 2 ont disjoncté.
Les disjoncteurs ont été ré-armés, et un bloc d'alimentation 2N, sur le node bureau, a été changé : ce dernier a visiblement été responsable du cas. et de la disjonction coup à coup des deux départs.

Cordialement
Equipe Technique

#4 Maintenances Serveurs » [28/05/19] Routage interne ipXtender/LSCache/XtremCache » 2019-05-28 21:04:34

o2switch
Réponses : 0

Bonjour,

Nous avons traité un incident de routage interne sur la plateforme ipXtender, qui impactait par ailleurs LSCache et XtremCache.
Cause : un des systèmes de load balancer HS.  Panne matérielle lourde.
Opération réalisée : remplacement physique du load balancer impacté.

Durée de perturbation : ~ 15mns.
Date : 28/05/19 ~21h30 - Heure de Paris

Equipe Technique o2switch

#5 Re : Maintenances Serveurs » [21/04/2019] Incident "moldavie" » 2019-04-21 13:02:18

Opération terminée.

Début : 13:21:37 GMT+1
Fin : 13:55:12 GMT+1

#6 Re : Maintenances Serveurs » [21/04/2019] Incident "moldavie" » 2019-04-21 12:46:47

Erreur sur contrôleur RAID NVMe.
Remplacement en cours du contrôleur et des chips NVMe.
Recopie de la basedir MySQL. Pas de restauration nécessaire.

Opération en cours de finalisation.

#7 Maintenances Serveurs » [21/04/2019] Incident "moldavie" » 2019-04-21 12:21:37

o2switch
Réponses : 2

Bonjour,

Nous traitons une alerte monitoring réceptionnée sur "moldavie" et rapport au serveur SQL.

Cordialement
Equipe o2switch

#8 Maintenances Serveurs » [15/04/19] Framboise » 2019-04-15 10:21:09

o2switch
Réponses : 0

Bonjour,

Nous avons été alerté d'un incident sur certains comptes d'hébergement, situés sur le node "framboise".
Un défaut d'alimentation sur une grappe raid, à provoqué une desynchronisation des données, vers une date antérieure pour certains hébergés de framboise.

Nous avons fait le nécessaire, et remplacé le matériel défectueux.
Les données à jour sont à présent bien présentes.
Nous faisons le nécessaire pour éviter réitération du cas, qui ne devrait pas se reproduire après remplacement de l'alimentation concernée.

Cordialement
Equipe technique,

#9 Maintenances Serveurs » [30/03/19] Incident "milan" » 2019-03-30 07:22:57

o2switch
Réponses : 0

Bonjour,

Nous détectons un incident sur l'hôte milan.
Nous travaillons dessus, ainsi qu'au rétablissement dans les plus brefs délais.

Equipe Technique.

#10 Maintenances Serveurs » [28/03/19] > [début 04/19] Mises à jour nocturnes » 2019-03-27 20:48:09

o2switch
Réponses : 0

Bonjour,

Nous devons redémarrer physiquement certains serveurs, afin d'appliquer des mises à jour Kernel.
En effet, certains serveurs n'ont pas été redémarré depuis plusieurs centaines de jours. Nous réalisons habituellement des mises à jour par applications de patchs Kernel, ceci permettant d'éviter un redémarrage et de minimiser toute gène.

Cependant, suite à un grand nombre de patchs appliqués, et afin de prévenir toute gène, un redémarrage s'avère nécessaire.
Le temps d'un reboot est d'environ 15 minutes. Cette opération sera réalisée de nuit, soit vers 1h du matin, soit sur la tranche 5h - 6h30.
Nous profiterons de l'opération pour réaliser des améliorations matérielles (renouvellements physiques+rajouts) sans impacter le délai nécessaire.

Cordialement
Equipe Technique

#11 Maintenances Serveurs » [15/03/19] Toaster » 2019-03-15 20:42:46

o2switch
Réponses : 0

Bonjour,

Nous recevons une remontée monitoring pour "toaster".
Un volume du système rencontre une difficulté. Un technicien est sur l'incident.
Recopie en cours d'un volume raid (hotswap n'ayant pas fonctionné comme souhaité).

Prévisionnel ~20mns.
Pas de perte de données, pas d'incident consécutif à prévoir. Le tout va repartir dès recopie terminée,

Cordialement
Equipe o2switch

#12 Re : Maintenances Serveurs » [06/02/2019] Incident "rognon" » 2019-02-06 11:30:55

Lors du redémarrage nocturne, le dernier kernel (noyau linux) a été chargé par le système. (comportement normal)
Il semble qu'un bug existe sur ce kernel officiel, dans la gestion des processus. L'incident disque peut être lié.

Nous avons rechargé un ancien kernel en rajoutant des patchs de sécurité et investiguons.
Si quelques ralentissements persistent, cela va disparaitre seul.

La situation générale doit être rétablie.

Cordialement
Equipe Technique

#13 Maintenances Serveurs » [06/02/2019] Incident "rognon" » 2019-02-06 09:37:31

o2switch
Réponses : 1

Bonjour,

Nous avons constater un incident sur l'hôte "rognon" le 6 Février, 1h du matin.
Le serveur a subit un incident électrique, et perdu une partie des disques qui constituent son RAID.

Le technicien d'astreinte a alors changé le matériel impacté, et relancé le serveur.
Tout était, visuellement bon. (intégrité, uuid des disques, correspondance d'espaces disques et dates).
A la relance, nous avons été alerté par des demandes de support qu'un problème existait sur les données de certains hébergés : des informations anciennes étaient lues.

Après analyse, une partie de la nuit, nous avons constaté au niveau du chip RAID un melange des identifiants physiques de disques.
Un des disques de backups locaux, avant remontée sur les serveurs isolés d'archivages, était lu à la place de la production.

Nous avons donc reconstruit complètement le RAID impacté. La carte RAID a été changé dans la foulée.
L'ensemble des données doit être visible depuis ce matin 9h15 environ pour les hébergés impactés.

Nous faisons une remonté au constructeur du chip RAID, afin de voir avec lui s'il s'agit d'un bug sur les drivers, ou dans le chip lui même.
Auquel cas, un upgrade de son bios sera réalisé.

Bon à savoir :

- Les données bénéficient de recopies multiples,
- Si un incident existe sur les disques locaux, non réparable, nous disposons d'archivages journaliers sur des serveurs distants.

Quoi qu'il en soit et dans un tel incident, l'intégrité des données hébergées est assuré.
Malgrès le stress que peut constituer un tel cas, vous n'avez donc pas d'inquiétude à avoir.
Si cependant vous constatez la moindre erreur, merci d'informer le support à support@o2switch.fr de manière précise.

Cordialement
Equipe Technique

#15 Maintenances Serveurs » Passage à MariaDB 10.3 / cPanel 78 » 2019-02-03 22:49:56

o2switch
Réponses : 0

Bonjour,

Nous informons nos hébergés que nous mettons progressivement à jour MariaDB (bases MySQL) vers la version 10.3.
Cette mise à jour est destinée à apporter des performances supérieures au moteur SQL.
Afin de basculer sous MariaDB 10.3, nous mettons, dans la foulée, à jour les serveurs sous la branche 78 de cPanel. Cette dernière permettant le support de cette nouvelle version. (gestion des bases depuis votre interface)

La mise à jour de MariaDB sera déployée par groupes de serveurs, à partir de 22h et dans la nuit.
Cette mise à jour doit être transparente pour les hébergés à l'exception d'une micro-coupure (relance) du moteur SQL pendant quelques minutes. Dont nous nous excusons.

L'opération de mise à jour est nécessaire à maintenir, chaque jour, une excellence de services afin d'accompagner nos hébergés.
Si vous rencontrez la moindre gène, nos experts auront une solution à support@o2switch.fr

Merci!
Equipe Technique o2switch

#16 Maintenances Serveurs » [03/02/2019] Maintenance planifiée "Flexo" » 2019-02-01 19:27:12

o2switch
Réponses : 1

Bonjour,

Nous interviendrons le Dimanche 03 Février 2019 sur l'hôte "flexo".
Nous devons réaliser une opération préventive, durée approximative : 10 minutes.

Cordialement
Equipe Technique

#17 Maintenances Serveurs » [15/12/18] Erreurs "framboise" et mode IO/lecture seule aléatoire. » 2018-12-15 12:14:40

o2switch
Réponses : 0

Bonjour,

Nous avons des remontés de clients sur des erreurs aléatoires, localisées sur Framboise.
Nous suspectons après analyse soit le rail d'alimentation des disques, soit les nappes du controleur.

Les deux viennent d'êtres changés.
Le tout est en banc de test et devrait être stabilité.
Si tout est bon, le serveur impacté sera re-mis en salle de production Dimanche 16 Décembre au matin.
A défaut, nous changerons les disques. Pas d'impact pour les données.

Cordialement
Equipe technique

#18 Re : Maintenances Serveurs » [09/12/2018] Incident Serflex » 2018-12-09 14:01:56

Serveur re-positionné en environnement de production.
R.A.S, le problème venait venait bien du riser.

Nous nous excusons de la gène générée.
Les cas matériels de ce type sont relativement rares, et même, normalement inexistants. (...)
Nous avons vérifié l'ensemble, il ne s'agissait pas d'une erreur humaine de branchement.

Nous signalerons au constructeur, si besoin, la défaillance.

Crdt,
Equipe Technique

#19 Re : Maintenances Serveurs » [09/12/2018] Incident Serflex » 2018-12-09 13:10:07

L'incident est clôturé.

Nous avons remplacé le serveur physique concerné et localisé.
Le problème venait d'un riser, https://en.wikipedia.org/wiki/Riser_card pci-express.

Un condensateur a brulé, avec une partie du PCB.
Lors de l'incident, une partie des SSD du système ont été touché. (problème électrique sur ces derniers)

Nous avons réinstallé le système sur des disques neufs,
Aucune perte de donnée n'est à prévoir.
Nous terminons et surveillons.

#20 Maintenances Serveurs » [09/12/2018] Incident Serflex » 2018-12-09 12:09:25

o2switch
Réponses : 2

Bonjour,

Nous rencontrons un incident sur certains serveurs de "serflex".
Nous pensons l'incident lié au réseau et au matériel attenant.
Actuellement ~50 clients sont concernés par l'incident. Nous travaillons bien dessus depuis l'alerte monitoring liée.

Nous remplaçons le matériel.

Cordialement
Equipe Technique

#21 Maintenances Serveurs » [08/12/18] Incidents stockage/disques détectés sur "ronron" » 2018-12-08 08:27:13

o2switch
Réponses : 0

Bonjour,

Nous détectons cette nuit des incidents/erreurs multiples sur la partie stockage d'un des serveurs physiques.
Nous allons, pour ce dernier :
- Retirer tout média de stockage "douteux", remplacer physiquement
- Profiter de l'opération pour rajouter de la ram.
- Remplacer préventivement les contrôleurs et alimentations.

Vous n'avez aucun impact à prévoir, naturellement sur vos données.
L'opération de remplacement sera lancée vers 8h au matin du 08/12/2018
Durée estimative : ~10/15mns.

Merci,
Equipe technique

#22 Maintenances Serveurs » [06/09/18] Incident tournevis » 2018-09-06 19:09:30

o2switch
Réponses : 0

Bonjour,

Nous travaillons sur un incident, plateforme tournevis.
Nous faisons au plus tôt pour rétablir les accès des personnes concernées.

Cordialement
Equipe o2switch

#23 Maintenances Serveurs » [29/08/18] Plateforme tisane » 2018-08-29 14:27:38

o2switch
Réponses : 0

Bonjour,

Plantage détecté par monitoring sur "tisane".
Une grappe disques ne répond plus. On change le matériel et on relance.
Durée ~10/15mns.

Pas d'incident à prévoir sur l'intégrité des données.

Equipe o2switch

#24 Maintenances Serveurs » [28/08/18] Interventions nuit » 2018-08-28 03:17:59

o2switch
Réponses : 0

Bonjour,

Interventions dans la nuit du 28 Aout. ~3-4h du matin.

* Plateforme gesier : Instabilité mémoire suite à upgrade kernel "soft". (mémoire)
Nécessite un reboot hard du kernel. ~15/20mns.

* Plateforme framboise : Problème sur nappe SAS. Vitesse dégradée.
Nécessite un changement de nappe à réaliser dans la nuit. + rebuild raid.
~10/15mns.

* Plateforme kilo : Erreurs 503 constatées par un client du support.
Le frontal bloque massivement des bots malveillants. Pendant ce blocage, des fragments de mémoire sont utilisés.
Erreur possible sur ces fragments, et la partition de loop relative.
Par principe de précaution, remplacement intégral de la ram + rajout capacitif dans la foulée.
~15/20mns.

L'équipe technique reste à disposition
o2switch

#25 Maintenances Serveurs » [15/08/18] Problème alimentation Cobra » 2018-08-15 22:43:28

o2switch
Réponses : 0

Bonjour,

L'équipe de nuit va procéder au changement de l'alimentation redondée d'un serveur de la plateforme cobra.
Raison : bruit fort et anormal du serveur. (condensateur)

Nous vérifions en effet chaque jour, dans nos process de fonctionnement, l'état "visuel" et "auditif" des divers serveurs.
Remplacement sur la plage 23h-minuit. 5mns de coupure environ.

Avec nos excuses pour la gène générée,
Cordialement
Equipe o2switch