Annonce

#1 Re : Maintenances Serveurs » [21/04/2019] Incident "moldavie" » 2019-04-21 13:02:18

Opération terminée.

Début : 13:21:37 GMT+1
Fin : 13:55:12 GMT+1

#2 Re : Maintenances Serveurs » [21/04/2019] Incident "moldavie" » 2019-04-21 12:46:47

Erreur sur contrôleur RAID NVMe.
Remplacement en cours du contrôleur et des chips NVMe.
Recopie de la basedir MySQL. Pas de restauration nécessaire.

Opération en cours de finalisation.

#3 Maintenances Serveurs » [21/04/2019] Incident "moldavie" » 2019-04-21 12:21:37

o2switch
Réponses : 2

Bonjour,

Nous traitons une alerte monitoring réceptionnée sur "moldavie" et rapport au serveur SQL.

Cordialement
Equipe o2switch

#4 Maintenances Serveurs » [15/04/19] Framboise » 2019-04-15 10:21:09

o2switch
Réponses : 0

Bonjour,

Nous avons été alerté d'un incident sur certains comptes d'hébergement, situés sur le node "framboise".
Un défaut d'alimentation sur une grappe raid, à provoqué une desynchronisation des données, vers une date antérieure pour certains hébergés de framboise.

Nous avons fait le nécessaire, et remplacé le matériel défectueux.
Les données à jour sont à présent bien présentes.
Nous faisons le nécessaire pour éviter réitération du cas, qui ne devrait pas se reproduire après remplacement de l'alimentation concernée.

Cordialement
Equipe technique,

#5 Maintenances Serveurs » [30/03/19] Incident "milan" » 2019-03-30 07:22:57

o2switch
Réponses : 0

Bonjour,

Nous détectons un incident sur l'hôte milan.
Nous travaillons dessus, ainsi qu'au rétablissement dans les plus brefs délais.

Equipe Technique.

#6 Maintenances Serveurs » [28/03/19] > [début 04/19] Mises à jour nocturnes » 2019-03-27 20:48:09

o2switch
Réponses : 0

Bonjour,

Nous devons redémarrer physiquement certains serveurs, afin d'appliquer des mises à jour Kernel.
En effet, certains serveurs n'ont pas été redémarré depuis plusieurs centaines de jours. Nous réalisons habituellement des mises à jour par applications de patchs Kernel, ceci permettant d'éviter un redémarrage et de minimiser toute gène.

Cependant, suite à un grand nombre de patchs appliqués, et afin de prévenir toute gène, un redémarrage s'avère nécessaire.
Le temps d'un reboot est d'environ 15 minutes. Cette opération sera réalisée de nuit, soit vers 1h du matin, soit sur la tranche 5h - 6h30.
Nous profiterons de l'opération pour réaliser des améliorations matérielles (renouvellements physiques+rajouts) sans impacter le délai nécessaire.

Cordialement
Equipe Technique

#7 Maintenances Serveurs » [15/03/19] Toaster » 2019-03-15 20:42:46

o2switch
Réponses : 0

Bonjour,

Nous recevons une remontée monitoring pour "toaster".
Un volume du système rencontre une difficulté. Un technicien est sur l'incident.
Recopie en cours d'un volume raid (hotswap n'ayant pas fonctionné comme souhaité).

Prévisionnel ~20mns.
Pas de perte de données, pas d'incident consécutif à prévoir. Le tout va repartir dès recopie terminée,

Cordialement
Equipe o2switch

#8 Re : Maintenances Serveurs » [06/02/2019] Incident "rognon" » 2019-02-06 11:30:55

Lors du redémarrage nocturne, le dernier kernel (noyau linux) a été chargé par le système. (comportement normal)
Il semble qu'un bug existe sur ce kernel officiel, dans la gestion des processus. L'incident disque peut être lié.

Nous avons rechargé un ancien kernel en rajoutant des patchs de sécurité et investiguons.
Si quelques ralentissements persistent, cela va disparaitre seul.

La situation générale doit être rétablie.

Cordialement
Equipe Technique

#9 Maintenances Serveurs » [06/02/2019] Incident "rognon" » 2019-02-06 09:37:31

o2switch
Réponses : 1

Bonjour,

Nous avons constater un incident sur l'hôte "rognon" le 6 Février, 1h du matin.
Le serveur a subit un incident électrique, et perdu une partie des disques qui constituent son RAID.

Le technicien d'astreinte a alors changé le matériel impacté, et relancé le serveur.
Tout était, visuellement bon. (intégrité, uuid des disques, correspondance d'espaces disques et dates).
A la relance, nous avons été alerté par des demandes de support qu'un problème existait sur les données de certains hébergés : des informations anciennes étaient lues.

Après analyse, une partie de la nuit, nous avons constaté au niveau du chip RAID un melange des identifiants physiques de disques.
Un des disques de backups locaux, avant remontée sur les serveurs isolés d'archivages, était lu à la place de la production.

Nous avons donc reconstruit complètement le RAID impacté. La carte RAID a été changé dans la foulée.
L'ensemble des données doit être visible depuis ce matin 9h15 environ pour les hébergés impactés.

Nous faisons une remonté au constructeur du chip RAID, afin de voir avec lui s'il s'agit d'un bug sur les drivers, ou dans le chip lui même.
Auquel cas, un upgrade de son bios sera réalisé.

Bon à savoir :

- Les données bénéficient de recopies multiples,
- Si un incident existe sur les disques locaux, non réparable, nous disposons d'archivages journaliers sur des serveurs distants.

Quoi qu'il en soit et dans un tel incident, l'intégrité des données hébergées est assuré.
Malgrès le stress que peut constituer un tel cas, vous n'avez donc pas d'inquiétude à avoir.
Si cependant vous constatez la moindre erreur, merci d'informer le support à support@o2switch.fr de manière précise.

Cordialement
Equipe Technique

#11 Maintenances Serveurs » Passage à MariaDB 10.3 / cPanel 78 » 2019-02-03 22:49:56

o2switch
Réponses : 0

Bonjour,

Nous informons nos hébergés que nous mettons progressivement à jour MariaDB (bases MySQL) vers la version 10.3.
Cette mise à jour est destinée à apporter des performances supérieures au moteur SQL.
Afin de basculer sous MariaDB 10.3, nous mettons, dans la foulée, à jour les serveurs sous la branche 78 de cPanel. Cette dernière permettant le support de cette nouvelle version. (gestion des bases depuis votre interface)

La mise à jour de MariaDB sera déployée par groupes de serveurs, à partir de 22h et dans la nuit.
Cette mise à jour doit être transparente pour les hébergés à l'exception d'une micro-coupure (relance) du moteur SQL pendant quelques minutes. Dont nous nous excusons.

L'opération de mise à jour est nécessaire à maintenir, chaque jour, une excellence de services afin d'accompagner nos hébergés.
Si vous rencontrez la moindre gène, nos experts auront une solution à support@o2switch.fr

Merci!
Equipe Technique o2switch

#12 Maintenances Serveurs » [03/02/2019] Maintenance planifiée "Flexo" » 2019-02-01 19:27:12

o2switch
Réponses : 1

Bonjour,

Nous interviendrons le Dimanche 03 Février 2019 sur l'hôte "flexo".
Nous devons réaliser une opération préventive, durée approximative : 10 minutes.

Cordialement
Equipe Technique

#13 Maintenances Serveurs » [15/12/18] Erreurs "framboise" et mode IO/lecture seule aléatoire. » 2018-12-15 12:14:40

o2switch
Réponses : 0

Bonjour,

Nous avons des remontés de clients sur des erreurs aléatoires, localisées sur Framboise.
Nous suspectons après analyse soit le rail d'alimentation des disques, soit les nappes du controleur.

Les deux viennent d'êtres changés.
Le tout est en banc de test et devrait être stabilité.
Si tout est bon, le serveur impacté sera re-mis en salle de production Dimanche 16 Décembre au matin.
A défaut, nous changerons les disques. Pas d'impact pour les données.

Cordialement
Equipe technique

#14 Re : Maintenances Serveurs » [09/12/2018] Incident Serflex » 2018-12-09 14:01:56

Serveur re-positionné en environnement de production.
R.A.S, le problème venait venait bien du riser.

Nous nous excusons de la gène générée.
Les cas matériels de ce type sont relativement rares, et même, normalement inexistants. (...)
Nous avons vérifié l'ensemble, il ne s'agissait pas d'une erreur humaine de branchement.

Nous signalerons au constructeur, si besoin, la défaillance.

Crdt,
Equipe Technique

#15 Re : Maintenances Serveurs » [09/12/2018] Incident Serflex » 2018-12-09 13:10:07

L'incident est clôturé.

Nous avons remplacé le serveur physique concerné et localisé.
Le problème venait d'un riser, https://en.wikipedia.org/wiki/Riser_card pci-express.

Un condensateur a brulé, avec une partie du PCB.
Lors de l'incident, une partie des SSD du système ont été touché. (problème électrique sur ces derniers)

Nous avons réinstallé le système sur des disques neufs,
Aucune perte de donnée n'est à prévoir.
Nous terminons et surveillons.

#16 Maintenances Serveurs » [09/12/2018] Incident Serflex » 2018-12-09 12:09:25

o2switch
Réponses : 2

Bonjour,

Nous rencontrons un incident sur certains serveurs de "serflex".
Nous pensons l'incident lié au réseau et au matériel attenant.
Actuellement ~50 clients sont concernés par l'incident. Nous travaillons bien dessus depuis l'alerte monitoring liée.

Nous remplaçons le matériel.

Cordialement
Equipe Technique

#17 Maintenances Serveurs » [08/12/18] Incidents stockage/disques détectés sur "ronron" » 2018-12-08 08:27:13

o2switch
Réponses : 0

Bonjour,

Nous détectons cette nuit des incidents/erreurs multiples sur la partie stockage d'un des serveurs physiques.
Nous allons, pour ce dernier :
- Retirer tout média de stockage "douteux", remplacer physiquement
- Profiter de l'opération pour rajouter de la ram.
- Remplacer préventivement les contrôleurs et alimentations.

Vous n'avez aucun impact à prévoir, naturellement sur vos données.
L'opération de remplacement sera lancée vers 8h au matin du 08/12/2018
Durée estimative : ~10/15mns.

Merci,
Equipe technique

#18 Maintenances Serveurs » [06/09/18] Incident tournevis » 2018-09-06 19:09:30

o2switch
Réponses : 0

Bonjour,

Nous travaillons sur un incident, plateforme tournevis.
Nous faisons au plus tôt pour rétablir les accès des personnes concernées.

Cordialement
Equipe o2switch

#19 Maintenances Serveurs » [29/08/18] Plateforme tisane » 2018-08-29 14:27:38

o2switch
Réponses : 0

Bonjour,

Plantage détecté par monitoring sur "tisane".
Une grappe disques ne répond plus. On change le matériel et on relance.
Durée ~10/15mns.

Pas d'incident à prévoir sur l'intégrité des données.

Equipe o2switch

#20 Maintenances Serveurs » [28/08/18] Interventions nuit » 2018-08-28 03:17:59

o2switch
Réponses : 0

Bonjour,

Interventions dans la nuit du 28 Aout. ~3-4h du matin.

* Plateforme gesier : Instabilité mémoire suite à upgrade kernel "soft". (mémoire)
Nécessite un reboot hard du kernel. ~15/20mns.

* Plateforme framboise : Problème sur nappe SAS. Vitesse dégradée.
Nécessite un changement de nappe à réaliser dans la nuit. + rebuild raid.
~10/15mns.

* Plateforme kilo : Erreurs 503 constatées par un client du support.
Le frontal bloque massivement des bots malveillants. Pendant ce blocage, des fragments de mémoire sont utilisés.
Erreur possible sur ces fragments, et la partition de loop relative.
Par principe de précaution, remplacement intégral de la ram + rajout capacitif dans la foulée.
~15/20mns.

L'équipe technique reste à disposition
o2switch

#21 Maintenances Serveurs » [15/08/18] Problème alimentation Cobra » 2018-08-15 22:43:28

o2switch
Réponses : 0

Bonjour,

L'équipe de nuit va procéder au changement de l'alimentation redondée d'un serveur de la plateforme cobra.
Raison : bruit fort et anormal du serveur. (condensateur)

Nous vérifions en effet chaque jour, dans nos process de fonctionnement, l'état "visuel" et "auditif" des divers serveurs.
Remplacement sur la plage 23h-minuit. 5mns de coupure environ.

Avec nos excuses pour la gène générée,
Cordialement
Equipe o2switch

#24 Maintenances Serveurs » [05/08/18] Matrix » 2018-08-05 11:12:26

o2switch
Réponses : 1

Bonjour,

Nous détectons un incident disque sur la plateforme "matrix".
Pas de perturbation visible des hébergés

[2381223.648710] blk_update_request: I/O error, dev sdh, sector 1953082943
[2381223.648944] sd 8:0:0:0: [sdh] FAILED Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[2381223.648946] sd 8:0:0:0: [sdh] CDB: Read(10) 28 00 74 69 ad bf 00 00 80 00
[2381223.648948] blk_update_request: I/O error, dev sdh, sector 1953082815
[2381223.649175] blk_update_request: I/O error, dev sdh, sector 79


Cependant, ceci nécessite une intervention pĥysique.
L'intervention sera réalisée en critère d'urgence/période creuse ce Dimanche 5 Aout 2018.

Perturbation possible ~ 5 minutes.

Cordialement
Equipe Technique

#25 Maintenances Serveurs » [05/08/18] Dolphin » 2018-08-05 11:07:45

o2switch
Réponses : 1

Bonjour,

Nous détectons une défaillance sur le système de stockage de la plateforme "dolphin".
Intervention réalisée, changement du stockage défectueux.

Perturbation d'opération : rien à prévoir.

Perturbations passées :
Panne détectée par deux reboots intempestifs 'kernel panic'.
Dimanche 5/08/18 8h30
Dimanche 5/08/18 12h02
de chacun 2/3mns.

Cordialement
Equipe o2switch