Renseignements sur les travaux et incidents de l'infrastructure Evolix

Voici le récapitulatif des interventions et incidents majeurs au sein de l'infrastructure Evolix

N'hésitez pas à nous contacter pour avoir plus de détails.

Interventions prévues :

Mises à jour logicielle de nos routeurs BGP prévues Lundi 1er Juin, 8 Juin et 15 Juin entre 22h à 1h du matin (sans impact prévu)

Interventions / incidents en cours :

Interventions/incidents majeurs passés (heure de Paris) :

15.12.2019dimanche après-midi, de 14h50 à 15h40, nous avons subi une attaque DDOS qui perturbé l'ensemble de notre réseau. L'attaque a été exceptionnelle (x100 sur notre trafic habituel) et nous avons dû mettre en place une mitigation spécifique.
26.11.2019maintenance planifiée sur notre espace en datacenter à Paris. Notre service de proxy-cache « Boost » a été injoignable à 2 reprises, les dispositions ont été prises en amont avec nos client concernés.
08.11.2019incident réseau de 15h01 à 15h17 sur notre liaison inter-datacenters Paris-Marseille, ce qui a principalement impacté notre service CDN BOOST. Un 2ème incident réseau plus important a eu lieu de 16h53 à 17h14 : notre fournisseur réseau IELO a subi une attaque DDOS ce qui a provoqué de fortes perturbations sur notre réseau externe nous obligeant à désactiver manuellement noliens de transit avec IELO.
20.10.2018incident réseau de 14h15 à 15h50 sur notre service CDN BOOST suite à une erreur humaine sur la configuration d'un équipement réseau.
09.08.2018incident réseau de 12h06 à 13h09 sur l'une de nos baies datacenter Interxion MRS1 (Marseille), une maintenance se terminant le 30 septembre 2018 va permettre de limiter fortement la probabilité et l'impact de ce genre de panne.
03.08.2018déménagement d'un routeur et d'un firewall, ainsi que des liens réseau, dans une nouvelle baie au datacenter Interxion MRS1 (Marseille) entre 00h00 et 04h00, les opérations ont été transparentes.
23.10.2017perturbations sur notre réseau à Marseille entre 9h38 et 9h42 : nous avons subi une attaque DDOS, l'attaque a été mitigée automatiquement.
24.03.2017perturbations sur notre réseau à Marseille entre 18h12 et 18h37 : nous avons subi une saturation d'un firewall à cause d'une attaque via un serveur interne, incident exceptionnel car nous maîtrisons/infogérons 100% des systèmes que nous hébergeons.
17.02.2017incident réseau entre 8h44 et 9h01, notre fournisseur réseau IELO a subi un coupure de fibres optiques (sensées être redondantes) ce qui a provoqué de fortes perturbations pour notre infrastructure à Marseille. Notre service CDN BOOST a été impacté plus longtemps (jusqu'à 9h30 environ).
17.04.2015déménagement d'un routeur et de plusieurs liens réseau entre 01h00 et 6h00 du matin, les opérations ont été transparentes.
12.04.2015dimanche matin entre 10h40 à 10h55, nous avons subi une attaque DDOS à l'aide du protocole SSDP qui perturbé l'ensemble de notre réseau. L'attaque a été détectée puis mitigée automatiquement après quelques minutes.
14.01.2015mise en place planifiée d'un nouveau routeur sur notre infra à Paris, les services à Paris ont été impactés de 14h15 à 14h35 environ.
18.11.2014intervention électrique entre 9h30 et 12h00 dans le nouveau datacenter TDF à Aix-en-Provence, cela sera transparent pour Marseille et Paris, mais pour Aix un impact réseau de 3 minutes est prévu pour passer sur un équipement gérant un double alimentation électrique.
10.10.2014incident chez IELO qui a provoqué une coupure de notre connexion externe de 17h25 à 17h35 en IPv4 (aucun impact sur notre réseau interne et pas de souci en IPv6). Nous avons activé manuellement l'un de nos nouveaux transits : SmartJog/TDF le temps que l'incident soit résolu chez IELO. Nous utilisons maintenant 3 transits : IELO, SmartJog/TDF et Level3 (en cours d'intégration) et des peerings sur le France-IX (en cours d'intégration) nous permettant une meilleure qualité réseau et une meilleure fiabilité : en cas de nouvel incident de ce type, cela devrait être quasiment transparent.
04.06.2014intervention planifiée d'évolution de notre réseau avec la séparation de routeurs redondants assurant la partie BGP, et des routeurs/firewalls redondants assurant la partie firewalling. Des perturbations ont eu lieu entre 1h et 3h du matin, des soucis avec IPv6 ont pu se prolonger jusqu'à 12h.
25.02.2014incident réseau sur une de nos baies, un switch Cisco Gigabit s'est éteint brusquement à 12h35 et il a été remplacé définitivement à 14h15 (baie en cours de déménagement, ce qui a compliqué la procédure de remplacement). Conséquence indirecte de cet incident, une intervention à 14h20 a provoqué une coupure réseau, avec reprise progressive. À 14h40, tout était terminé.
31.12.2013nouveau bug sur un routeur de l'opérateur IELO, des perturbations entre 12h10 et 12h15 environ.
12.12.2013un de nos opérateurs (IELO) a eu un bug soft avec un routeur, conséquence : légères perturbations (surtout ICMP) entre notre réseau et quelques FAI (Orange) entre 22h20 et 23h10.
02.11.2013incident sur notre serveur mail mutualisé, environ 30 minutes d'indisponibilité vers 9h30.
29.05.2013un connecteur fibre SFP a grillé, provoquant une coupure nette de notre interconnexion avec IELO vers 7h10. L'ensemble du trafic réseau est donc passé atomatiquement et quasi-instantanément sur notre interconnexion avec JAGUAR. Le connecteur a été remplacé dans la matinée, et le trafic réseau a été à nouveau réparti sur nos 2 transits redondants.
27.05.2013des soucis chez nos transits dans l'après-midi, JAGUAR a été victime d'un DDOS une bonne partie de l'après-midi et IELO a subi une saturation d'un de ses liens. La conséquence visible pour notre infrastructure a été une forte latence entre 17h09 et 17h12 environ.
15.05.2013incident sur notre serveur web mutualisé, environ 20 minutes d'indisponibilité vers 15h30.
07.05.2013remplacement du 2ème routeur vers 02h00 du matin. L'opération a été complètement transparente pour la production. Nos 2 routeurs redondants tournent désormais avec OpenBSD 5.2
24.04.2013bascule planifiée vers 3h20 sur le nouveau routeur mis en place il y a un mois. Suite à cette bascule, il y a eu des ajustements nécessaires et il y a eu une coupure de quelques secondes, ainsi que des perturbations réseau partielles qui ont pu se prolonger jusqu'à 10h environ.
19.04.2013nous avons subi une attaque DDOS de 21h45 à 22h35, de légères perturbations (principalement sur des anciennes adresses IP plus utilisées).
13.03.2013remplacement planifié d'un routeur vers 2h, opération transparente grâce à la redondance de nos routeurs.
28.02.2013une mise-à-jour applicative a provoqué un downtime de l'un de nos serveurs DNS/NTP entre 22h et 23h.
18.12.2012Maintenance de JAGUAR, l'un de nos opérateurs de transit, entre 00h et 06h00. Cela a été transparent pour notre infra grâce à notre connexion multi-opérateurs.
31.10.2012Maintenance entre 2h et 7h du matin de l'un de nos serveurs DNS secondaires.
20.09.2012L'adresse IP de notre principal serveur NTP ntp.evolix.net a changé ; son IPv4 est désormais 31.170.8.123 et son IPv6 2a01:9500::123 (ntp.ipv6.evolix.net)
27.07.2012intervention prévue entre 02h00 et 06h00 en raison d'un déménagement de quelques infrastructures. Quelques serveurs dédiés (dont les clients avaient prévénus) ont été concernés par une coupure.
19.07.2012Un incident chez l'opérateur JAGUAR provoque quelques ralentissements sur notre infra entre 22h10 et 23h40, voir notre Smokeping public
05.05.2012Coupure des connexions ADSL/SDSL de notre bureau de vendredi soir à dimanche après-midi suite à un répartiteur complètement détruit. L'accès à notre interface EvoGestion a donc été indisponible durant ce temps.
11.04.2012soucis réseau partiels (notamment de notre fournisseur JAGUAR) entre 10h20 et 10h40 à cause d'un incident électrique majeur dans un datacenter parisien (TeleHouse2). La plupart des FAIs français ont également été impactés.
29.12.2011notre serveur MX secondaire mx2.evolix.net a changé d'adresses IPv4 et IPv6. Cette opération a été complètement transparente.
25.11.2011maintenance planifiée sur l'un des deux switchs Gigabit centraux au datacenter SFR de Marseille. Une coupure réseau de quelques minutes a impacté la plupart des serveurs durant le déplacement du switch vers 1h00 du matin. Par la suite, quelques serveurs ont pu ressentir une mini-coupure dû à des remplacements de leur câble réseau.
29.09.2011plantage d'un de nos 2 routeurs/firewalls centraux à 11h15, tout a basculé de façon transparente sur le 2e routeur/firewall (sessions comprises), et cela a donc été complètement transparent. La bascule inverse a été efectuée à 12h35.
28.09.2011une maintenance d'un de nos opérateurs (JAGUAR NETWORK) au datacenter SFR de Marseille a provoqué une coupure réseau d'environ 5 minutes entre 0h40 et 00h45. Cela a impacté tous les serveurs n'ayant pas encore basculé en mode multi-opérateurs
27.08.2011une erreur sur un des nouveaux routeurs/firewalls d'entrée au datacenter SFR de Marseille a nécessité une intervention en toute urgence au datacenter : l'incident s'est déclaré à 14h19, tout était rétabli à 14h45.
25.08.2011modification des routeurs/firewalls centraux d'Evolix au datacenter SFR de Marseille. Deux coupures d'une minute environ ont été faites pour la plupart des serveurs entre 1h et 2h.
08.06.2011c'est le jour de l'IPv6-day. Tout comme Google, Facebook, etc. la plupart de nos services sont actifs en IPv4 ET IPv6 avec le même enregistrement DNS : le but étant de tester la cohabitation IPv4/IPv6, nous sommes preneurs de vos retours !
26.05.2011déménagement de nos serveurs se trouvant au datacenter LOST OASIS vers le datacenter SFR de Marseille. Cela a concerné une dizaine de serveurs : très peu de serveurs client, et surtout des services comme la Forge Evolix, le serveur Jabber, etc. Les opérations de déménagement se sont déroulées entre 22h et 2h du matin.
à partir de 21h30, déménagement de services annexes. Coupures à prévoir sur les services : Forge Evolix, Jabber, etc.
10.04.2011intervention sur les firewalls de datacenter SFR/NEUF CEGETEL dans la nuit de samedi à dimanche, une coupure réseau vers 2h du matin.
09.01.2011vers 3h du matin, l'un de nos deux routeurs/firewalls au datacenter Neuf/SFR de Marseille a eu une défaillance, provoquant une coupure réseau de quelques minutes (similaire à celle du 26.10.2010).
04.12.2010Incident avec le serveur web-mutu détecté à 14h20. Nécessité de se déplacer. À 15h20, les diagnostics sur place étaient réalisés et le serveur redémarré (fsck, check quota, etc.) et 15h30, l'incident était clos.
02.12.2010Perturbations avec une ligne SDSL de nos bureaux en fin d'après-midi et dans la nuit. Cela provoque des indisponibilités pour l'accès à notre interface EvoGestion...
26.10.2010Coupure de quelques secondes vers minuit au datacenter Neuf/SFR de Marseille pour une intervention sur nos routeurs/firewalls.
26.10.2010Coupure réseau de 3 minutes (de 10h36 à 10h39) sur notre infrastructure présente au datacenter Neuf/SFR de Marseille. L'un de nos deux routeurs/firewalls a eu une défaillance matérielle, ce qui a provoqué cette petite coupure. La bascule automatique sur le 2e routeur a fonctionné, mais cela n'a pas été tout à fait instantanée car la panne du 1er routeur n'a pas été franche, ce qui a provoqué cette "latence" de 2 à 3 minutes.
04.10.2010Soucis électrique majeur au datacenter SFR/NEUF CEGETEL de Marseille de 15h15 à 15h30. Cela a provoqué le reboot de tous les équipements du datacenter. Vers 15h45, la quasi-totalité des équipements étaient redémarrés et vérifiés. Attention, en paralèlle, cela a impacté certains opérateurs ADSL sur la région marseillaise comme Free ou Nerim.
20.07.2010Coupure de 10 min entre 17h25 et 17h35 au datacenter LOST OASIS de Marseille suite à un incident opérateur (annonce d'Opentransit par erreur d'une plage d'adresses d'adresse IP appartenant à LOST OASIS).
13.07.2010Coupure de 10 min entre 00h05 et 00h10 au datacenter SFR/NEUF CEGETEL de Marseille pour mise-à-jour des OS de certains routeurs.
28.06.2010Le serveur "ntp.evolix.net" a été indisponible environ 1h30 (de 00h48 à 02h14) suite à un soucis matériel.
29.05.2010Coupure de quelques minutes au datacenter LOST OASIS de Marseille vers 2h, notre opérateur réalisant un remplacement d'un routeur.
06.05.2010Mise-à-jour des routeurs/firewalls centraux d'Evolix et de notre opérateur JAGUAR au datacenter SFR/NEUF CEGETEL de Marseille. Une coupure complète a eu lieu de 1h20 à 2h00.
28.04.2010Vers 1h, brève coupure électrique au datacenter LOST OASIS de Marseille provoquant un reboot de tous les serveurs dans ce datacenter. Certains problèmes se sont prolongés avec un serveur de sauvegarde.
23.04.2010Mise-à-jour majeure du serveur web-mutu (Debian Etch->Lenny, PHP 5.2.0->5.2.6, etc.). La migration a été rapide, et la coupure uniquement de quelques minutes vers 23h45.
18.04.2009Migration de notre 2e serveur MX secondaire (mx3.evolix.net) vers un nouveau serveur (nouvelle adresse IP).
15.02.2009A 18h, mise-à-jour du firewall du datacenter LOST OASIS de Marseille. Coupure des services complete pendant moins d'une minute, tout s'est très bien passé.
29.01.2010Mise-à-jour du serveur mail-mutu en cours : downtime complet entre 23h-0h, puis reprise des services SMTP, POP, IMAP, webmail, etc.
21.01.2010Mise-à-jour d'un serveur interne, quelques services concernés par une coupure entre 22h et minuit (sites web annexes, gestionnaire de liste de diffusion, gestionnaire de tickets, etc.)
01.11.2009Mise-à-jour des noyaux Linux des serveurs web-mutu et mail-mutu (quelques minutes de coupures entre minuit et 1h)
14.10.2009Mise-à-jour du serveur hébergeant NS principal et MX secondaire.
19.09.2009Incident sur le serveur web-mutu, inaccessibilité entre 14h23 et 15h20.
14.09.2009Mise-à-jour sur le serveur ntp.evolix.net, inaccessibilité entre 19h et 20h
11.08.2009de nouvelles restrictions ont été mises en place pour l'accès FTP et SFTP/SSH sur le serveur web-mutu. La connexion n'est plus possible depuis des adresses IP russes, chinoises et coréennes. Des perturbations sur ces services ont pû avoir lieu lors de la mise en place.
15.07.2009ce matin, à 8h45, le serveur web-mutu a planté (Kernel Panic). Une intervention sur place a été nécessaire, il est reparti à 10h45, soit 2h d'inaccessibilité.
10.05.2009dans la nuit du samedi 09 au dimanche 10, intervention de maintenance sur les serveurs mail-mutu et web-mutu (vérifications matérielles, mise-à-jour du noyau de mail-mutu et ajout de mémoire). Les coupures ont durées quelques minutes entre 2h et 4h.
05.05.2009de 12h à 15h, de fortes perturbations réseau au datacenter NEUF CEGETEL de Marseille, l'un de nos clients a été la tête d'affiche des journaux télévisés et de sites à fort trafic ! La situation s'est stabilisée à partir de 15h. Mais de nouvelles perturbations sont à noter le 06.05.2009 entre 9h30 et 10h30, la situation est redevenue normale ensuite.
04.05.2009entre 6h et 9h30, le serveur web-mutu a été complètement inaccessible suite à un plantage du noyau.
04.03.2009perturbations réseau au datacenter NEUF CEGETEL de Marseille de 10 minutes (17h53 à 18h03) suite à un incident réseau sur nos routeurs redondants.
27.02.2009redémarrage du serveur web-mutu pour une mise-à-jour du noyau entre 0h15 et 0h30.
24.02.2009perturbations réseau au datacenter NEUF CEGETEL de Marseille entre 15h et 16h dûes à des problèmes sur les routeurs d'entrée. L'utilisation de routeurs redondants a minimisé ce problème.
28.12.2008serveur web-mutu fortement ralenti de 6h30 à 14h30 pour un problème général de mémoire disponible.
13.12.2008migration majeure du serveur mail-mutu. La coupure des services a duré de 03h00 à 05h00.
13.11.2008Afin de finaliser complètement l'installation des routeurs redondants au datacenter NEUF CEGETEL de Marseille, une coupure d'une petite minute a eu lieu aux alentours de 2h du matin (nuit de mercredi à jeudi).
11.11.2008À nouveau un problème avec un des sites hébergés qui lance un script PHP consommant trop de ressource, rendant le serveur inaccessible entre 8h22 et 9h46.
11.11.2008Remplacement prévu du routeur principal du datacenter NEUF CEGETEL de Marseille par des routeurs redondants et plus récents. L'intervention est intervenue dans la nuit de lundi à mardi, et une coupure a eu lieu de 1h48 jusqu'à 2h23.
10.11.2008Un des sites hébergés sur le serveur web-mutu a provoqué une charge importante, rendant le serveur inaccessible entre 8h30 et 9h50.
06.11.2008Incidents au datacenter NEUF CEGETEL de Marseille entre 4h15 et 5h45 du matin. Nous sommes intervenus sur place pour changer l'alimentation du routeur principal et constater qu'un port d'un switch Cisco était hors service.
13.07.2008Migration de l'IP du principal serveur DNS secondaire : ns2.evolix.net
25/26.06.2008Une maintenance sur un équipement réseau au datacenter NEUF CEGETEL de Marseille a provoqué une coupure réseau d'environ 20 minutes entre 0h et 2h.
19/20.06.2008Dans le but d'améliorer notre infrastructure de sauvegarde distante, nous avons effectué des travaux dans la nuit du jeudi 19 au vendredi 20 juin 2008 : l'envoi quotidien ne sera pas effectué et l'adresse IP du serveur centralisant les sauvegardes a changé.
16.06.2008Notre serveur NTP a changé d'adresse IP.
08.05.2008Incident avec la climatisation au datacenter NEUF CEGETEL de Marseille qui a disjoncté et cela a provoqué une température anormalement élevée. Vers 11h15, certains serveurs se sont automatiquement arrêtés par sécurité (cela ne concerne pas les serveurs hébergeant les services web et mail mutualisés). Nous sommes arrivés sur place vers 11h45 où notre opérateur et la société effectuant la maintenance sur la climatisation étaient déjà présents. Les serveurs arrêtés ont été remis en route entre 12h et 12h15 (la climatisation était repartie depuis 11h30). La grande majorité des serveurs n'a pas été impactée par cet incident.
22.04.2008Incident au datacenter NEUF CEGETEL de Marseille avec l'alimentation de notre routeur principal vers 12h provoquant un trafic très perturbé. Nous sommes arrivés à 13h au datacenter avec un routeur de remplacement, celui-ci a été mis en production à 14h et cela a résolu tous les problèmes pour la grande majorité des serveurs ; l'incident a été définitivement clos à 15h avec le retour du trafic vers les serveurs dédiés non maintenus.

Copyright © 2004-2018 Evolix. Tous droits réservés.