Historical record of incidents for Whaller
Report: "Certaines pages sont inaccessibles"
Last updateCertaines pages ont été inaccessibles pendant quelques instants suite à une modification de la configuration des notifications.Vous pouvez maintenant choisir si vous désirez recevoir le son des notifications du service Discussions.
Report: "Certaines pages sont inaccessibles"
Last updateCertaines pages ont été inaccessibles pendant quelques instants suite à une modification de la configuration des notifications. Vous pouvez maintenant choisir si vous désirez recevoir le son des notifications du service Discussions.
Report: "Maintenance des Discussions"
Last updateThe scheduled maintenance has been completed.
Scheduled maintenance is currently in progress. We will provide updates as necessary.
We will be undergoing scheduled maintenance during this time.
Report: "Discussions inaccessibles"
Last updateThis incident has been resolved.
The issue has been identified and a fix is being implemented.
Report: "Discussions inaccessibles"
Last updateThis incident has been resolved.
The issue has been identified and a fix is being implemented.
Report: "Maintenance programmée du composant Visio"
Last updateThe scheduled maintenance has been completed.
Scheduled maintenance is currently in progress. We will provide updates as necessary.
Nous effectuerons une maintenance du composant visio ce soir.Pendant la période de maintenance, il ne sera pas possible de créer de nouvelles visio, mais celles en cours ne seront pas impactées.
Report: "Les discussions ne chargent pas"
Last updateThis incident has been resolved.
We are continuing to monitor for any further issues.
A fix has been implemented and we are monitoring the results.
The issue has been identified and a fix is being implemented.
Report: "Whaller est indisponible"
Last updateLa plateforme a été inaccessible quelques instants suite à une indisponibilité de notre cluster de données. L'équipe technique a résolu rapidement cette inaccessibilité.
Report: "Discussions est momentanément indisponible (ajout de ressources)"
Last updateLe services "Discussions" est à nouveau disponible. Merci de votre compréhension.
Le module de messagerie instantanée est momentanément indisponible. Nous ajoutons des ressources aux machines concernées. Le service sera rétabli d'ici quelques minutes.
Report: "Whaller inaccessibles pour certains utilisateurs"
Last updateCertains utilisateurs ont pu avoir des problèmes d'accès à Whaller, suite à une défaillance technique de notre hébergement. -- Ce ticket sera complété au fur et à mesure de nos investigations
Report: "Perte SaaS"
Last updateNous subissons actuellement un incident sur le service principal de Whaller. La cause est identifiée et nos équipes sont en train de tout faire pour rétablir la situation.
Report: "Whaller est indisponible"
Last updateL'incident est clos, nous vous prions de bien vouloir nous excuser.
Un déploiement de mise en production s'est mal passé. Nous redéployons dans les minutes qui viennent.
Report: "L'envoi de messages par Discussions affiche "Envoi en cours""
Last updateThis incident has been resolved.
A fix has been implemented and we are monitoring the results.
We are currently investigating this issue.
Report: "Les fichiers sont inaccessibles"
Last update# Postmortem : Fichiers inaccessibles ## Résumé Le 12 mars 2025, une indisponibilité des fichiers a été constatée sur Whaller SaaS. Cet incident était dû à un problème chez notre hébergeur OVHcloud, qui a rencontré un dysfonctionnement de son service Keystone API à partir de **18:15 UTC** \(19:15 heure locale\). L'indisponibilité a duré **3 heures et 10 minutes**, le problème ayant été résolu à **21:25 UTC** \(22:25 heure locale\). Durant cette période, les fichiers hébergés sur Object Storage étaient inaccessibles, sauf ceux mis en cache \(images\). Le service a été rétabli après la résolution de l'incident par OVHcloud et une vérification de notre côté. ## Chronologie des événements * **18:15 UTC \(19:15 heure locale\)** : Début de l'incident chez OVHcloud, affectant le service Keystone API. * **19:59** : Détection d'un problème d'affichage de fichiers et de logos dans l'annuaire sur Whaller. * **20:08** : Déclaration de l'incident sur StatusPage par les équipes techniques de Whaller. * **20:12** : Création d'un incident chez OVHcloud pour suivi. * **20:18** : Confirmation que l'incident est lié à OVHcloud, suivi de l'incident sur leur plateforme. * **21:25 UTC \(22:25 heure locale\)** : OVHcloud annonce la résolution du problème. * **22:40** : Clôture de l'incident chez OVHcloud après vérification du retour à la normale. * **22:43** : Vérification de l'accès aux fichiers et clôture de l'incident sur Whaller. ## Difficultés rencontrées ### Côté OVHcloud : * Une panne du service Keystone API a rendu l’authentification impossible pour les services Object Storage utilisés par Whaller * Le diagnostic initial a pris du temps, allongeant la durée de l’incident. ### Côté Whaller : * Aucune action technique directe possible, la dépendance à OVHcloud limitant les capacités d’intervention. * Le manque d’informations précises au début de l’incident a retardé la confirmation de l’origine du problème mais n'a pas impacté la résolution en temps que telle ## Cause de l'incident Un dysfonctionnement du service Keystone API d’OVHcloud a entraîné une impossibilité d’authentification aux services de stockage, impactant la disponibilité des fichiers Whaller SaaS stockés sur Object Storage. ## Perte de données Aucune perte de données n’a été constatée. L’accès aux fichiers a été rétabli dès la résolution de l’incident. ## Source Voici le lien vers le postmortem OVHcloud : [https://public-cloud.status-ovhcloud.com/incidents/9myc4g6tfvlb](https://public-cloud.status-ovhcloud.com/incidents/9myc4g6tfvlb)
This incident has been resolved.
L'incident est lié à notre hébergeur OVHcloud, voici l'URL de suivi de son incident dont Whaller dépend : https://public-cloud.status-ovhcloud.com/incidents/9myc4g6tfvlb
Les fichiers sur la production sont inaccessibles. A première vue il s'agit d'un incident de notre hébergeur OVHcloud. Nous vous tenons informés.
Report: "Le contenu des fichiers office ne s'affiche pas dans les viewers"
Last updateLe 12 mars 2025 entre 7:50 et 10:45, un incident a affecté l'éditeur et la visionneuse de documents, affichant des fichiers vides lors de l'édition ou de la visualisation en ligne. Les équipes techniques ont rapidement identifié et résolu le problème. Aucune perte de données n'a été constatée. ## Chronologie des événements * **07:50** : Début de l'incident. * **09:16** : Découverte de l'incident. Les documents apparaissent vides dans l'éditeur et la visionneuse. * **09:20** : Les équipes techniques commencent l'investigation pour comprendre l'origine du problème. * **09:37** : Identification d'une erreur de communication entre Whaller365 et le serveur de fichiers. * **10:18** : Déploiement d'un correctif pour bloquer l'édition en ligne, afin de ne pas créer de documents vides. * **10:20** : Redémarrage des serveurs Whaller365. * **10:42** : Déploiement d'un correctif pour rétablir l'édition en ligne et résolution de l'incident. * **12:24** : Fin de la vérification globale des fichiers, aucune perte de données constatée. ## Difficultés rencontrées * Identification de la cause racine due à la complexité de l'interaction entre Whaller365 et le serveur de fichiers. * Gestion des effets de bord imprévus lors de l'enregistrement des fichiers. ## Cause de l'incident L'incident a été causé par une erreur de communication entre Whaller365 et le serveur de fichiers, résultant en des fichiers vides lors de l'édition et la visualisation en ligne. ## Perte de données Aucune perte de données n'a été constatée. Les fichiers ont été vérifiés et sont intacts. ## Mesures de remédiation * Déploiement de correctifs pour stabiliser l'édition en ligne. * Amélioration des mécanismes de surveillance pour détecter rapidement les erreurs de communication entre les services.
Nous avons identifié le problème et corrigé. L'édition des fichiers en ligne a été restauré. Si des fichiers que vous auriez édité pendant la période de l'incident sont vides, nous vous invitons à simplement restaurer une version précédente via "Historique des versions". Les données n'ont pas été perdues.
Nous avons désactivé temporairement l'édition en ligne des fichiers office en raison du problème initial, en effet les fichiers édités paraissent vides et enregistrent ainsi des versions vides des fichiers. Si vous avez été dans ce cas, nous vous invitons à restaurer la version précédente du fichier pour le retrouver. Le téléchargement fonctionne.
The issue has been identified and a fix is being implemented.
Report: "Ralentissements sur l'envoi d'emails"
Last updateThis incident has been resolved.
Des ralentissements peuvent être observés sur l'envoi des emails
Report: "Les notifications ne sont pas envoyées"
Last updateThis incident has been resolved.
The issue has been identified and a fix is being implemented.
Report: "Connexion SSO impossible"
Last update# Post-mortem : Incident de connexion SSO sur les sites en marque blanche ## Résumé Le 6 février 2025, un incident a rendu impossible la connexion via SSO sur les sites en marque blanche. L'incident a été signalé par un client et confirmé par les équipes techniques. La cause principale était une constante manquante dans le code d'une librairie tierce. Une correction a été déployée en production à 10h56, rétablissant le service. ## Chronologie des événements * **08:43** : Réception d'un e-mail client signalant l'impossibilité de se connecter. * **08:52** : Les équipes techniques sont alertées. * **08:54** : Prise en charge de l'incident. * **09:09** : Création d'une page StatusPage indiquant l'incident. * **09:12** : Identification de la cause : une constante absente dans le code. * **09:36** : Soumission d'une correction pour un problème lié au SSO. * **09:48** : Mise en production d'une première correction générique * **10:56** : Mise en production d'une seconde correction spécifique à une marque blanche particulière, rétablissant pleinement le service. ## Difficultés rencontrées * Identification tardive du lien avec le problème rencontré la veille. * Déploiement de plusieurs corrections distinctes pour résoudre l'ensemble des problèmes liés au SSO. ## Cause de l'incident Une constante essentielle pour l'authentification SSO était absente dans le code d'une librairie tierce récemment mise à jour, empêchant le bon fonctionnement de la connexion. ## Perte de données Aucune perte de données n'a été constatée. L'incident a uniquement impacté l'accès au service. ## Mesures de remédiation * Mise en place d'une surveillance renforcée des connexions SSO pour anticiper les défaillances. * Documentation du processus de gestion des incidents pour une meilleure réactivité en cas de problème similaire à l'avenir.
L'incident est résolu, l'authentification SSO fonctionne à nouveau. Nous publierons un postmortem dans la journée.
Le problème a été identifié, c'est un problème de librairie de code. Nos équipes techniques sont en train de réparer.
Nous subissons un problème sur le mécanisme d'authentification SSO qui est impossible sur les sites en marque blanche. Nos équipes sont mobilisées pour résoudre ce problème au plus vite.
Report: "Les SMS ne sont pas envoyés"
Last updateThis incident has been resolved.
A fix has been implemented and we are monitoring the results.
The issue has been identified and a fix is being implemented.
Report: "Le service Discussions est inaccessible"
Last update### Rapport de Postmortem - Incident du 16 au 19 janvier 2025 #### Résumé Un incident de performance a été détecté après la mise en production d'une nouvelle version du service Discussions, résultant en des temps de chargement excessifs lors de la création de discussions. Plusieurs tentatives de correction ont été menées sans succès avant qu’une solution définitive ne soit mise en place le 19 janvier 2025. #### Chronologie des événements * **16 janvier 2025 à 16:00** : Mise en production de la nouvelle version du service Discussions. * **17 janvier 2025 à 18:00** : Rollback d’un composant sans impact sur le problème. * **18 janvier 2025 à 18:00** : Mise en production d’un correctif ajoutant un throttle \(limitation du débit de traitement des messages\) sur la récupération des messages, sans effet. * **19 janvier 2025 à 14:00** : Mise en production d’un correctif final corrigeant le problème. #### Difficultés rencontrées * Difficulté à reproduire le problème sur les environnements de test. * Synchronisation défaillante entre les différents onglets du navigateur, provoquant une surcharge et un blocage du navigateur. #### Cause de l'incident Une mauvaise gestion de la communication entre onglets a entraîné une surcharge du navigateur. #### Perte de données Aucune perte de données utilisateur n’a été détectée. #### Mesures de remédiation * Correction de la gestion des onglets pour éviter les communications redondantes. * Amélioration de la gestion des débits de messages entrants. * Mise à jour du core pour stabiliser l’interface avec le serveur ejabberd.
This incident has been resolved.
A fix has been implemented and we are monitoring the results.
We are currently investigating this issue.
Report: "L'accès aux fichiers est indisponible"
Last updateDurant le week-end du 18/19 janvier 2025, l'accès aux fichiers a pu être indisponible pour certains utilisateurs. Ceci était lié à un matériel physique défaillant sur l'infrastructure qui supporte la passerelle donnant l'accès aux fichiers. Nous avons résolu les erreurs lundi matin 9:30. Aucune perte de données n’a été constatée durant l’incident.
Durant le week-end du 18/19 janvier 2025, l'accès aux fichiers a pu être indisponible pour certains utilisateurs. Ceci était lié à un matériel physique défaillant sur l'infrastructure qui supporte la passerelle donnant l'accès aux fichiers. Nous avons résolu les erreurs lundi matin 9:30. Aucune perte de données n’a été constatée durant l’incident.
Report: "Whaller365 inaccessilble"
Last updateWhaller365 a été inaccessible jeudi 20 décembre 2024 de 18:10 à 18:50 suite à une erreur de configuration. Une fois la configuration corrigée, les services ont fonctionné de nouveau correctement. Il n'y a eu aucune perte de données sur cette période. Les utilisateurs ont uniquement rencontré une indisponibilité temporaire.
Report: "L'édition des documents n'est pas possible, la visualisation fonctionne"
Last update## Résumé Le 16 septembre 2024, la licence **OnlyOffice** n'a pas été renouvelée à temps, empêchant les utilisateurs de l'offre Whaller365 d'éditer des documents. L'incident a été résolu après l'obtention et l'installation d'une nouvelle licence. ## Chronologie des événements * **10h00** : Un client signale que l'édition de documents dans OnlyOffice ne fonctionne plus. * **10h05** : Les équipes techniques contactent le fournisseur pour obtenir une nouvelle licence. * **11h00** : La nouvelle licence est reçue après paiement. * **11h20** : La licence est installée par les équipes techniques. * **11h24** : L’incident est clôturé après confirmation du retour à la normale. ## Difficultés rencontrées * L'alerte habituelle de renouvellement envoyée par le fournisseur n’a pas été reçue. ## Cause de l'incident L’absence de rappel automatique interne et l'absence d'alerte de la part du fournisseur ont conduit à l’expiration de la licence **OnlyOffice**, bloquant l’édition des documents. ## Perte de données Aucune perte de données n’a été constatée. Les documents des utilisateurs sont restés intacts. ## Mesures de remédiation **Mise en place d’un suivi des licences** : 1. Mise à jour des dates d’expiration des licences dans **GLPI**. 2. Création de l’alerte automatique pour les renouvellements de licence à venir. Les équipes techniques s’engagent à renforcer ces mesures pour éviter que ce type d’incident ne se reproduise.
This incident has been resolved.
The issue has been identified and a fix is being implemented.
Report: "Les fichiers Word, Excel et PowerPoint ne peuvent plus être visualisés ou édités"
Last update## Résumé Le 13 octobre 2024, les utilisateurs ont rencontré une impossibilité de charger et d’éditer les fichiers Word, Excel et PowerPoint dans OnlyOffice. L’incident a été détecté par un signalement client et a été résolu après intervention des équipes techniques sur un problème lié au service **Nginx**. ## Chronologie des événements * **22h00** : Signalement du problème par un client. * **22h45** : Les équipes techniques reproduisent l’incident. * **22h46** : Investigation en cours sur les serveurs frontaux. * **22h54** : Création de la page d’incident pour informer les utilisateurs. * **22h58** : Redémarrage manuel de **Nginx** effectué, résolution de l’incident. ## Difficultés rencontrées * Les alertes automatisées étaient noyées parmi d’autres alertes non critiques, retardant la détection proactive. * Le problème provenait d’un dysfonctionnement de **logrotate** qui a déclenché un redémarrage en boucle du service **Nginx**. ## Cause de l’incident Une erreur dans la configuration de **logrotate** pour les logs `modsec_audit` a conduit à un redémarrage répété du service **Nginx**. Après plusieurs échecs, **systemd** a arrêté les tentatives de redémarrage automatique, laissant le service à l’arrêt. ## Perte de données Aucune perte de données n’a été constatée durant cet incident. ## Mesures de remédiation 1. **Correction de la configuration logrotate** * Modification de la configutration * Déploiement de cette correction dans les scripts **Ansible** pour garantir une application uniforme. 2. **Amélioration de la surveillance** * Filtrage des alertes pour éviter les fausses notifications. * Ajout d’alertes spécifiques pour détecter l’arrêt anormal des services critiques comme **Nginx**. Les équipes techniques restent mobilisées pour garantir la stabilité du service et remercient les utilisateurs pour leur compréhension.
L'incident est résolu.
We are continuing to investigate this issue.
Le service de visualisation et d'édition en ligne des fichiers bureautiques ne fonctionne plus.
Report: "Whaller inaccessible"
Last update### Postmortem Incident de Production - Inaccessibilité du 30 octobre 2024 #### Résumé Le 30 octobre 2024, le service a été temporairement inaccessible en raison d’un incident réseau chez notre hébergeur, OVHcloud. Le problème a été résolu rapidement, mais l’accès à notre plateforme a été perturbé pendant environ 9 minutes. #### Chronologie des événements * **14h16** : Début d’une mauvaise configuration sur un réseau pair \(Worldstream\), provoquant une saturation des liens de peering OVHcloud. * **14h30** : Nos équipes sont informées de l’inaccessibilité de notre plateforme. * **14h38** : OVHcloud met en place une mitigation. * **14h39** : Retour à la normale confirmé, incident clôturé côté Whaller. * **14h40** : L’incident est résolu côté OVHcloud. #### Difficultés rencontrées 1. **Dépendance à l’infrastructure réseau d’un fournisseur externe** : Les instabilités de réseau ont eu un impact direct sur l’accès à nos services. 2. **Temps limité pour réagir** : Bien que l’incident ait été résolu rapidement par OVHcloud, il a affecté nos utilisateurs avant que nous puissions intervenir. #### Cause de l’incident L’incident a été causé par une configuration défectueuse sur un réseau pair utilisé par OVHcloud. Cette configuration a conduit à une saturation des liens de peering, affectant la connectivité de plusieurs clients OVHcloud, y compris notre plateforme. #### Perte de données Aucune perte de données n’a été constatée. Les utilisateurs ont uniquement rencontré une indisponibilité temporaire. #### Mesures de remédiation 1. **Renforcement des alertes réseau** : Mise en place d’alertes pour détecter rapidement les dégradations réseau externes. 2. **Communication améliorée** : Collaboration étroite avec OVHcloud pour une notification proactive des incidents critiques. Nous vous remercions pour votre compréhension et votre patience lors de cet incident. Si vous avez des questions, n’hésitez pas à nous contacter.
Suite à un incident chez notre hébergeur, la plateforme Whaller a été inaccessible durant 10 minutes entre 14:30 et 14:40. Pour plus d'informations : https://network.status-ovhcloud.com/incidents/qgb1ynp8x0c4
Report: "Lenteurs sur la production | Slow production"
Last update### Postmortem Incident de Production - Lenteurs du 8 novembre 2024 #### Résumé Le 8 novembre 2024, des lenteurs importantes ont été constatées sur nos services de production, avec un temps de réponse moyen multiplié par deux et une hausse significative des erreurs. L’incident a été résolu après une série d’actions sur l’infrastructure, notamment la réactivation de services critiques. Ce document présente les événements, les causes et les mesures prises pour éviter toute récurrence. #### Chronologie des événements * **~00h00** : Début des anomalies \(suite à un remplacement de hosts sur l'infrastructure par OVHcloud\). * **07h08** : Les équipes techniques sont alertées suite aux notifications OVHcloud. * **08h11** : Confirmation de la dégradation de performance. Les équipes techniques identifient un taux d’erreur accru et un ralentissement général. * **08h16** : Une communication est publiée sur Statuspage pour informer les utilisateurs. * **08h26** : Redémarrage des processus ProxySQL sur les frontaux SaaS. * **08h45** : Inaccessibilité de certains services. * **08h57-09h01** : Réactivation des interfaces réseau et redémarrage des services. * **09h14** : Identification de VM avec des configurations réseau incorrectes \(non connectées au boot\). * **09h16** : Correction des configurations réseau sur les VM concernées. * **09h30** : Fin de l’incident #### Difficultés rencontrées 1. **Communication tardive des anomalies** : Les anomalies n’ont été identifiées qu’après plusieurs heures. 2. **Manque de redondance immédiate** : La dépendance à des configurations manuelles a retardé la résolution. 3. **Outils non opérationnels** : Certaines VM critiques n’étaient pas accessibles. #### Cause de l’incident L’incident a été causé par une mise à jour de l’infrastructure chez notre hébergeur \(remplacement de hosts physiques [\[RBX8\]\[Hosted Private Cloud\] - Racks R806L22/23/24](https://hosted-private-cloud.status-ovhcloud.com/incidents/fl439stlh482) \), qui a désactivé les interfaces réseau sur plusieurs machines virtuelles critiques. Cela a provoqué des dysfonctionnements dans des services essentiels. #### Perte de données Aucune perte de données n’a été constatée. Toutefois, certains traitements ont pu être retardés, entraînant des temps de réponse prolongés pour les utilisateurs. #### Mesures de remédiation 1. **Audit des configurations réseau** : Vérification de l’activation automatique des interfaces réseau sur toutes les VM. 2. **Automatisation des vérifications post-maintenance** : Déploiement d’outils pour détecter les anomalies après des opérations d’infrastructure. 3. **Amélioration de la supervision** : Renforcement des alertes sur les indicateurs de performance \(taux d’erreur et temps de réponse\). 4. **Plans de redondance** : Révision des mécanismes de basculement automatique pour limiter l’impact des incidents similaires.
Les services défaillants ont été redémarrés, la production a retrouvé une performance nominale.
Nous avons identifié le problème, nous sommes en train de le corriger et redémarrer les services concernés. --- We have identified the problem and are in the process of correcting it and restarting the services concerned.
Nous subissons des lenteurs sur la production mutualisée. Le site est cependant accessible, nous vous tenons informés. --- We are experiencing slowdowns in shared production. The site is still accessible, however, and we will keep you informed.
Report: "Lenteurs sur la production (504)"
Last updateL'incident est clos.
Les temps de latence se sont résorbés, nous continuons à surveiller les services.
La production subit des lenteurs, et des erreurs 504 peuvent survenir. Nous investiguons et vous tenons au courant de nos avancées.
Report: "La production subit des lenteurs"
Last update### Résumé Le 08 octobre 2024, un incident a eu lieu sur notre infrastructure hébergée, entraînant l’indisponibilité de certains services. Les équipes techniques ont diagnostiqué le problème et ont travaillé en collaboration avec notre fournisseur pour restaurer le service. L'incident a été résolu dans un délai de 6 heures. ### Chronologie des événements * **18:30** : Détection initiale du problème, des pages ne sont pas chargées correctement. * **19:15** : Les équipes techniques sont informées de l’incident. * **19:45** : Analyse initiale réalisée, suspicion d’un lien avec un incident de notre fournisseur d’hébergement. * **20:05** : Incident déclaré auprès du fournisseur d’hébergement. * **22:45** : Appel au fournisseur pour demander un remplacement des ressources matérielles défectueuses. * **23:25** : Opération de maintenance terminée en interne suite au remplacement des ressources matérielles défectueuses. * **00:15** : Redémarrage des services impactés. * **00:17** : Intervention manuelle sur d’autres services, restauration complète des fonctionnalités. * **00:32** : Clôture de l’incident. ### Difficultés rencontrées Les équipes techniques ont rencontré des difficultés liées à l’indisponibilité soudaine d’un hôte et à la nécessité d’intervenir manuellement sur plusieurs services pour restaurer les connexions réseau et relancer les services. Le délai de réponse du fournisseur d’hébergement a également allongé la durée de résolution. ### Cause de l'incident L’incident a été causé par la défaillance d’un hôte dans notre infrastructure hébergée, impactant la disponibilité des services critiques. Le suivi de l’incident est disponible se trouve ici : [\[RBX\]\[Hosted Private Cloud\] - Hosts unreachable incident notifcation](https://hosted-private-cloud.status-ovhcloud.com/incidents/k7gc5f33n5sg) ### Perte de données Aucune perte de données n’a été constatée durant l’incident. Les actions correctives ont été menées de manière à préserver l’intégrité des données. ### Mesures de remédiation * Collaboration renforcée avec le fournisseur d’hébergement pour améliorer les délais de remplacement des hôtes défectueux. * Automatisation des procédures de reconfiguration réseau afin de minimiser les interventions manuelles en cas d’incident similaire. * Amélioration des processus de surveillance pour détecter plus rapidement les anomalies et accélérer la résolution des incidents.
This incident has been resolved.
La cause est dûe à un incident chez notre hébergeur : https://hosted-private-cloud.status-ovhcloud.com/incidents/k7gc5f33n5sg
Nous observons des lenteurs depuis environ 18h40 CET. Nous investiguons.
Report: "Discussions n'est pas accessible"
Last updateLe 30 septembre 2024, une panne de service a affecté la brique Discussions sur la plateforme. L’incident a été causé par une mauvaise gestion des connexions à la base de données, entraînant des déconnexions prolongées et des échecs de requêtes SQL. L'incident a été résolu après des redémarrages multiples des services concernés.
This incident has been resolved.
We are currently investigating this issue.
Report: "Certains annuaires ne sont pas complets"
Last update#### Résumé Le 26 septembre 2024, un incident a impacté la mise à jour des index des annuaires des membres et des sphères sur notre plateforme. Cet incident une fois identifié par les équipes techniques ont immédiatement commencé à analyser le problème. L'origine de l'incident a été rapidement identifiée, et des actions correctives ont été mises en place. La situation a été résolue dans les deux heures suivant la détection. #### Chronologie des événements * **11:36** : Une alerte est lancée en interne concernant la non-mise à jour des index dans plusieurs sphères. * **11:39** : Le problème est escaladé à l'équipe technique, et un ticket critique est créé pour résoudre l'incident. * **12:00** : Les équipes techniques commencent l’analyse des causes probables de l’incident. * **12:08** : L’incident est officiellement déclaré. * **12:10** : L'origine de l’incident est identifiée : elle est liée aux actions de bots exécutées pendant la nuit. * **12:20** : Une réindexation est lancée. * **13:20** : La réindexation se termine, et des vérifications sont effectuées pour s'assurer que tout fonctionne correctement. * **13:35** : L’incident est clôturé. #### Difficultés rencontrées L'une des principales difficultés a été l'identification rapide de la cause exacte de l'incident. Le problème provenait d'actions de maintenance et d’amélioration de la sécurité effectuées durant la nuit, ce qui a rendu l'analyse initiale plus complexe. #### Cause de l'incident L'incident a été causé par des actions de maintenance et d’amélioration de la sécurité effectuées pendant la nuit, qui ont altéré le fonctionnement des index des annuaires des membres et des sphères. Ces actions ont conduit à des incohérences dans les données affichées, nécessitant une réindexation complète. #### Perte de données Aucune perte de données n'a été constatée. Les données des utilisateurs étaient toujours présentes, mais n'étaient pas correctement indexées, ce qui a temporairement empêché leur affichage correct. #### Mesures de remédiation Pour éviter que ce type d'incident ne se reproduise, les mesures suivantes ont été mises en place : * Amélioration des processus d'alerte afin de détecter plus rapidement les incohérences dans l'indexation des données. * Automatisation du processus de réindexation pour réduire le temps de réaction en cas d’incident similaire. Les équipes techniques restent mobilisées pour s'assurer que ces incidents soient traités de manière préventive à l'avenir.
This incident has been resolved.
The issue has been identified and a fix is being implemented.
Report: "Certains événements ne sont plus affichés dans les messages et les calendriers"
Last updateChers utilisateurs, Le 12 septembre 2024, un incident majeur a affecté notre plateforme, entraînant la suppression en masse d'environ 18 000 événements. Cet incident a été causé par un problème dans le traitement des événements suite à une mise en production. ### Détails de l'incident : Lorsqu'un événement était supprimé, une requête incorrectement implémentée a tenté de supprimer l'ensemble des événements dans la base de données. Heureusement, la suppression complète ne s'est pas produite grâce à un timeout, mais un grand nombre d'événements anciens ont été affectés. ### Actions menées : Dès que l'incident a été détecté via les logs, nos équipes ont rapidement déployé à 12h47 un correctif temporaire pour circonscrire le problème et stopper les suppressions en masse. Par la suite, nous avons réimporté les tables concernées pour restaurer les événements supprimés. Enfin, un correctif final a été déployé à 13h50 pour résoudre définitivement le problème. Cependant, certains utilisateurs ont pu être affectés par des acceptations ou refus d'événements non liés, ce qui a également été corrigé. ### Impact et rétablissement : Bien que l'incident ait affecté un grand nombre d'événements, ceux-ci étaient principalement des événements anciens. Aucun événement récent n'a été supprimé. L'incident a été résolu et l'ensemble des fonctionnalités est désormais pleinement opérationnel. Nous avons également renforcé nos tests pour éviter que ce type d'incident ne se reproduise. Nous nous excusons pour la gêne occasionnée et vous remercions de votre compréhension. L'équipe Whaller
L'incident est entièrement résolu.
Les événements supprimés ont été restaurés. Il s'agissait d'anciens événements (plusieurs années en arrière), l'impact utilisateur est donc réduit puisqu'a priori aucun événement en cours ou futur n'a été supprimé. Nous monitorons la production.
Nous avons identifié le problème qui est dû à une mauvaise implémentation de code qui a supprimé un grand nombre d'événements de la base de données. Les événements sont en cours de restauration.
Certains événements ont été supprimés.
Report: "Les documents ne sont pas accessibles"
Last updateLe mercredi 4 septembre 2024, la plate-forme Whaller et les marques blanches hébergées ont connu une indisponibilité de l’accès aux documents stockés dans les messages et les box de sphères. La cause de l’incident est liée à une maintenance programmée effectuée au cours de la nuit. La maintenance avait pour but d’améliorer la sécurité suite à des alertes diffusées par le CERT-FR. Une modification des scripts de déploiement utilisés a entrainé une erreur dans la configuration des serveurs Web. L’incident a été clos à 10:00 suite à la reconfiguration correcte des serveurs Web impactés. Cet incident n’a entrainé ni perte ni corruption de données ni accès non sollicité aux données hébergées par Whaller.
This incident has been resolved.
Les documents stockés dans les box de sphères et Whaller 365 ne sont pas accessibles. Nos équipes travaillent à la résolution du problème.
Report: "Whaller inaccessible"
Last updatePendant 5 minutes, de 11:30 à 11:35, la plateforme Whaller a été inaccessible suite à une perte de connexion à la base de données.
Report: "Discussions indisponibles sur le Web"
Last updateThis incident has been resolved.
We are currently investigating this issue.
Report: "Indisponibilité de la plateforme"
Last updateLe lundi 15 juillet 2024, entre 14:19 et 14:40, la plate-forme Whaller et les marques blanches hébergées ont connu une indisponibilité des services Web et Discussions. La cause de l’incident est liée à une perte de connexion à la base de données qui a entraîné cette indisponibilité. Le redémarrage des services a permis de résoudre l’incident. Cet incident n’a entrainé ni perte ni corruption de données ni accès non sollicité aux données hébergées par Whaller.
We are currently investigating this issue.
Report: "Les discussions instantanées ne sont plus accessibles"
Last updateThis incident has been resolved.
We are continuing to investigate this issue.
We are currently investigating this issue.
Report: "Certains annuaires ne sont pas complets"
Last updateThis incident has been resolved.
The issue has been identified and a fix is being implemented.
We are currently investigating this issue.
Report: "Les annuaires de sphère et les favoris ne sont pas affichés"
Last updateThis incident has been resolved.
We are currently investigating this issue.
Report: "Problèmes d'affichage des favoris et des annuaires de sphères"
Last updateThis incident has been resolved.
Le problème a été identifié et est en cours de correction.
Les favoris n'apparaissent plus dans les interfaces. Les annuaires de sphères sont vides.
Report: "Affichage de fichiers impossible dans Whaller365"
Last updateThis incident has been resolved.
We are currently investigating this issue.
Report: "Whaller inaccessible"
Last updateThis incident has been resolved.
L'incident est résolu, un problème matériel était en cause.
Bonjour, Whaller est inaccessible en ce moment, nos équipes sont sur le pont pour rechercher la cause
Report: "Ralentissements sur la plateforme"
Last updateDes ralentissements pendant la navigation ont eu lieu sur la plateforme. Des actions correctives au niveau de l'infra ont été mises en place, nous avons ensuite retrouvé une meilleure expérience d'utilisation !
Report: "Ralentissement sur la plateforme"
Last updateThis incident has been resolved.
A fix has been implemented and we are monitoring the results.
Report: "Les annuaires ne sont pas accessibles"
Last updateThis incident has been resolved.
A fix has been implemented and we are monitoring the results.
We are currently investigating this issue.
Report: "Des avatars ou des images ne sont pas visibles"
Last updateThis incident has been resolved.
We are currently investigating this issue.
Report: "Fichiers inaccessibles"
Last updateL'incident a été résolu
Une solution de contournement a été mise en place en attendant la résolution du problème chez OVHcloud.
Un incident chez notre hébergeur (OVHcloud) empêche le téléversement et la lecture de certains fichiers partagés par les utilisateurs (box de fichiers). L'incident peut être suivi ici chez eux : https://public-cloud.status-ovhcloud.com/incidents/1shkj36zsphs
Report: "Erreur lors de l'affichage d'un document "L'éditeur a été mis à jour""
Last updateThis incident has been resolved.
A fix has been implemented and we are monitoring the results.
Lors de l'ouverture d'un document, certaines personnes peuvent avoir le message suivant "La version de l'éditeur a été mise à jour."
Report: "Erreurs 504 sur la production"
Last updateThis incident has been resolved.
We are continuing to monitor for any further issues.
L'erreur provoquant les 504 a été réparée, le site est à nouveau opérationnel. Nous surveillons le système.
Whaller rencontre des lenteurs, des erreurs 404 peuvent s'afficher au chargement des pages. Nous investiguons.
Report: "Utilisation de la visio-conférence dans les visio-sphère impossible"
Last updateThis incident has been resolved.
Cause source identifée, la mitigation fonctionne bien. à 11h20, plus personne n'utilise le système fautif et tous les clients ont basculé sur le système sain
Problème identifié et mitigé en attendant de comprendre la cause première
Report: "Impossible de créer, visualiser, éditer les fichiers bureautiques (word, excel, ppt) dans les boxes de fichiers"
Last updateThis incident has been resolved.
Le service est revenu à la normale. Le problème était dû à une surcharge des file systems. Nous remédions au problème.
Nos serveurs d'édition bureautique ne fonctionnent plus. Nous investiguons.
Report: "Les visioconférences ne fonctionnent plus"
Last updateThis incident has been resolved.
Les visioconférences sont à nouveau disponibles.
Les visioconférences sont à nouveau disponibles. Nous vous prions de nous excuser pour cet incident. Nous surveillons la stabilité du service.
Il est impossible d'ouvrir une visio conférence sur nos plateformes. Nos équipes sont mobilisées pour résoudre l'incident au plus vite.
Report: "Les annuaires ne sont pas complets. Une mise à jour est en cours"
Last updateThis incident has been resolved.
The issue has been identified and a fix is being implemented.
Report: "Téléversement de documents indisponible"
Last updateLundi 13 mars 2023 pendant la matinée, certains utilisateurs n’ont pas pu utiliser téléverser des documents sur la plateforme Whaller. Un message d’erreur indiquait que le fichier semblait vérolé et interdisait l’ajout des documents. Les équipes techniques de Whaller ont corrigé les erreurs et le service était rétabli à 12:00. L’erreur était due à des opérations de maintenance et de montée de version sur les machines permettant le téléversement des documents, suite à un redémarrage planifié, le firewall intégré de la machine s’est activé et a bloqué le service anti-virus analysant les fichiers.
We are currently investigating this issue.
Report: "Erreur à la connexion pour des comptes en SSO"
Last updateVendredi 10 mars 2023 pendant la matinée, certains utilisateurs n’ont pas pu utiliser la connexion via SSO pour s’authentifier sur Whaller. Les équipes techniques de Whaller ont corrigé les erreurs et le service était rétabli à 11:40. L’erreur était due à des opérations de maintenance et de montée de version sur les machines proposant le service Whaller aux utilisateurs.
This incident has been resolved.
A fix has been implemented and we are monitoring the results.
The issue has been identified and a fix is being implemented.