Payplug Incident History

# _English version below_ # Post Mortem **Référence incident** TSR-3518 **Service concerné** Demandes de paiements et affichage des transactions. **Impact client** Arrêt d’envoi des liens de paiement et non affichage des nouvelles transactions. **Synthèse de l’incident** * **21 juillet 14h10 : début de l’incident.** * **21 juillet 14h37 :** remontée d’alerte sur un potentiel incident affectant les demandes de paiements. Début des investigations. * **21 juillet 14h53 :** création d’une cellule de crise dédiée. * **21 juillet 14h59 :** communication Statuspage. * **21 juillet 15h : identification de l’origine de l’incident.** * **21 juillet 15h06 :** déploiement des actions correctives. * **21 juillet 15h19 :** remontées de retards dans la remontée des transactions.  * **21 juillet 15h21 :** début de reprise du service.  * **21 juillet 15h30 : fin de l’incident.** **Root cause** Un dysfonctionnement sur l'une de nos instances a provoqué l'absorption massive et anormale d'un grand nombre de données simultanées. Cette surcharge soudaine associée à une gestion synchrone entre deux services a fortement ralenti une partie de notre système et a bloqué la remontée des demandes de paiements sur le Portail. ‌ **Actions prises par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Absence de limite sur l’absorption des données par une instance. | Ajout d’une limite pour éviter un engorgement de l’instance et un ralentissement général de certains services. | | Gestion synchrone entre deux services qui ont ralenti le système une partie de notre système. | Analyses en cours pour fluidifier la communication entre les deux services \(mise en place d’un timeout court ou mise en place d’une gestion asynchrone\). | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-3518 **Payment services affected by the incident** Payment requests and transaction display. **Client impact** Payment links were no longer being sent, and new transactions were not displayed.. **Incident Overview** * **21 July, 2:10 pm: incident began.** * **21 July, 2:37 pm:** alert raised regarding a potential incident affecting payment requests. Investigations commenced. * **21 July, 2:53 pm:** a dedicated crisis management team was established. * **21 July, 2:59 pm:** Statuspage communication published. * **21 July, 3:00 pm: root cause identified.** * **21 July, 3:06 pm:** corrective actions deployed. * **21 July, 3:19 pm:** reports of delays in transaction display received. * **21 July, 3:21 pm:** service recovery began. * **21 July, 3:30 pm: incident resolved.** ‌ **Root cause** A malfunction on one of our instances resulted in the abnormal processing of a large volume of data simultaneously. This sudden overload, combined with synchronous processing between two services, significantly slowed down part of our system and prevented payment requests from being displayed in the Portal. **Actions taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | No limit was in place on the volume of data that could be processed by a single instance. | A limit is currently being implemented to prevent instance saturation and the resulting degradation of certain services. | | Synchronous communication between two services contributed to the slowdown of part of our system. | Investigations are underway to improve communication between the two services, either by introducing a shorter timeout or by implementing asynchronous processing. |

This incident has been resolved.

FR Le service est revenu à la normal depuis 15h30. Nos équipes continuent de monitorer le service. EN The service has been back to normal since 3:30 pm. Our teams continue to monitor the service. IT Il servizio è tornato alla normalità dalle ore 15:30. I nostri team continuano a monitorare il servizio.

FR L'incident affecte également la remontée des transactions qui peuvent apparaître avec du retard. Nos équipes sont mobilisées pour résoudre le problème. EN The incident is also affecting the display of transactions, which may appear with a delay. Our teams are fully mobilised to resolve the issue. IT L'incidente interessa anche la visualizzazione delle transazioni, che potrebbero comparire con ritardo. I nostri team sono mobilitati per risolvere il problema.

FR Les investigations sont toujours en cours. Nous reviendrons vers vous dans 15 minutes. EN Investigations are still ongoing. We will provide you with a further update in 15 minutes. IT Le indagini sono ancora in corso. Vi aggiorneremo tra 15 minuti.

FR Nous avons identifié un problème avec les liens de paiements qui ne remontent pas dans le Portail. Nos équipes sont mobilisées pour résoudre le problème. EN We have identified an issue affecting payment links, which are not appearing in the Portal. Our teams are fully mobilised to resolve the issue. IT Abbiamo identificato un problema per cui i link di pagamento non vengono visualizzati nel Portale. I nostri team sono mobilitati per risolvere il problema.

# _English version below_ # Post Mortem **Service concerné** Paiements en magasin, e-commerce et 3DS. **Impact client** Impossibilité d’effectuer des paiements pour les porteurs. **Synthèse de l’incident** * **7 juin 6h02 :** remontée d’alerte. * **7 juin 6h15 : début de l’incident.** * **7 juin 6h27 :** création d’une cellule de crise dédiée. Début des investigations. * **7 juin 6h28 : identification d’un serveur défectueux chez un prestataire externe.** * **7 juin 6h29 :** contact du prestataire externe. * **7 juin 6h54 :** confirmation du prestataire externe que l’incident est bien chez eux. * **7 juin 6h57 : fin de l’incident.** **Root cause** Incident externe chez un prestataire. ‌ ==============ENGLISH VERSION============== # Post Mortem **Payment services affected by the incident** In-store payments, e-commerce payments and 3DS. **Client impact** Cardholders were unable to make payments. **Incident Overview** * **7 June, 6:02 am:** alert raised. * **7 June 6:15am: incident began.** * **7 June 6:27am:** a dedicated crisis management team was established. Investigations commenced. * **7 June 6:28am: a faulty server was identified at an external service provider.** * **7 June 6:29am:** the external service provider was contacted. * **7 June 6:54am:** the external service provider confirmed that the incident originated on their side. * **7 June 6:57am: Incident resolved.** **Root cause** External incident at a service provider.

TSR-XXXX - Début / Start : 07/06/2026 06:15:00 CEST - Fin / End : 07/06/2026 06:58:00 CEST - Catégorie / Category : Production/ Processing - Responsabilité / Responsibility : Externe - Priorité / Priority : P1 FR L'incident est maintenant résolu et le service est rétabli. Nous continuons à surveiller la reprise du service. EN Incident is now resolved and service restored. Service recovery is still under monitoring.

FR Nous avons identifié des difficultés sur la plateforme de paiement. Après analyse, il apparaît que l’incident est externe à notre plateforme. Nous vous tiendrons informés de l’évolution dès que de nouvelles informations seront disponibles. EN We have identified issues on the payment platform. Following analysis, it appears that the incident is external to our platform. We will keep you informed of any developments as soon as further information becomes available. IT Abbiamo identificato delle difficoltà sulla piattaforma di pagamento. Dopo un’analisi, risulta che l’incidente è esterno alla nostra piattaforma. Vi terremo aggiornati sugli sviluppi non appena saranno disponibili nuove informazioni.

FR Nous avons identifié des difficultés sur les paiements en ligne et en magasins. L'incident est en cours d'analyse. EN We have identified issues affecting online and in-store payments. An investigation is in progress. IT Abbiamo identificato delle difficoltà nei pagamenti online e nei punti vendita. L'incidente è in fase di analisi.

# Post Mortem **Référence incident** TSR-3495 **Service concerné** Paiements E-commerce et 3DS. **Impact client** Impossibilité d’effectuer des paiements pour les porteurs. **Synthèse de l’incident** * **13 juillet :** tentative de renouvellement d’un certificat qui expirera le 15 juillet. Une erreur a provoqué l’échec du renouvellement du certificat. Le délai imposé par Mastercard pour régénérer un certificat repousse l’opération au lendemain. * **14 juillet 9h17 :** mise à jour par le prestataire externe. **Début de l’incident.** * **14 juillet 10h : identification de l’origine de l’incident.** Déploiement du certificat corrigé. * **14 juillet 10h29 : fin de l’incident.** ‌ **Root cause** Dans le cadre d’une intervention menée par un prestataire externe, un certificat utilisé pour sécuriser les échanges a été retiré de manière anticipée alors qu'il était encore valide pendant 24 heures. Une basculte automatique sur un autre certificat s’est déclenchée. Cependant, la configuration de ce certificat, bien que valide, n’était pas reconnue par Mastercard ce qui a entraîné le blocage des appels 3DS malgré la validité du nouveau certificat. **Actions prises par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Méconnaissance de la suppression d’un certificat 24h avant son expiration. | Révision de la documentation sur l’expiration des certificats. | | Absence d’alerte spécifique sur la bascule automatique de certificat 24h avant l’expiration. | Ajout d’une alerte spécifique concernant le mécanisme de bascule automatique intervenant 24 heures avant l'expiration d'un certificat. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-3495 **Payment services affected by the incident** E-commerce payments and 3D Secure. **Client impact** Cardholders were unable to make payments. **Incident Overview** * **13 July:** an attempt was made to renew a certificate due to expire on July, 15th. An error caused the certificate renewal to fail. The waiting period imposed by Mastercard before a new certificate can be generated meant that the operation had to be postponed until the following day. * **14 July, 9:17 am:** update deployed by the external service provider. **Incident began.** * **14 July, 10:00 am: root cause identified.** Deployment of the corrected certificate. * **14 July, 10:29 am: incident resolved.** ‌ **Root cause** As part of an intervention carried out by an external service provider, a certificate used to secure communications was removed prematurely, even though it remained valid for a further 24 hours. This triggered an automatic switchover to another certificate. However, although this certificate was valid, its configuration was not recognised by Mastercard, resulting in 3DS requests being blocked despite the validity of the new certificate. **Actions taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Lack of awareness that a certificate is removed 24 hours before its expiry. | The certificate expiry documentation is being reviewed. | | No specific alert was in place for the automatic certificate switchover occurring 24 hours before expiry. | A specific alert is currently being implemented for the automatic certificate switchover mechanism that takes place 24 hours before a certificate expires. |

FR L'incident est terminé et la situation est revenue en nominale. EN The incident has been resolved and the situation has returned to normal. IT L'incidente è risolto e la situazione è tornata alla normalità.

FR Nous observons une nette amélioration depuis 10h39 et la situtation semble revenir en nominal. Nos équipes sont en contact avec Mastercard et restent mobilisées. EN We have observed a significant improvement since 10:39 am, and the situation appears to be returning to normal. Our teams are in contact with Mastercard and remain fully mobilised. IT Dalle ore 10:39 osserviamo un netto miglioramento e la situazione sembra tornare alla normalità. I nostri team sono in contatto con Mastercard e restano pienamente mobilitati.

FR Nous observons une amélioration depuis 10h10. Certaines transactions continuent cependant de tomber en erreur. Nos équipes sont en contact avec Mastercard et restent mobilisées. EN We have observed an improvement since 10:10 am. However, some transactions are still returning errors. Our teams are in contact with Mastercard and remain fully mobilised. IT Dalle ore 10:10 osserviamo un miglioramento della situazione. Tuttavia, alcune transazioni continuano a restituire errori. I nostri team sono in contatto con Mastercard e restano pienamente mobilitati.

FR L’incident est d’origine externe et provient de Mastercard. Nos équipes sont mobilisées et en surveillance de l'évolution de cet incident externe. EN The incident is external in origin and originates from Mastercard. Our teams remain fully mobilised and are closely monitoring the progress of this external incident. IT L'incidente è di origine esterna ed è riconducibile a Mastercard. I nostri team sono mobilitati e monitorano costantemente l'evoluzione di questo incidente esterno.

FR Les transactions impactées tombent en 5005 depuis 9h. Nos équipes poursuivent les analyses pour restaurer le service au plus vite. EN Affected transactions have been returning a 5005 error code since 9:00 am. Our teams are continuing their investigations to restore the service as quickly as possible. IT Le transazioni interessate restituiscono un errore 5005 dalle ore 9:00. I nostri team stanno proseguendo le analisi per ripristinare il servizio nel più breve tempo possibile.

FR Nous constatons une résurgence de l'incident avec des erreurs affectant le service d'authentification 3DS pour les transactions Mastercard. Nos équipes sont mobilisées pour restaurer le service le plus rapidement possible. EN We are observing a recurrence of the incident, with errors affecting the 3D Secure authentication service for Mastercard transactions. Our teams are fully mobilised to restore the service as quickly as possible. IT Stiamo riscontrando una recrudescenza dell'incidente, con errori che interessano il servizio di autenticazione 3DS per le transazioni Mastercard. I nostri team sono mobilitati per ripristinare il servizio nel più breve tempo possibile.

FR Un incident a affecté le service d'authentification 3DS pour les transactions Mastercard entre 09h18 et 10h30, entraînant des échecs d'authentification avec le code erreur 4009. L'incident est désormais résolu et le service est de nouveau pleinement opérationnel. EN An incident affected the 3DS authentication service for Mastercard transactions between 09:18 and 10:30, resulting in authentication failures with error code 4009. The incident has now been resolved, and the service is fully operational again. IT Un incidente ha interessato il servizio di autenticazione 3DS per le transazioni Mastercard tra le 09:18 e le 10:30, causando errori di autenticazione con il codice errore 4009. L'incidente è stato risolto e il servizio è nuovamente pienamente operativo.