Is Payplug Down Right Now? Check if there is a current outage ongoing.

TSR-1723 - Début / Start / Inizio : 03/05/2025 - Fin / End /fine : 07/05/2025 - Catégorie / Category / Categoria: Production - Oney - Responsabilité / Responsibility / Responsabilità : Externe / External /Esterna FR Les dossiers liés à des transactions refusées ont été annulés, vos clients seront donc remboursés. EN Financing applications linked to declined transactions have been cancelled. Your customers will be refunded. IT Le pratiche collegate a transazioni rifiutate sono state annullate. I vostri clienti saranno rimborsati.

TSR-1723 - Début / Start / Inizio : 03/05/2025 - Fin / End /fine : En cours / Ongoing / In corso. - Catégorie / Category / Categoria: Production - Oney - Responsabilité / Responsibility / Responsabilità : Externe / External /Esterna FR Nous avons été informés d'un incident ayant affecté plusieurs dossiers de financement Oney ouverts entre le samedi 3 mai et le lundi 5 mai matin. Les dossiers impactés sont restés en attente. Des actions sont en cours chez Oney pour rattraper ces dossiers, mais les transactions déjà refusées ne pourront plus être validées malgré un financement accepté. Des actions sont en cours pour annuler les dossiers de financement acceptés liés à des transactions refusées. EN We have been informed of an incident that affected several Oney financing applications opened between Saturday, May 3rd and the morning of Monday, May 5th. The impacted applications remained in a pending state. Oney is currently working to recover these applications, but transactions that have already been declined can no longer be validated, even if the financing was approved. Actions are also underway to cancel approved financing applications that are linked to declined transactions. IT Siamo stati informati di un incidente che ha interessato diverse pratiche di finanziamento Oney aperte tra sabato 3 maggio e la mattina di lunedì 5 maggio. Le pratiche interessate sono rimaste in stato di attesa. Oney sta attualmente lavorando per recuperare queste pratiche, ma le transazioni già rifiutate non potranno più essere validate, anche se il finanziamento è stato approvato. Sono inoltre in corso azioni per annullare le pratiche di finanziamento approvate collegate a transazioni rifiutate.

# _English version below / Versione Italiana in calce_ # Post Mortem **Référence incident** TSR-1572 **Service concerné** Facturation. **Impact client** Les factures n’ont pas été prélevées le premier jour du mois. **Synthèse de l’incident** * **13 mars :** mise à jour d’un processus interne. **Début de l’incident.** * **1 avril :** non prélèvement des factures.  * **1 avril 12h11 :** détection d’erreurs sur le processus exécutant les virements.  * **2 avril** : investigation sur l’absence du fichier interne des chargebacks, nécessaire pour la facturation. * **7 avril 16h41 :** correction du processus de génération du fichier interne des chargebacks. * **8 avril 10h53** : confirmation de la génération du fichier interne des chargebacks. * **9 avril** : identification de la root cause. * **10 avril 16h59** : test du correctif sur un échantillon restreint. * **11 avril 10h47** : confirmation que le correctif fonctionne.  * **14 avril 11h24** : prélèvement des factures. **Fin de l’incident.** **Contexte** N/A **Root cause** Mise à jour d’un processus interne. **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Détection tardive de l’impact de la mise à jour malgré des alertes existantes. | Meilleure prise en charge des alertes remontées. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-1572 **Payment services affected by the incident** Invoicing **Client impact** The invoices were not debited on the first day of the month. **Incident Overview** * **March 13:** update of an internal process. **Incident begins**. * **April 1:** invoices were not debited. * **April 1 - 12:11 PM:** errors detected in the process executing the transfers. * **April 2:** investigation into the absence of the internal chargeback file, which is required for billing. * **April 7 - 4:41 PM:** correction of the process generating the internal chargeback file. * **April 8 - 10:53 AM:** confirmation that the internal chargeback file was generated. * **April 9:** root cause identified. * **April 10 - 4:59 PM:** fix tested on a limited sample. * **April 11 - 10:47 AM:** confirmation that the fix works. * **April 14 - 11:24 AM:** invoices debited. **End of the incident.** ‌ **Context** N/A **Root cause** Update of an internal process. **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Late detection of the impact of the update despite existing alerts. | Better handling of reported alerts. | ‌ ==============VERSIONE ITALIANA============== # Post Mortem **Riferimento incidente** TSR-1572 **Servizio interessato** Fatturazione. **Impatto sui clienti** Le fatture non sono state addebitate il primo giorno del mese. **Sintesi dell'incidente** * **13 marzo:** aggiornamento di un processo interno. **Inizio dell'incidente.** * **1 aprile:** mancato addebito delle fatture. * **1 aprile - ore 12:11:** rilevamento di errori nel processo che esegue i bonifici. * **2 aprile:** indagine sull'assenza del file interno dei chargeback, necessario per la fatturazione. * **7 aprile - ore 16:41:** correzione del processo di generazione del file interno dei chargeback. * **8 aprile - ore 10:53:** conferma della generazione del file interno dei chargeback. * **9 aprile:** identificazione della causa principale. * **10 aprile - ore 16:59:** test della correzione su un campione ristretto. * **11 aprile - ore 10:47:** conferma del corretto funzionamento della correzione. * **14 aprile - ore 11:24:** addebito delle fatture. **Fine dell'incidente.** **Contesto** N/A **Root cause** Aggiornamento di un processo interno. **Azioni da intraprendere da Payplug** | **Sintomi** | **Azioni** | | --- | --- | | Rilevamento tardivo dell’impatto dell’aggiornamento nonostante gli avvisi esistenti. | Gestione migliorata degli avvisi segnalati. |

TSR-1572 - Début / Start / Inizio : 01/04/2025. - Fin / End /fine : 15/04/2025. - Catégorie / Category / Categoria: Production - Invoice - Responsabilité / Responsibility / Responsabilità : Payplug FR Les factures de mars ont été bien été prélevées hier. EN The March invoices were successfully debited yesterday. IT Le fatture di marzo sono state correttamente addebitate ieri.

TSR-1572 - Début / Start / Inizio : 01/04/2025. - Fin / End /fine : En cours / Ongoing / In corso. - Catégorie / Category / Categoria: Production - Invoice - Responsabilité / Responsibility / Responsabilità : Payplug FR Les factures de mars ont été relancées ce matin. Les prélèvements seront effectifs d'ici 24h EN The March invoices were followed up this morning. The direct debits will be processed within 24 hours. IT Le fatture di marzo sono state sollecitate questa mattina. Gli addebiti diretti saranno effettuati entro 24 ore.

FR Les factures de mars n'ont pas été prélevées le 1er avril. Elles devraient être prélevées dans les prochains jours sans action de votre part. EN March invoices were not collected on April the 1st. These invoices should be collected in the next few days without any action required on your part. IT Le fatture di marzo non sono state addebitate il primo aprile. Esse saranno addebitate automaticamente nei prossimi giorni.

# _English version below / Versione Italiana in calce_ # Post Mortem **Référence incident** TSR-1610 **Service concerné** Nexo. **Impact client** Multiples débits de paiements effectués sur des terminaux PAX \(protocole Nexo\). **Synthèse de l’incident** * **07 avril :** mise à jour de la gestion des statuts des transactions Nexo.  * **08 avril - 09h12 :** une première série de transactions est débitée mais leur statut n’est pas mis à jour en “débité”. **Début de l’incident.** * **09 avril :** second débit de la même série de transactions, occasionnant un double débit. Certaines de ces transactions conservent un statut incorrect. * **10 avril :** un contrôle de routine identifie 5000 débits en trop. * **10 avril - 09h30 :** création d’une cellule de crise pour incident majeur. Lancement des investigations. * **10 avril - 11h43 :** mise à jour manuelle des statuts pour éviter un nouveau débit accidentel sur les transactions. * **10 avril - 15h25 :** livraison d’un correctif pour garantir la bonne mise à jour automatique des statuts des transactions. Envoi d’une liste de transactions à rembourser à notre prestataire externe. **Reprise du service nominal.** * **11 avril - 08h43 :** relance envoyée à notre prestataire externe.  * **14 avril - 17h :** annulation des débits indus pour les clients VISA & CB. * **15  avril - 17h :** annulation des débits indus pour les clients  MASTERCARD. **Fin de l’incident.** ‌ **Contexte** L’annulation d’un double-débit menant au remboursement du débit indu est une opération manuelle et sensible. Notre prestataire a pris toutes les précautions nécessaires pour ne pas générer de dommages collatéraux, ce qui explique le délai observé. **Root cause** L’incident a été causé par l’ajout d’un processus de mise à jour des statuts de transactions le 7 avril. Ce dernier pouvait occasionnellement entrer en conflit avec un processus déjà existant, empêchant la mise à jour des transactions concernées. **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Détection tardive des double-débits. | Mise en place d’un monitoring manuel quotidien à court terme. Automatisation du monitoring à moyen terme. | | Absence de remontée d'erreurs lors du conflit de processus. | Mise en place d’un log \+ alerte lors d’un conflit de mise à jour de statut d’une transaction. Amélioration du retry pour retenter automatiquement la mise à jour du statut. | | Bug non détecté lors de la phase de test. | Ajout systématique de tests sur un plus gros volume de transactions. Investigations sur de nouveaux tests de charge. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-1610 **Payment services affected by the incident** Nexo. **Client impact** Multiple payments debited from PAX terminals \(Nexo protocol\). **Incident Overview** * **April 7:** update of the Nexo transaction status management. * **April 8 – 9:12 AM:** a first batch of transactions is debited, but their status is not updated to “debited.” **Incident begins.** * **April 9:** a second debit of the same batch of transactions occurs, causing duplicate charges. Some of these transactions retain an incorrect status. * **April 10:** a routine check reveals 5,000 excess debits. * **April 10 – 9:30 AM:** major incident task force created. Analysis begins. * **April 10 – 11:43 AM:** manual update of statuses to prevent further accidental debits. * **April 10 – 3:25 PM:** delivery of a fix to ensure correct automatic update of transaction statuses. A list of transactions to be refunded is sent to our external provider. **Return to normal service.** * **April 11 – 8:43 AM:** follow-up sent to our external provider. * **April 14 – 17h:** reversal of undue charges for VISA & CB customers. * **April 15 – 17h:** reversal of undue charges for customers. **End of the incident.** ‌ **Context** Reversing a duplicate debit and refunding the undue charge is a manual and sensitive operation. Our provider took all necessary precautions to avoid collateral damage, which explains the observed delay. **Root cause** The incident was caused by the addition of a transaction status update process on April 7. This process could occasionally conflict with an existing one, preventing the status update of affected transactions. ‌ **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Late detection of duplicate debits. | Implementation of short-term daily manual monitoring. Medium-term automation of monitoring. | | No error feedback during process conflict. | Implementation of logging \+ alert in case of a status update conflict. Improvement of retry logic to automatically attempt status update again. | | Undetected bug during testing phase. | Systematic addition of tests with larger volumes of transactions. Investigation of new load testing methods. | ‌ ==============VERSIONE ITALIANA============== # Post Mortem **Riferimento incidente** TSR-1610 **Servizio interessato** Nexo. **Impatto sui clienti** Addebiti multipli effettuati su terminali PAX \(protocollo Nexo\). **Sintesi dell'incidente** * **7 aprile**: aggiornamento della gestione degli stati delle transazioni Nexo. * **8 aprile – 09:12**: una prima serie di transazioni viene addebitata ma lo stato del pagamento non viene aggiornato a "addebitato". **Inizio dell'incidente.** * **9 aprile**: secondo addebito della stessa serie di transazioni, causando un doppio addebito. Alcune di queste transazioni mantengono uno stato errato. * **10 aprile**: un controllo di routine individua 5.000 addebiti in eccesso. * **10 aprile – 09:30**: creazione di una task force per incidente maggiore. Inizio delle indagini. * **10 aprile – 11:43**: aggiornamento manuale degli stati per evitare ulteriori addebiti accidentali. * **10 aprile – 15:25**: rilascio di una correzione per garantire il corretto aggiornamento automatico degli stati delle transazioni. Invio di una lista di transazioni da rimborsare al nostro fornitore esterno. **Ripristino del servizio.** * **11 aprile – 08:43**: sollecito inviato al fornitore esterno. * **14 aprile – 17:00**: annullamento degli addebiti illegittimi  per i clienti VISA e CB. * **15 aprile – 17:00**: annullamento degli addebiti illegittimi  per i clienti MASTERCARD. **Fine dell’incidente.** ‌ **Contesto** L’annullamento di un doppio addebito e il conseguente rimborso è un’operazione manuale e delicata. Il nostro fornitore ha preso tutte le precauzioni necessarie per evitare danni collaterali, il che spiega il ritardo osservato. **Root cause** L’incidente è stato causato dall’aggiunta, il 7 aprile, di un processo di aggiornamento degli stati delle transazioni. Questo nuovo processo poteva occasionalmente entrare in conflitto con un processo esistente, impedendo l’aggiornamento delle transazioni interessate. ‌ **Azioni da intraprendere da Payplug** | **Sintomi** | **Azioni** | | --- | --- | | Rilevamento tardivo dei doppi addebiti. | Implementazione a breve termine di un monitoraggio manuale quotidiano. Automazione del monitoraggio a medio termine. | | Mancanza di segnalazioni di errore in caso di conflitto tra processi. | Implementazione di log \+ allarme in caso di conflitto nell'aggiornamento dello stato di una transazione. Miglioramento della logica di retry per tentare nuovamente l’aggiornamento dello stato. | | Bug non rilevato durante i test. | Aggiunta sistematica di test con volumi maggiori di transazioni. Analisi di nuovi test di carico. |

This incident has been resolved.

TSR-1610 - Début / Start / Inizio : 07/04/2025 - Fin / End /fine : En cours / Ongoing / In corso. - Catégorie / Category / Categoria: Production - Processing. - Responsabilité / Responsibility / Responsabilità : Payplug. - Priorité / Priority / Priorità: P2. FR Les paiements en magasins débités à tort ont été annulés. Vos clients verront donc le remboursement de ces paiements sur leur compte à partir du 15 avril 2025, en fonction des délais interbancaires. EN The in-store payments that were wrongly debited have been cancelled. Your customers will therefore see the refunds of these payments on their bank accounts starting from April 15, 2025, depending on interbank processing times. IT I pagamenti effettuati nei negozi addebitati per errore sono stati annullati. I vostri clienti vedranno quindi il rimborso di tali pagamenti sul loro conto bancario a partire dal 15 aprile 2025, in base ai tempi di elaborazione interbancaria.

FR Les paiements en magasins débités à tort vont être annulés au plus tard le 15 avril 2025. Vos clients verront donc le remboursement de ces paiements sur leur compte au plus tard le 16 avril 2025. EN In-store payments that were wrongly debited will be canceled by April 15th, 2025, at the latest. Your customers will therefore see the refunds for these payments on their account no later than April 16th, 2025. IT I pagamenti effettuati nei negozi addebitati erroneamente saranno annullati entro e non oltre il 15 aprile 2025. I vostri clienti vedranno quindi il rimborso di tali pagamenti sul loro conto entro e non oltre il 16 aprile 2025.

FR Certains paiements en magasin réalisés sur des terminaux PAX (protocole Nexo) ont été débités deux fois à vos clients porteurs de carte. Il s’agit pour la plupart de paiements réalisés le 7 avril. L’anomalie a été rapidement identifiée et un correctif est en cours. - Les marchands concernés seront contactés directement. - Tous les doublons seront automatiquement annulés. - Les remboursements seront effectués sans action requise de votre part ni des clients. - La régularisation sera visible sur les comptes des porteurs sous peu. EN Some in-store payments made via PAX terminals (NEXO protocol) were charged twice to your cardholder clients. Most of these duplicate transactions occurred on April 7th. The issue was quickly identified, and a fix is currently being implemented. - Affected merchants will be contacted directly. - All duplicate charges will be automatically canceled. - Refunds will be processed without any action required from you or your clients. - The adjustments will soon be visible on the cardholders’ accounts. IT Alcuni pagamenti effettuati in negozio su terminali PAX (protocollo Nexo) potrebbero essere stati addebitati due volte ai vostri clienti. La maggior parte dei pagamenti sono stati effettuati il 7 aprile. L'anomalia è stata identificata e stiamo procedendo con la correzione. - Gli esercenti interessati saranno contattati direttamente. - Tutti i doppi addebiti verranno automaticamente cancellati. - I rimborsi saranno effettuati senza alcuna azione da parte vostra o dei clienti. - La regolarizzazione sarà visibile sui conti corrente dei clienti a breve.

# _English version below_ # Post Mortem **Référence incident** TSR-1532 **Service concerné** Paiements e-commerce et magasin. **Impact client** Aucun paiement durant 13 minutes. **Synthèse de l’incident** * **16h11 :** mise en production d’une évolution sur un composant réseau \(ingress\). **Début de l’incident.** * **16h16 :** cellule incident majeur ouverte. * **16h21 :** déploiement du rollback de la mise en production. * **16h21 :** communication status page. * **16h24 :** Service rétabli. **Fin de l’incident.** **Contexte** N/A  **Root cause** Dans le cadre d’une mise à jour d’un composant réseau \(ingress\), les serveurs correspondants ont été vu down par les load balancer, ce qui a bloqué l’ensemble des flux entrant sur la plateforme. **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Mise en production en erreur. | Investigation de la mise en production avant toute tentative de redéploiement ultérieure. | | Test des composants réseau \(ingress externals\) ne permettant pas de valider qu’ils étaient fonctionnels après le changement en environnement de test. | Créer des tests dédiés afin de valider isolément le fonctionnement des ingress external des ingress internal. | ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-1532 **Payment services affected by the incident** E-commerce and instore payments.. **Client impact** No payment during 13 minutes. **Incident Overview** * **4h11 PM :** Production deployment of an upgrade on a network component \(ingress\). **Incident begins.** * **4h16 PM :** Major incident response team activated. * **4h21 PM :** Rollback deployment of the production change. * **4h21 PM :** Status page communication. * **4h24 PM :** Service restored. **Incident resolved.** **Context** N/A **Root cause** As part of an update to a network component \(ingress\), the corresponding servers were seen as down by the load balancers, which blocked all incoming traffic to the platform. **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Production deployment failed. | Investigation of the deployment before any further redeployment attempts. | | Testing of network components \(external ingress\) did not confirm whether they were functional after the change in the test environment. | Create dedicated tests to validate the functionality of external ingresses separately from internal ingresses. |

TSR-1532 - Début / Start : 27/03/2025 16h11 CET - Fin / End : 27/03/2025 16h23 CET - Catégorie / Category : Production - Responsabilité / Responsibility : Payplug - Priorité / Priority : P1 FR L'incident est maintenant résolu et le service est rétabli. EN Incident is now resolved and service restored. IT L'incidente è stato risolto e il servizio è stato ripristinato.

TSR-1532 - Début / Start : 27/03/2025 16h11 CET - Fin / End : 27/03/2025 16h23 CET - Catégorie / Category : Production - Responsabilité / Responsibility : Payplug - Priorité / Priority : P1 FR Un incident affectant le e-commerce et les paiements in-store a eu lieu entre 16h11 et 16h23. La situation est revenue à la normale. Nous continuons de monitorer le service. EN An incident affecting e-commerce and in-store payments occurred between 4.11pm and 4.23pm. The situation has now returned to normal. We are continuing to monitor the service. IT Tra le 16.11 e le 16.23 si è verificato un incidente che ha interessato l'e-commerce e i pagamenti in negozio. La situazione è ora tornata alla normalità. Continuiamo a monitorare il servizio.

# _English version below_ # Post Mortem **Référence incident** TSR-1392 **Service concerné** Oney. **Impact client** Les paiements Oney étaient bloqués à un statut inconnu. **Synthèse de l’incident** * **26 février :** migration d’application chez un prestataire externe. **Début de l’incident.** * **26 février 16h10 :** création d’un ticket auprès de nos équipes techniques. * **27 février : 14h18 :** remontée de nouveaux cas marchands. * **27 février 14h26 :** escalade de la demande. * **27 février 14h30 :** début des analyses techniques et compréhension de l’incident. * **27 février 17h18 :** identification de d’un nouveau statut de paiement.  * **28 février 11h11 :** ticket ouvert chez le support du prestataire externe et poursuite des analyses internes. * **3 mars & 4 mars :** plusieurs relances et échanges avec le support du prestataire externe pour identifier l’origine de l’envoi de ce nouveau statut.  * **4 mars 18h01 :** reversement des nouvelles transactions. **Fin de l’incident.** * **5 mars 9h28 :** décision d’annuler les transactions avec le prestataire sur la période d’incident concernée. * **5–14 mars :** plusieurs relances et échanges avec le prestataire externe pour annuler l’ensemble des transactions. * **14 mars 17h44 :** confirmation par le prestataire externe de l’annulation des transactions. **Contexte** N/A  **Root cause** Une migration d’application avec un nouveau parcours a été effectuée par notre prestataire externe. C’est l’application avec ce nouveau parcours qui a envoyé un statut qui n’était pas reconnu par nos services. **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Non communication de la migration par le prestataire externe. | Communication par le partenaire des migrations et des dates impliquées en amont. | | Non détection de l’incident de la part du prestataire externe. | Vérification le jour du déploiement du bon fonctionnement du service. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-1392 **Payment services affected by the incident** Oney. **Client impact** Oney payments were blocked at an unknown status. **Incident Overview** * **February 26:** application migration with an external service provider. **Incident begins.** * **February 26 - 4:10 PM:** ticket created with our technical teams. * **February 27 - 2:18 PM:** new merchant cases reported. * **February 27 - 2:26 PM:** request escalated. * **February 27 - 2:30 PM:** technical analysis and understanding of the incident begins. * **February 27 - 5:18 PM:** identification of a new payment status. * **February 28 - 11:11 AM:** ticket opened with the support of the external service provider and continuation of internal analysis. * **March 3 & 4:** multiple follow-ups and exchanges with the external provider’s support to identify the origin of the new status transmission. * **March 4 - 6:01 PM:** reversal of new transactions. **Incident ends.** * **March 5 - 9:28 AM:** decision to cancel transactions with the provider for the affected incident period. * **March 5–14:** multiple follow-ups and exchanges with the external provider to cancel the transactions. * **March 14 - 5:44 PM:** confirmation from the external provider of the cancellation of the transactions. **Context** N/A **Root cause** An application migration with a new workflow was carried out by our external service provider. It is the application with this new workflow that sent a status that was not recognized by our services. **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Lack of communication regarding the migration by the external service provider. | Communication by the partner regarding the migrations and the involved dates in advance. | | Failure to detect the incident by the external service provider. | Verification of the proper functioning of the service on the deployment day. |

FR L'ensemble des commandes a été annulé. EN The entire set of orders has been canceled. IT L'intero set di ordini è stato annullato.

FR Les transactions Oney sont désormais reversées et une analyse est en cours pour essayer de reverser celles qui ont été bloquées. EN Oney transactions are now being reversed and an analysis is underway to try to reverse those that were blocked. IT Una parte delle transazioni è stata annullata ed è in corso un'analisi per cercare di annullare quelle che erano state bloccate.

FR Certaines transactions Oney restent à un statut en attente ne permettant pas le débit de vos client.es. Une investigation a été ouverte avec notre partenaire. Nous reviendrons vers vous d'ici demain EN Some Oney transactions remain in a pending status, preventing the debit of your customers. An investigation has been opened with our partner. We will get back to you by tomorrow." IT Alcune transazioni Oney rimangono in stato di attesa, impedendo l'addebito ai vostri clienti. È stata aperta un'indagine con il nostro partner. Vi ricontatteremo entro domani."

FR Nous avons identifié des difficultés sur le processing des paiements Oney Certaines transactions restent à un statut en attente ne permettant pas le débit de vos client.es. L'incident est en cours d'analyse. EN We have identified issues with the processing of Oney payments. Some transactions remain in a pending status, preventing the debit of your customers. The incident is currently under analysis. IT Abbiamo identificato problemi nell'elaborazione dei pagamenti Oney. Alcune transazioni rimangono in uno stato in sospeso, impedendo l'addebito ai tuoi clienti. L'incidente è attualmente in fase di analisi.

# _English version below_ # Post Mortem **Référence incident** TSR-1418 **Service concerné** Demandes de paiement. **Impact client** Impossibilité pour les marchands de payer 15 minutes après l’envoi du lien. **Synthèse de l’incident** * **04 mars - 09h32 :** déploiement d’une mise en production de nettoyage de requêtes expirées. **Début de l’incident.** * **04 mars - 18h14 :** premières remontées marchandes d’expiration immédiates de liens de demandes de paiements. * **04 mars - 18h16 :** tests pour tenter de reproduire le problème mais on ne reproduit pas la situation. * **05 mars - 11h11 :** nouvelles remontées marchandes. * **05 mars - 11h12 :** contact avec le marchand pour détailler l’erreur et notamment l’expiration après 15 minutes et non immédiate. * **05 mars - 12h02 :** demande d’escalade du ticket. * **05 mars - 12h15 :** différents tests sont menés pour reproduire le bug. * **05 mars - 12h38 :** confirmation d’un incident généralisé. * **05 mars - 12h40 :** création d’une cellule de crise dédiée. * **05 mars - 12h55 :** identification d’une mise en production qui pourrait impacter l’expiration des liens de paiements. * **05 mars - 13h50 :** tentatives de fix mais blocage au niveau des tests. * **05 mars - 16h11 :** rollback de la mise en production. **Fin de l’incident.** **Contexte** N/A  **Root cause** Une mise en production a causé l’expiration des liens de paiements après 15 minutes et rendait les paiements impossibles.  ‌ **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Erreur de configuration dans une mise en production. | Revue complète du processus de déploiement. | ‌ ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-1418 **Payment services affected by the incident** Payment requests. **Client impact** Merchants unable to pay 15 minutes after the link has been sent. **Incident Overview** * **March 4 - 09:32 AM:** deployment of a production update for cleaning expired queries. **Start of the incident.** * **March 4 - 06:14 PM:** first merchant reports of immediate expiration of payment request links. * **March 4 - 06:16 PM:** tests conducted to try to reproduce the issue, but the situation cannot be replicated. * **March 5 - 11:11 AM:** new merchant reports. * **March 5 - 11:12 AM:** contact with the merchant to explain the error and in particular the fact that the link expired after 15 minutes rather than immediately. * **March 5 - 12:02 PM:** ticket escalation. * **March 5 - 12:15 PM:** various tests carried out to reproduce the bug. * **March 5 - 12:38 PM:** confirmation of a widespread incident. * **March 5 - 12:40 PM:** creation of a dedicated crisis unit. * **March 5 - 12:55 PM:** identification of a production update that might impact the expiration of payment links. * **March 5 - 01:50 PM:** attempted fixes but blocked at the testing stage. * **March 5 - 04:11 PM:** rollback of the production update. **End of the incident.** **Context** N/A **Root cause** A production update caused payment links to expire after 15 minutes, making payments impossible. **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Configuration error in a production deployment. | Complete review of the deployment process |

TSR-1418 - Début / Start : 04/03/2025 18h00 CET - Fin / End : 05/03/2025 16h11 CET - Catégorie / Category : Production - Processing - Responsabilité / Responsibility : Payplug - Priorité / Priority : P3 FR Cet incident a été résolu. EN This incident has been resolved. IT L'incidente è stato risolto.

FR Le problème a été identifié et un correctif est en cours de mise en œuvre. EN The issue has been identifed and a fix is being implemented. IT Il problema è stato identificato e si sta provvedendo a risolverlo.

FR Nous avons identifié des difficultés sur le processing de paiements. Des liens de paiements envoyés sont fonctionnels pendant les 15 premières minutes. Ensuite, ils tombent en abandon. Les investigations sont en cours. EN We have identified ongoing difficulties on the payment processing. Payment links are sent and are functional for the first 15 minutes. After that, they are abandoned. An investigation is in progress. IT Abbiamo identificato delle difficoltà nell'elaborazione dei pagamenti. I link di pagamento vengono inviati e funzionano per i primi 15 minuti. Dopodiché, vengono abbandonati. L'incidente è in fase di analisi.

# _English version below_ # Post Mortem **Référence incident** TSR-1381 **Service concerné** Demandes de paiements.  Affichage des transactions. **Impact client** Arrêt d’envoi des liens de paiement. Non affichage des nouvelles transactions. **Synthèse de l’incident** * **26 février - 12h10 :** surcharge de messages qui s’empilent dans une file. **Début de l’incident.** * **26 février - 12h26 :** redémarrage des services défectueux.   * **26 février - 12h50 :** création d’une cellule de crise dédiée et début des analyses. * **26 février - 13h00 :** compréhension de l’origine de l’incident. * **26 février - 13h01 :** redémarrage d’une instance et poursuite des analyses suite à la continuation des erreurs. * **26 février - 13h40 :** identification d’une désynchronisation entre les instances d’un logiciel de gestion des messages. * **26 février - 14h15 :** contact du support externe d’un outil gérant les files des messages. * **26 février - 14h32 :** test d’un fix. * **26 février - 14h38 :** remontée d’alerte sur la non transmission des liens de paiement. * **26 février - 14h39 :** réponse du support externe qui débute les analyses. * **26 février - 15h04 :** relance du support externe devant l’absence d’informations supplémentaires. * **26 février - 15h23 :** réponse du support externe qui ne parvient pas à débloquer la situation. * **26 février - 16h07 :** plusieurs relances au support et mise en pause des actions internes pour ne pas entrer en collision avec les actions menées par le support externe.  * **26 février - 16h40 :** redémarrage avec succès de la première instance. * **26 février - 16h45 :** redémarrage successifs des autres instances. * **26 février - 16h46 :** différentes actions de redémarrages des services suite au retour du support externe..  * **26 février - 17h22 :** les messages sont de nouveau envoyés. **Reprise du service.** * **26 février - 18h15 : Fin de l’incident.** **Contexte** Les différents messages qui s’empilent contiennent les informations des transactions. Le non traitement de ces messages cause donc le non affichage des transactions et le non envoi des demandes de paiement. Le service de gestion des messages repose sur plusieurs instances redondées. **Root cause** La désynchronisation des queues a été causée par un pic très élevé de messages ce qui a mené à la saturation des instances.  | **Symptômes** | **Actions** | | --- | --- | | Surcharge soudaine de messages dans les instances. | Une analyse est en cours pour mettre en place des actions permettant d’éviter cette surcharge. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-1381 **Payment services affected by the incident** Payment requests. Transactions display. **Client impact** Stop sending payment links and displaying transactions. **Incident Overview** * **February 26 - 12:10 PM**: message overload stacking up in a queue. **Incident begins.** * **February 26 - 12:26 PM**: restart of malfunctioning services. * **February 26 - 12:50 PM**: creation of a dedicated crisis team and start of analysis. * **February 26 - 1:00 PM**: understanding of the origin of the incident. * **February 26 - 1:01 PM**: restart of an instance and continuation of analysis due to ongoing errors. * **February 26 - 1:40 PM**: identification of desynchronisation between instances of a message management software. * **February 26 - 2:15 PM**: contact with external support for a tool managing the message queues. * **February 26 - 2:32 PM**: testing of a fix. * **February 26 - 2:38 PM**: alert raised regarding the non-transmission of payment links. * **February 26 - 2:39 PM**: response from external support who begins analysis. * **February 26 - 3:04 PM**: follow-up with external support due to lack of additional information. * **February 26 - 3:23 PM**: response from external support unable to resolve the issue. * **February 26 - 4:07 PM**: several follow-ups with support and pause of internal actions to avoid conflict with actions from external support. * **February 26 - 4:40 PM**: successful restart of the first instance. * **February 26 - 4:45 PM**: successive restarts of other instances. * **February 26 - 4:46 PM**: various service restarts following the return of external support. * **February 26 - 5:22 PM**: messages are sent again. **Service resumed.** * **February 26 - 6:15 PM**: **End of the incident.** **Context** The various messages that pile up contain transaction information. If these messages are not processed, transactions are not displayed and payment requests are not sent. The message management service is based on several redundant instances. **Root cause** The desynchronisation of the queues was caused by a very high peak of messages, which led to the saturation of the instances.  **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Sudden overload of messages in the instances. | An analysis is underway to put in place measures to avoid this overload. |

FR L'incident est résolu, les demandes de paiement sont de nouveau envoyées en temps réel. EN The incident has been resolved, and payment requests are now being sent in real time. IT L'incidente è stato risolto e le richieste di pagamento vengono ora inviate in tempo reale.

FR L'incident est fixé, les demandes de paiement non envoyées durant l'incident sont dépilées au fur et à mesure et le service devrait être rétabli d'ici 30 minutes. EN The incident has been resolved, and the payment requests that were not sent during the incident are being processed gradually. The service should be fully restored within 30 minutes. IT L'incidente è stato risolto e le richieste di pagamento non inviate durante l'incidente vengono elaborate progressivamente. Il servizio dovrebbe essere completamente ripristinato entro 30 minuti.

FR Nous avons identifié des difficultés sur les demandes de paiements. Elles sont actuellement stockées et seront renvoyées une fois l'incident terminé. EN We have identified ongoing difficulties on the payment requests. They are currently being stored and will be returned once the incident is over. IT Abbiamo riscontrato delle difficoltà con le richieste di pagamento. Attualmente sono in deposito e saranno restituiti una volta terminato l'incidente.

_English version below_ **Référence incident** TSR-1177 **Service concerné** Paiements e-commerce. **Impact client** Service interrompu sur deux plages de 15 minutes. **Synthèse de l’incident** * **22 janvier - 16h54 : début de l’incident.** * **22 janvier - 16h57 :** création de la cellule incident majeur. * **22 janvier - 17h04 :** décision de rollback du service API. * **22 janvier - 17h07 :** redémarrage d’une instance. * **22 janvier - 17h09 : reprise du service sur l’instance redémarrée.** * **22 janvier - 17h10 :** redémarrage des autres instances. * **22 janvier - 17h12 :** temporisation du rollback vu que le redémarrage semble suffisant. * **22 janvier - 17h13 : réplique de l’incident.** Décision de rollback sur toutes les instances. * **22 janvier - 17h28 :** **reprise du service.** * **22 janvier - 17h32 :** rollback effectif sur toutes les instances. **Fin de l’incident.** **Contexte** Les flux de paiements sont répartis sur plusieurs instances sur lesquelles des actions peuvent être prises de manière individuelle. Une livraison du service API opérée la veille de l’incident a engendré une augmentation du nombre de messages transitant sur la plateforme, ce qui était anticipé. **Root cause** Le service de gestion des messages transitant sur la plateforme est arrivé à saturation. Les tentatives de connexion du service API à ce service de gestion des messages sont toutes tombées en échec, ce qui a fini par faire tomber tout le service. ‌ **Actions à entreprendre par Payplug** | **Symptômes** | **Actions** | | --- | --- | | Saturation du service de gestion des messages. | Court terme - Montée vers une version pouvant encaisser une charge plus importante.  Moyen terme - Comprendre les raisons de la saturation. | | Interruption du service API provoqué par la saturation du service de gestion des messages. | Reproduire ce comportement en environnement hors production pour analyser la stabilité du service API. Des actions seront prises en conséquence pour améliorer la résilience du service API vis à vis d’une saturation du service de gestion des messages | | Mise en production non conforme au processus défini. | Faire des rappels de processus aux équipes. | | Délai de résolution trop long. | Analyse de la chronologie de l’incident et élaboration d’actions en conséquence. | ‌ ==============ENGLISH VERSION============== **Incident reference** TSR-1177 **Payment services affected by the incident** E-commerce payments. **Client impact** Service interrupted for two periods of 15 minutes. **Incident Overview** * **January 22nd - 4:54pm : incident beginning.** * **January 22nd - 4:57pm :** major incident response team created. * **January 22nd - 5:04pm :** decision to rollback API service. * **January 22nd - 5:07pm :** restart of one instance * **January 22nd - 5:09pm : service restored on restarted instance.** * **January 22nd - 5:10pm :** restart of the other instances. * **January 22nd - 5:10pm :** rollback on hold on other instances since restart seems to fix the incident. * **January 22nd - 5:13pm : incident restart.** Decision to rollback all instances. * **January 22nd - 5:28pm : service restored.** * **January 22nd - 5:28pm :** All instances rollbacked. **Incident ending.** **Context** Payment flows are distributed across multiple instances, on which actions can be taken individually. A delivery of the API service performed the day before the incident caused an increase in the number of messages transiting on the platform, which was anticipated. **Root cause** The message management service on the platform reached saturation. All connection attempts from the API service to the message management service failed, ultimately bringing down the entire service **Actions to be taken by Payplug** | **Symptoms** | **Actions** | | --- | --- | | Saturation of the message management service. | Short term - Upgrade to a version capable of handling a higher load. Medium term - Understand the reasons for the saturation. | | API service interruption caused by the saturation of the message management service. | Reproduce this behavior in a non-production environment to analyze the stability of the API service. Actions will be taken accordingly to improve the API service's resilience to saturation of the message management service. | | Production deployment not compliant with defined process. | Remind teams of the defined processes. | | Resolution delay too long. | Analyze the incident timeline and develop actions accordingly. |

This incident has been resolved.

TSR-1177 - Début / Start : 22/01/2024 16h54 CET - Fin / End : 22/01/2024 17h28 CET - Catégorie / Category : Production - Processing - Responsabilité / Responsibility : Payplug FR L'incident est en cours de résolution. Il y a eu un impact sur le service e-commerce entre 16h54 et 17h09 puis entre 17h13 et 17h28 Le service est rétabli depuis 17h28. Nous continuons à surveiller la reprise du service. EN Incident is being resolved. There was an impact on e-commerce service between 4.54pm and 5.09pm then between 5.13pm and 5.28pm. Service is restored since 5.28pm. Service recovery is still under monitoring.

FR Nous avons identifié des difficultés sur le processing des paiements e-commerce. Pas d'impact sur les paiements sur TPE. Une action est en cours pour rétablir le service EN We have identified ongoing difficulties on the e-commerce payment processing. No impact on the POS terminals payments. An action is ongoing to resume service

_English version below_ # Post Mortem **Référence incident** TSR-1026 **Service concerné** Paiements e-commerce. **Impact client** Service interrompu durant 20 minutes. **Synthèse de l’incident** * **17 décembre - 14h08 :** mise en production de la première partie d’une évolution. * **17 décembre - 14h17 : début de l’incident.** * **17 décembre - 14h18 :** création de la cellule incident majeur. * **17 décembre - 14h24 :** mise en production de la seconde partie d’une évolution. * **17 décembre - 14h37 : reprise du service et fin de l’incident.** **Contexte** Déploiement d’une évolution impactant la structure d’une base de données. **Root cause** Erreur dans la mise en production d’une évolution. Seul le changement structurel a été déployé dans un premier temps et pas l’applicatif lié. Durant l’incident, l’ancien applicatif n’était pas adapté à ce changement structurel. **Actions à entreprendre par Payplug** ‌ | **Symptôme** | **Action** | | --- | --- | | Déploiement partiel. | Blocage temporaire de tous les changements de ce type pouvant mener à un déploiement partiel. Revue du processus d’application de changement ayant un impact structurel \(capacité de déploiement des changements structurels séparément des changements applicatifs sans impact\). Découpe des déploiements de gros sujets en plus petits afin d’améliorer la maîtrise lors de leur validation | | Correctif lent à appliquer \(lié au délai actuel nécessaire pour mettre en production\). | Revue complète du processus de déploiement pour le raccourcir drastiquement. Action déjà en cours. | ‌ ==============ENGLISH VERSION============== # Post Mortem **Incident reference** TSR-1026 **Payment services affected by the incident** E-commerce payments. **Client impact** Service interrupted for 20 minutes. **Incident Overview** * **17th of December - 14h08 :** Deployment of the first part of an update. * **17th of December - 14h17 : Incident beginning.** * **17th of December - 14h18 :** Major incident unit opened. * **17th of December - 14h24 :** Deployment of the second part of the update. * **17th of December - 14h37 : Service restored. Incident ending.** **Contexte** Deployment of an update impacting the structure of a database. **Root cause** Error in the deployment of an update. Only the structural change was deployed initially, and the associated application update was not deployed. During the incident, the old application was incompatible with the structural change. **Actions to be taken by Payplug** ‌ | **Symptom** | **Action** | | --- | --- | | Partial deployment. | Temporary block on all similar changes that could lead to a partial deployment. Review the change implementation process for structural impacts \(ability to deploy structural changes separately from application updates without impact\). Break down large deployments into smaller parts to improve control during validation. | | Slow corrective measures \(due to the current time required for deployment\). | Comprehensive review of the deployment process to drastically reduce its duration \(action already underway\). |

This incident has been resolved.

TSR-1026 - Début / Start / Inizio : 17/12/2024 14h16 CET. - Fin / End /fine : 17/12/2024 14h37 CET. - Catégorie / Category / Categoria: Production - Processing - Responsabilité / Responsibility / Responsabilità : Payplug - Priorité / Priority / Priorità: P1. FR L'incident est maintenant résolu et le service est rétabli. Nous continuons à surveiller la reprise du service. EN Incident is now resolved and service restored. Service recovery is still under monitoring. IT L'incidente è stato risolto e il servizio è stato ripristinato. Continuiamo a monitorare la ripresa del servizio.

FR Le service reprend progressivement Nous continuons à surveiller la reprise du service. EN Service is gradually resuming. Service recovery is under monitoring.

FR Nous avons identifié des difficultés sur le processing des paiements e-commerce. Pas d'impact sur les paiements sur TPE. Une action est en cours pour rétablir le service EN We have identified ongoing difficulties on the e-commerce payment processing. No impact on the POS terminals payments. An action is ongoing to resume service

# Post Mortem **Référence incident** TSR-860 **Service concerné** Nexo **Impact client** Indisponibilité partielle de la plateforme Nexo. **Synthèse de l’incident** * **21 novembre - 10h48 : début de l’incident.** * **21 novembre – 11h07 :** création d’une cellule incident majeur. * **21 novembre – 11h30 : reprise du service.** * **21 novembre – 11h37 :** prise de contact avec un prestataire pour investigations. * **21 novembre – 15h20 : réplique de l’incident.** * **21 novembre – 15h44 :** nouvelle prise de contact avec notre prestataire. * **21 novembre – 15h55 : fin de l’incident.** * **21 novembre – 16h32 :** retour de notre partenaire qui confirme des problèmes chez un émetteur. **Contexte** Plan de transformation en cours impliquant un changement de route d’acquisition, pour se rendre indépendant et plus résilient. **Root cause** Perturbations sur le flux d’autorisations d’un émetteur externe provoquant des timeouts non correctement gérés sur la nouvelle route d’acquisition. **Actions à entreprendre par Payplug** ‌ | **Symptôme** | **Action** | | --- | --- | | Robustesse de la nouvelle route insuffisante. | Switch temporaire sur l’ancienne route. | | Mauvaise gestion des perturbations émetteurs. | Correction de la gestion des requêtes/réponses. |

This incident has been resolved.

TSR-860 - Début / Start : 21/11/2024 15h20 CET - Fin / End : 21/11/2024 15h55 CET - Catégorie / Category : Production - Processing - Responsabilité / Responsibility : Payplug - Priorité / Priority : P1 FR Le service est rétabli depuis 15h55 Nous continuons à surveiller la reprise du service. EN Service is restored since 3.55pm. Service recovery is still under monitoring.

TSR-860 - Début / Start : 21/11/2024 15h20 CET - Fin / End : En cours / Ongoing - Catégorie / Category : Production - Processing - Responsabilité / Responsibility : Payplug - Priorité / Priority : P1 FR Nous avons identifié un incident qui impacte les transactions des terminaux de paiement, nous investiguons pour rétablir la situation au plus vite. EN An incident affects payment terminal transactions and we investigate to restore the situation as quickly as possible.

# Post Mortem **Référence incident** TSR-965 **Service concerné** Paiements en magasin NEXO **Impact client** Indisponibilité du paiement en magasin via TPE NEXO. **Synthèse de l’incident** * **5 décembre 14h34 :** activation de la nouvelle brique d’acquisition. * **7 décembre - 16h45 : début de l’incident.** * **7 décembre - 16h58 :** remontées d’alertes. * **7 décembre - 17h17 :** création de la cellule incident majeur. * **7 décembre - 17h35 :** actions pour purger des files de messages bloquant le trafic. * **7 décembre - 18h00 : Reprise du service et fin de l’incident.** **Contexte** Plan de transformation en cours impliquant un changement de brique d’acquisition, pour se rendre plus indépendant, réactif et résilient qu’avec la brique actuelle. **Root cause** Le timeout d’une requête d’autorisation n’a pas été géré correctement par une instance de notre nouvelle brique d’acquisition. L’instance est restée en attente de réponse à cette requête, sans passer aux requêtes suivantes. La file d’attente de cette instance s’est engorgée jusqu’à ne plus répondre et a fini par faire échouer les deux autres instances, coupant par la même occasion l’intégralité du trafic NEXO. Les tests n’ont pas permis de reproduire ce cas en amont du déploiement et de s’en prémunir. **Actions à entreprendre par Payplug** | **Symptôme** | **Action** | | --- | --- | | Robustesse de la nouvelle brique insuffisante. | Switch sur l’ancienne brique tant qu’on n’a pas suffisamment fiabilisé la nouvelle. **Aucun risque ne sera pris avant la fin des soldes.** | | Mauvaise gestion des requêtes d’autorisations en erreur. | Changement structurant sur les applicatifs utilisés par cette nouvelle brique priorisé en amont du redéploiement de cette nouvelle brique. | | Délai de résolution important. | Mise à jour de la documentation à destination de l’astreinte. |

FR Nos services sont à nouveau pleinement opérationnels. Un post mortem sera publié lundi. EN Our services are fully operational again. A post-mortem will be published on Monday.

FR Nous actions ont permis de restaurer une pleine capacité d'encaissement en magasin / Nexo. Nous monitorons avant d'annoncer une pleine résolution. EN Our actions have restored full in-store / Nexo checkout capacity. We are monitoring before announcing a full recovery.

FR Nous avons identifié des difficultés sur certains terminaux de paiement. Cet incident concerne une route d'acquisition spécifique et vous n'êtes pas tous concernés. Nous vous invitons à utiliser la demande de paiement, accessible depuis votre portail PayPlug : https://support.payplug.com/hc/fr/articles/360021504031-Comment-envoyer-une-demande-de-paiement L'incident est en cours d'analyse. EN We have identified ongoing difficulties on some payment terminals. This incident affects one acquisition route, not all of you are affected. We invite you to use the payment request form, accessible from your PayPlug portal: https://support.payplug.com/hc/fr/articles/360021504031-Comment-envoyer-une-demande-de-paiement An investigation is in progress.

# Post Mortem **Référence incident** TSR-577 & TSR-581 **Service concerné** Paiements e-commerce en authentification forte \(les transactions en frictionless n’étaient pas impactées\) entre le 2 octobre 9h et le 3 octobre 10h30. Paiements e-commerce et magasin le 2 octobre entre 12h26 et 13h05. **Impact client** Hausse d’environ 3% des transactions en erreur 4009 entre le 2 octobre 9h et le 3 octobre 10h30. Jusqu’à 50% des transactions en erreur 5001 de 12h26 à 13h05 le 2 octobre. **Synthèse de l’incident** * **1er octobre 14h30 :** réduction du nombre de serveurs de résolution DNS suite à la baisse de trafic post période estivale. * **2 octobre 9h :** augmentation de la latence de plusieurs services dont celui en charge des authentifications 3DS. Ce service apparaissait en priorité car le timeout de serveurs 3DS est de 3 secondes. Augmentation des timeouts à un niveau bien plus élevé que les jours précédents. * **2 octobre 12h10 :** augmentation forte du trafic accentuant l’effet observé depuis le matin et créant une réaction en chaîne sur l’ensemble de la plateforme. * **2 octobre 12h14 :** redémarrages intempestifs multiples des services opérant le processing. * **2 octobre 12h26 :** forte hausse du nombre d’erreurs 5001. * **2 octobre 13h05 :** redémarrage de tous les services impactés, baisse du trafic et retour à la normale du taux d’erreur 5001. * **2 octobre 14h56 :** ouverture d’un ticket chez notre fournisseur GCP pour apporter des explications à la coupure partielle de 12h26 à 13h05 et aux latences observées depuis 9h. * **2 octobre 20h-22h30 :** multiples actions impliquant l’augmentation des capacités de la plateforme. * **2 octobre 22h30 :** amélioration du service et baisse du taux d’erreur de la plateforme. * **3 octobre 7h50 :** hausse des erreurs et des timeouts liés au traitement batch quotidien, redépassant le seuil des serveurs DNS, les augmentations de capacité de la veille ne s’avérant pas suffisantes. * **3 octobre 9h25** : nouvelle forte augmentation des capacités de la plateforme. * **3 octobre 9h50-10h28** : application de la solution préconisée par GCP pour palier à la root cause sur la résolution DNS impliquant de modifier les URL du composant gérant l’authentification 3DS de la plateforme. * **3 octobre 10h30 :** chute du nombre d'erreurs et reprise du service. * **3 octobre 11h24 :** application des modifications sur l’ensemble des URLs de la plateforme. * **3 octobre 11h25 :** augmentation du nombre d'erreurs de la plateforme. * **3 octobre 11h27 :** rollback de la modification. * **3 octobre 11h40 :** application des modifications sur un nombre plus restreints d’URLs. * **3 octobre 11h41 :** augmentation du nombre d'erreurs de la plateforme. * **3 octobre 11h42 :** rollback de la modification. **Fin de l’incident.** * **3 octobre 11h45-16h :** multiples actions pour assurer la stabilisation de la plateforme de manière pérenne. **Contexte** 100% des URLs appelées depuis nos services sont externes au groupe de serveurs auquel le service appartient. Lors d’une résolution DNS \(interrogation d’un serveur DNS pour convertir l’URL en adresse IP\) au sein d’un groupe de serveurs, les serveurs DNS locaux sont interrogés en premier avant d’interroger le serveurs DNS externes au groupe de services. Sur notre plateforme, les URLs ne pouvaient pas être résolues sur les serveurs locaux mais seulement sur les serveurs externes.. Ceci a pour effet d’augmenter le nombre de tentatives de résolutions DNS avant de pouvoir obtenir l’adresse IP correspondante à l’URL. **Root cause** Conjonctions de facteurs entraînant une hausse des appels d’URLs, ce qui entraîne une hausse des tentatives de résolutions DNS, entraînant une latence plus importante et in fine une hausse des timeouts à partir de 9h le 2 octobre. Les facteurs sont les suivants : * Diminution des capacités de la plateforme, notamment sur le service opérant les résolutions DNS le 1er octobre à 14h30. * Traitement batch quotidien le matin. La forte hausse du trafic le 2 octobre vers midi additionnée à la diminution des capacités de la plateforme la veille ont abouti à une réaction en chaîne entraînant l’augmentation des 5001 durant 39 minutes. **Rétablissement du service** Rétablissement des capacités de la plateforme au niveau d’avant réduction du 1er octobre. Action pour forcer la résolution DNS sur les serveurs externes. **Actions à entreprendre par Payplug** Monitoring de l’incident : * Ajout de dashboard, de logs et d’alarmes sur la partie résolution DNS. Complexité à augmenter manuellement et rapidement les capacités de la plateforme : * Actions sur la configuration pour simplifier le processus d’augmentation des capacités Survenue de l’incident : * Simplification de l’architecture en terme d’appels inter-services

This incident has been resolved.

TSR-577 - Début / Start : 02/10/2024 12h26 CEST - Fin / End : 02/10/2024 13h05 CEST - Catégorie / Category : Production - Processing - Responsabilité / Responsibility : A confirmer / To be confirmed - Priorité / Priority : P1 FR La plateforme est à nouveau opérationnelle et le trafic n'est plus impacté. Nous continuons d'investiguer sur la root cause de cet incident. EN The platform is operational again and traffic is no longer impacted. We are continuing to investigate the root cause of this incident.

TSR-577 - Début / Start : 02/10/2024 12h30 CEST - Fin / End : En cours / Ongoing - Catégorie / Category : Production - Processing - Responsabilité / Responsibility : A confirmer / To be confirmed - Priorité / Priority : P1 FR L'incident s'est déclaré à 12h30. Nous travaillons à rétablir le service dès que possible. EN The incident occurred at 12:30 pm. We are working to restore the service as quickly as possible.

FR Nous avons identifié des difficultés sur la plateforme de paiement. L'incident est en cours d'analyse. EN We have identified ongoing difficulties on the payment platform. An investigation is in progress.

FR Nous invitons nos marchands utilisant notre module Prestashop 4.14 à le mettre à jour vers la version 4.14.2. Celle-ci corrige des dysfonctionnements impactant le bon fonctionnement des paiements. IT Invitiamo i nostri commercianti che utilizzano il nostro modulo Prestashop 4.14 ad aggiornarlo alla versione 4.14.2. Quest'ultima corregge i malfunzionamenti che incidono sul buon funzionamento dei pagamenti. EN We invite our merchants using our Prestashop 4.14 module to upgrade to version 4.14.2. This corrects malfunctions impacting the payments.

This incident has been resolved.

TSR-436 - Début / Start : 12/09/2024 - Fin / End : 12/09/2024 12.07AM CEST - Catégorie / Category : Production - Terminaux de paiement / Payment terminals - Responsabilité / Responsibility : Payplug - Priorité / Priority : P2 FR L'incident est maintenant résolu et le service est rétabli. Nous continuons à surveiller la reprise du service EN Incident is now resolved and service restored. Service recovery is still under monitoring

FR Nous avons identifié des difficultés sur certains terminaux de paiement. Cet incident concerne une route d'acquisition spécifique et vous n'êtes pas tous concernés. L'incident est en cours d'analyse. EN We have identified ongoing difficulties on some payment terminals. This incident affects one acquisition route, not all of you are affected. An investigation is in progress.

SRM-6195 - Début / Start : 25/06/2024 13h37 CEST - Fin / End : 25/06/2024 13h54 CEST - Catégorie / Category : Production - Processing - Responsabilité / Responsibility : Payplug FR L'incident est résolu et le service est rétabli. Les paiements ont été impactés durant 17 minutes. EN Incident is resolved and service restored. Payments were impacted during 17 minutes.

SRM-6195 - Début / Start : 25/06/2024 13h37 CEST - Fin / End : 25/06/2024 13h54 CEST - Catégorie / Category : Production - Processing - Responsabilité / Responsibility : Payplug FR L'incident est maintenant résolu et le service est rétabli. Les paiements ont été impactés durant 17 minutes. Nous continuons à surveiller la reprise du service. EN Incident is now resolved and service restored. Payments were impacted during 17 minutes. Service recovery is still under monitoring.

FR Nous avons identifié des difficultés sur notre plateforme affectant les paiements. L'incident est en cours d'analyse EN We have identified ongoing difficulties on our platform which affect payments. An investigation is in progress

This incident has been resolved.

FR Le virement des opérations de paiement e-commerce et magasin qui aurait dû être effectué aujourd'hui n'a pas pu être effectué dans les temps. Il devrait être effectué demain. IT I bonifici delle operazioni di pagamento e-commerce e in negozio, che avrebbero dovuto essere effettuati oggi, non sono stati eseguiti in tempo. Verranno effettuati domani. EN Settlement of EURO e-commerce and instore operations which should have been done today could not be performed in due time. it should be done tomorrow.

This incident has been resolved.

Bonjour, Nous avons actuellement transmis tous les virements du 9 au 13 mai actuellement. Vous devriez commencer à les recevoir à partir de cet après-midi, ou sous 1 à 3 jours ouvrés selon les banques. Les jours fériés sont des jours non bancaires, aucun virement n’est donc traité ces jours-là. Le weekend, peu de virements le sont en fonction des banques. Nous accusons actuellement un retard sur les virements qui auraient dû être envoyés le 7 mai. Il s’agit des virements du 06 mai validés par nos équipes après 10h30, ou ceux du 7 validés avant 10h30. Cela est dû à une erreur retournée sur l’un des outils pour traiter ce virement. Ce virement sera relancé demain, le problème étant résolu. Nous vous remercions pour votre compréhension et vous présentons nos excuses pour les délais. Bien cordialement, L’équipe Payplug. ---------------------- Buongiorno, Attualmente abbiamo trasferito tutti i bonifici dal 9 al 13 maggio. Dovreste iniziare a riceverli a partire da questo pomeriggio, o entro 1-3 giorni lavorativi a seconda delle banche. I giorni festivi non sono giorni bancari, quindi nessun bonifico viene elaborato in quei giorni. Durante il fine settimana, pochi bonifici vengono elaborati a seconda delle banche. Attualmente stiamo riscontrando un ritardo nei bonifici che avrebbero dovuto essere inviati il 7 maggio. Si tratta dei bonifici del 6 maggio approvati dai nostri team dopo le 10:30, o quelli del 7 maggio approvati prima delle 10:30. Ciò è dovuto a un errore riscontrato su uno dei mezzi per elaborare questo bonifico. Questo bonifico verrà rinviato domani, una volta risolto il problema. Vi ringraziamo per la vostra comprensione e ci scusiamo per i ritardi. Cordiali saluti, Il team di Payplug. ---------------------- Hello, We have currently processed all transfers from May 9th to May 13th. You should start receiving them from this afternoon, or within 1 to 3 business days depending on the banks. Holidays are non-banking days, so no transfers are processed on those days. During weekends, few transfers are processed depending on the banks. Currently, we are experiencing a delay with transfers that should have been sent on May 7th. These are transfers from May 6th validated by our teams after 10:30 AM, or those from May 7th validated before 10:30 AM. This is due to an error encountered with one of the tools processing this transfer. This transfer will be reprocessed tomorrow, with the issue resolved. We thank you for your understanding and apologize for the delays. Best regards, The Payplug Team.

SMP-2537 - Début / Start : 13/03/2024 15h24 CEST - Fin / End : 13/03/2024 15h42 CEST - Catégorie / Category : Production - Processing - Responsabilité / Responsibility : Payplug FR L'incident a été définitivement résolu à 15h42. EN Incident was totally resolved at 3.42pm.

SMP-2537 - Début / Start : 13/03/2024 15h24 CEST - Fin / End : En cours / Ongoing - Catégorie / Category : Production - Processing - Responsabilité / Responsibility : Payplug FR Environ 10% des paiements et connexion au portail ont été affectés entre 15h24 et 15h42. Le service est rétabli depuis 15h42. Nous continuons à surveiller la reprise du service. EN Around 10% of payments and portal connections were affected between 3.24PM and 3.42pm. Service has been restored at 3.42PM. Service recovery is still under monitoring.

FR Nous avons identifié des difficultés sur notre plateforme affectant une partie des paiements et accès au portail. L'incident est en cours d'analyse EN We have identified ongoing difficulties on our platform which affect some payments and Portal access. An investigation is in progress

Les opérations de paiement e-commerce et magasin non reversées vendredi 10 mai ainsi que celles normalement prévues ce jour ont bien été reversées aujourd'hui. Les virements devraient être visibles sur votre compte dans la journée ou demain au plus tard.

Le reversement des opérations de paiement e-commerce et magasin est partiel. Vous auriez du recevoir aujourd’hui les reversements des journées du 8 et 9 (décalés en raison des jours fériés) et du 10 mai. Les opérations qui auraient dû être reversées le 8 mai, ont bien été reversées aujourd’hui. Les opérations qui auraient dû être reversées les 9 et 10 mai n’ont pas pu être reversées aujourd’hui. Nos équipes techniques travaillent pour assurer le reversement de ces deux journées lundi.

**Service concerné** Paiements de proximité NEXO \(terminaux PAX\) **Impact client** Interruption des paiements de proximité NEXO de 10h50 à 13h42 **Synthèse de l’incident** 10h50 : expiration d’un certificat lié au trafic NEXO et **début de l’incident** 11h46 : alertes marchand 11h50 : ouverture de la cellule de crise 13h30 : détection du certificat expiré 13h42 : solution temporaire permettant la **reprise du trafic** Nexo 14h06 : mise à jour du certificat et **fin de l’incident** **Root cause** Expiration d’un certificat lié au trafic NEXO **Contexte** Incident durant le weekend sans l’expertise de toute l'équipe technique **Actions à entreprendre par Payplug** | **Symptôme** | **Action** | | --- | --- | | Expiration du certificat | Inventaire des certificats répartis sur nos datacenters et sur GCP réalisé cette semaine par l’ensemble de l'équipe infrastructure \(plus d’une centaine de certificats\) Ajout de monitoring sur chaque certificat inventorié avant mise en place d’une solution de gestion des certificats. | | Non détection de la panne | Ajout d’un alerting sur les paiements NEXO | | Délai de résolution important | Revue de la documentation NEXO Formation des équipes d’astreinte | ‌‌ ==============ENGLISH VERSION============== ‌ **Affected service** NEXO proximity payments \(PAX terminals\) **Customer impact** NEXO in store payment outage from 10.50am until 1.42pm **Incident overview** 10\.50am : expiry of a certificate linked to NEXO trafic. **Incident starts** 11\.46am : merchant alerts 11\.50am : crisis unit set up 1\.30pm : detection of the expired certificate 1\.42pm : workaround setup. **Service resumes.** 2\.06pm : expired certificate update. **End of the incident** **Root cause** Expiry of a certificate linked to NEXO trafic **Background** Incident during the wekend without full technical team expertise **Actions to be taken by Payplug** | **Symptom** | **Action** | | --- | --- | | Certificate expiry | Inventory of certificates spread accross our datacenters and GCP is to be performed this week by the whole infrastructure team \(more than a hundred certificates\) Monitoring added for each listed certificate before deployment of a certificate management solution | | Undetected failure | Alerting added on NEXO in store payments | | Large resolution delay | NEXO documentation review On-duty team training |

FR Les services sont pleinement restaurés depuis 13h41 UTC+1. Un post-mortem sera publié rapidement. EN Services have been fully restored since 13h41 (1:41pm) UTC+1. A post-mortem will be updated shortly.

We are continuing to monitor for any further issues.

A fix has been implemented and we are monitoring the results.

FR La cause de l'incident a été identifiée, nos équipes travaillent à la pleine restauration des services. EN The incident cause has been identified, and our teams are working to restore full service.

FR Les équipes techniques sont pleinement mobilisées, nous poursuivons l'investigation pour rétablir les services au plus vite. EN Our technical teams are fully mobilized and we are continuing our investigations to restore services as quickly as possible.

FR Les équipes techniques sont pleinement mobilisées, nous poursuivons l'investigation pour rétablir les services au plus vite. EN Our technical teams are fully mobilized and we are continuing our investigations to restore services as quickly as possible.

---------------------------------------------------------- FR Un incident impacte les transactions des terminaux de paiement opérant sur Nexo (matériel PAX), nous investiguons pour rétablir la situation au plus vite. EN An incident affects payment terminal transactions processed on Nexo protocol (usually PAX terminals) Our technical team is investigating to restore the situation as quickly as possible.

**Service concerné** Paiement e-commerce \(y compris moyens de paiement alternatifs\). **Impact client** Dégradation progressive du service à partir de 10h45 jusqu'à 11h15 avant récupération progressive jusqu'à 11h42. **Synthèse de l’incident** 10h45 : mise en production de fonctionnalités de monitoring et **début de l’incident.** 11h04 : détection de la dégradation du service paiement. 11h08 : ouverture de la cellule de crise technique. 11h13 : rollback pour enlever la fonctionnalité et reprise progressive du service. 11h42 : rollback terminé, **reprise totale du service** et **fin de l’incident.** **Root cause** Mise en production de fonctionnalités pour améliorer notre monitoring qui se sont avérées défaillantes. Les tests effectués n’avaient pas mis en évidence la défaillance des fonctionnalités. **Contexte** La mise en production d’une nouvelle fonctionnalité, tout comme le rollback pour l'enlever sont progressifs sur les différents serveurs, ce qui explique la dégradation et le retour progressifs du trafic. **Actions à entreprendre par Payplug** | **Symptôme** | **Action** | | --- | --- | | Tests qui n’ont pas mis en évidence la défaillance | Investigation en cours sur la non détection en environnement de test. Actions à venir pour pallier le potentiel problème de manque de représentativité des tests. | | Détection de l’incident perfectible \(19 minutes après début de mise en production, en partie justifié par le déploiement progressif\) | Revue et rappel de formation des équipes sur le process de déploiement \(notamment sur la partie monitoring post déploiement\) | | Rollback pour rétablir le service trop long | Amélioration du process de rollback qui nécessite actuellement un redéploiement progressif sur tous les serveurs | ‌ ==============VERSIONE ITALIANA============== ‌ **Servizio coinvolto** Pagamento e-commerce \(compresi metodi alternativi di pagamento\). **Impatto sul cliente** Dal 10:45 alle 11:15 si è verificato un degrado progressivo del servizio, seguito da un recupero graduale fino alle 11:42. **Sintesi dell'incidente** 10:45: Introduzione in produzione di nuove funzionalità di monitoraggio, **avvio dell'incidente**. 11:04: Rilevamento del degrado nel servizio di pagamento. 11:08: Attivazione della cellula di crisi tecnica. 11:13: Rollback per eliminare le nuove funzionalità e ripristino graduale del servizio. 11:42: Completamento del rollback, **ripristino del servizio, conclusione dell'incidente.** **Causa principale** Introduzione di funzionalità difettose durante la messa in produzione, non rilevate durante i test. **Contesto** La messa in produzione e il rollback delle funzionalità sono progressivi su server diversi, spiegando il degrado e il recupero graduale del traffico. **Azioni da intraprendere** | **Symptôme** | **Action** | | --- | --- | | Test che non hanno individuato la falla | Indagine sulla mancata rilevazione durante i test e azioni future per migliorare la rappresentatività dei test. | | Rilevazione dell'incidente migliorabile | Revisione e rinnovo della formazione dei team sul monitoraggio post-incidente. | | Rollback troppo lungo | Miglioramento del processo di rollback per ridurre il tempo necessario al ripristino. |

L'incident est entièrement résolu depuis 11h48. Les paiements passent de nouveau normalement. Nous continuons de monitorer activement la situation. Nous vous présentons nos excuses pour la gêne occasionnée. ----------- In Italiano: L'incidente è completamente risolto dalle 11:48. I pagamenti stanno di nuovo procedendo normalmente. Continuiamo a monitorare attivamente la situazione. Ci scusiamo per il disagio causato.

We are continuing to work on a fix for this issue.

Bonjour, Nous enregistrons actuellement un incident concernant le traitement des paiements. Celui-ci a commencé à 10h45. Le trafic est en train de revenir progressivement à la normale. ----------- In italiano: Buongiorno, Stiamo attualmente registrando un incidente relativo all'elaborazione dei pagamenti. Questo è iniziato alle 10:45. Il traffico sta progressivamente tornando alla normalità.

Bonjour, Nous avons enregistré un incident concernant la méthode de paiement Apple pay. Le service a été interrompu entre 13:55 et 15:55 ce jour. Les paiements repassent désormais normalement. Nous vous prions de nous excuser pour la gêne occasionnée. -------------------- In Italian: Buongiorno, Abbiamo registrato un incidente riguardante il metodo di pagamento Apple Pay. Il servizio è stato interrotto tra le 13:55 e le 15:55 di oggi. I pagamenti ora funzionano nuovamente normalmente. Ci scusiamo per il disagio causato.

Bonjour, Nous confirmons que le service du moyen de paiement Oney est restauré depuis hier 18h30. La quasi-totalité des notifications de paiements Oney a été renvoyée dans l'après-midi. Nous continuons à travailler sur quelques transactions pour les renvoyer d'ici demain. -------------------- In Italiano: Buongiorno Confermiamo che il servizio del metodo di pagamento Oney è stato ripristinato da ieri 18:30. Quasi tutte le notifiche di pagamento Oney sono state inviate nuovamente nel pomeriggio. Continuiamo a lavorare su alcune transazioni affinchè partano entro domani.

Bonjour, Suite à l’incident signalé hier, nous vous informons que le nouveau système de notifications Oney a été retiré ce jour à midi. Les notifications des paiements Oney postérieurs à ce rollback vous parviennent désormais comme avant. Les rattrapages des notifications de paiements effectués entre le 29 février et aujourd’hui midi sont en cours et devraient être effectifs d’ici la fin de semaine. Nous vous tiendrons informés demain. EDIT : Le rollback a finalement eu lieu à 18h30 et non midi comme indiqué initialement. -------------------- In Italiano: Buongiorno, In seguito all'incidente segnalato ieri, desideriamo informarvi che il nuovo sistema di notifiche di Oney è stato rimosso oggi a mezzogiorno. Le notifiche dei pagamenti Oney successivi a questo rollback vi verranno ora inviate come prima. Stiamo attualmente procedendo con il recupero delle notifiche dei pagamenti effettuati tra il 29 febbraio e oggi a mezzogiorno e dovrebbero essere completate entro la fine della settimana. Vi terremo informati domani. EDIT : il rollback è avvenuto alle 18e30 e non alle 12 come indicato in precedenza.

Bonjour, Un incident affecte le moyen de paiement Oney depuis le jeudi 29 février. Les paiements effectués par vos clients depuis cette date sont mis en attente de confirmation et vous ne savez donc pas quelles commandes sont acceptées ou refusées. Nous pouvons tout d’abord vous rassurer sur le fait que les dossiers de financement sont bien partis chez Oney et que nous recevons le statut d’acceptation ou de refus pour chacun. L’incident est causé par une défaillance dans la mise en place d’un nouveau système de notifications jeudi 29 février. Les notifications de mise à jour de statut ne vous sont plus transmises depuis cette date. Nous allons retirer ce système demain, mercredi 6 mars, afin que vous puissiez recevoir correctement les notifications de tous les paiements postérieurs au rollback. Nous allons ensuite travailler au rattrapage manuel de chacune des notifications non reçues afin de pouvoir, autant que possible d’ici jeudi prochain : - remettre à jour le statut des paiements en provenance d’Oney ; - capturer les transactions correspondantes aux dossiers acceptés par Oney. Veuillez néanmoins noter que certaines captures ne seront pas relancées (notamment les paiements en échec). Ce système de notifications permettra de résoudre les soucis de latence et de retard de validation des dossiers de paiement que vous avez pu subir jusque là. Il sera redéployé ultérieurement. En attendant, nous venons d’obtenir le statut de vos dossiers en cours, n’hésitez pas à nous contacter. Nous vous prions de nous excuser pour la gêne occasionnée et vous remercions de votre compréhension. À bientôt, L’équipe Payplug. ------------------------------- In Italiano: Buongiorno, Vi informiamo che dal giovedì 29 febbraio si è verificato un problema che ha influenzato il metodo di pagamento Oney. Di conseguenza, i pagamenti effettuati dai vostri clienti da quella data sono stati messi in attesa di conferma e pertanto non sapete quali ordini siano stati accettati o rifiutati. Vorremmo rassicurarvi che i dossier di finanziamento sono stati correttamente inviati a Oney e che stiamo ricevendo lo stato di accettazione o rifiuto per ciascuno di essi. Questo problema è stato causato da un errore nell'implementazione di un nuovo sistema di notifiche avvenuto proprio il 29 febbraio. Di conseguenza, non state ricevendo le notifiche di aggiornamento dello stato dei pagamenti dal quella data. Abbiamo programmato di rimuovere questo sistema domani, mercoledì 6 marzo, in modo che possiate ricevere correttamente le notifiche di tutti i pagamenti effettuati dopo il ripristino. Successivamente, lavoreremo al recupero manuale di ciascuna delle notifiche non ricevute in modo da potervi fornire, per quanto possibile entro giovedì prossimo: - lo stato aggiornato dei vostri pagamenti da Oney; - catturare le transazioni corrispondenti ai dossier accettati da Oney. Tuttavia, tenete presente che alcune acquisizioni non saranno riproposte (in particolare ai pagamenti falliti). Questo sistema di notifiche permetterà di risolvere i problemi di ritardo nella convalida dei vostri pagamenti che avete riscontrato fino ad ora. Riproporremo il sistema in futuro una volta che avremo compreso e corretto ciò che non ha funzionato. Nel frattempo, abbiamo appena ottenuto lo stato dei vostri pagamenti in corso, quindi non esitate a contattarci. Ci scusiamo per l'inconveniente e vi ringraziamo per la vostra comprensione. A presto, Il team Payplug.

Nous avons reçu confirmation que l'incident est définitivement résolu. Les paiements passent désormais normalement. ------------------------ In Italian: Abbiamo ricevuto conferma che l'incidente è definitivamente risolto. I pagamenti ora vengono eseguiti normalmente.

Les paiements ont été interrompus entre 13h37 et 14h01. Le trafic revient progressivement à la normale. Nous continuons de monitorer activement la situation jusqu'à la résolution complète de l'incident. --------------------- In Italian I pagamenti sono stati interrotti tra le 13:37 e le 14:01. Il traffico sta tornando gradualmente alla normalità. Continuiamo a monitorare attivamente la situazione fino alla completa risoluzione dell'incidente.

We are continuing to work on a fix for this issue.

Bonjour, Nous avons identifié un incident concernant le traitement des paiements depuis 13h50. Les transactions n’aboutissent pas pour le moment. Nous recherchons activement une solution afin de résoudre ce dysfonctionnement. --------------------- In Italian: Buongiorno, Abbiamo identificato un incidente relativo al trattamento dei pagamenti dalle 13:50. Al momento, le transazioni non vengono completate. Stiamo cercando attivamente una soluzione per risolvere questo malfunzionamento.

Nous avons reçu confirmation que l'incident est résolu depuis 16h35. Les paiements passent désormais normalement. -------------- In Italian: Abbiamo ricevuto conferma che l'incidente è stato risolto dalle 16:35. Ora i pagamenti stanno procedendo normalmente.

We are continuing to work on a fix for this issue.

Bonjour, Des perturbations sont en cours depuis 15h55 ce jour concernant l’authentification 3-D Secure. Nous investiguons actuellement sur l'origine de cet incident. --------------------- In Italian: Buongiorno, Dalle 15:55 di oggi si stanno verificando delle interruzioni relative all'autenticazione 3-D Secure. Stiamo attualmente indagando sull'origine di questo incidente.

Nous vous informons que l'incident est résolu depuis 12h00 ce jour. Vous pouvez désormais accéder au portail normalement et afficher les paiements. Nous vous présentons nos excuses pour la gêne occasionnée. -------------------------- In Italian: Vi informiamo che l'incidente è stato risolto. Ora potete accedere normalmente al portale e visualizzare i pagamenti. Ci scusiamo per l'inconveniente causato.

Bonjour, Nous observons une recrudescence de soucis d'accès au portail depuis quelques minutes. Nous mettons tout en oeuvre pour que la situation soit résolue rapidement. Nous estimons que l'accès sera de nouveau disponible à partir de 13h00 environ. --------------------- In Italian Buongiorno, Abbiamo notato un aumento dei problemi di accesso al portale negli ultimi minuti. Stiamo facendo tutto il possibile per risolvere la situazione rapidamente. Stimiamo che l'accesso sarà nuovamente disponibile a partire dalle 13:00 circa.

L'affichage des paiements fonctionne désormais normalement. Nous avons mis en place un correctif et continuons de surveiller activement la situation. Nous laissons l'incident ouvert le temps que le monitoring soit terminé. -------------------------- In Italian: La visualizzazione dei pagamenti ora funziona normalmente. Abbiamo implementato una correzione e continuiamo a monitorare attivamente la situazione. Lasciamo l'incidente aperto fino a quando il monitoraggio non sarà completato.

Bonjour, Nous observons des difficultés pour afficher l'historique des paiements sur le portail Payplug depuis ce matin. Nous investiguons actuellement sur cet incident. ----------------------- In Italian: Ciao, Stiamo riscontrando difficoltà nel visualizzare la cronologia dei pagamenti sul portale Payplug. Attualmente stiamo indagando su questo problema.

Nous avons reçu confirmation de la part de notre partenaire Oney que l'incident est résolu depuis 10h40. Les paiements 3x 4x passent désormais normalement. ------ We have received confirmation from our partner Oney that the incident has been resolved since 10:40 AM. The 3x 4x payments are now going through normally.

Cher client, Notre partenaire Oney a confirmé un incident sur leur service financement. Nous vous tiendrons au courant lorsque nous aurons des nouvelles de leur part Nos excuses pour la gêne occasionnée. ------ Dear customer, Our partner confirmed an incident on their funding service We'll keep you posted once we get an update We apologize for the trouble.

Bonjour, Des perturbations sont actuellement en cours sur les paiements 3x 4x Oney depuis 9h00 ce matin. Nous investiguons actuellement concernant cet incident.

Bonjour, Nous confirmons que l'incident est considéré comme résolu depuis 11h17. L'équipe Payplug

Bonjour, Nous notons une reprise des paiements sur les terminaux PAX et applications Android depuis 11h17. Nous surveillons toujours la situation pour nous assurer que tout reprend correctement. Encore une fois nos excuses pour la gêne occasionnée. L'équipe Payplug. ------ Buongiorno, Abbiamo notato una ripresa dei pagamenti su terminali PAX e applicazioni Android dalle 11:17. Stiamo continuando a monitorare la situazione per assicurarci che tutto stia tornando alla normalità. Ancora una volta ci scusiamo per l'inconveniente. Il team Payplug.

We are continuing to work on a fix for this issue.

Bonjour, Les paiements sur terminaux PAX sont toujours impactés. Cela est dû à une surcharge qui entraine la coupure des paiements de proximité NEXO depuis 10h. Certains paiements e-commerce ont pu être impactés 10h02 et 10h06 Des actions sont en cours en interne avec le partenaire concerné, pour résoudre le souci dès que possible. L'indisponibilité devrait encore durer au moins 30 minutes sur les terminaux concernés. Nous revenons vers vous vers 11h30. Toutes nos excuses pour la gêne occasionnée. L'équipe Payplug.

Bonjour, Nous observons un incident en cours sur Nexo depuis 10h02, cela impacte les paiements sur les terminaux PAX et applications Android. Il n'est actuellement pas possible de processer des paiements. Nos équipes techniques sont en train d'investiguer pour un rétablissement dès que possible. Nous sommes désolés pour la gêne occasionnée. L'équipe Payplug. -------------- Buongiorno, Stiamo riscontrando un problema in corso con Nexo, che sta influenzando i pagamenti sui terminali PAX e le applicazioni Android. Le nostre squadre tecniche stanno attualmente indagando per ripristinare il servizio il prima possibile. Ci scusiamo per l'inconveniente. Il team Payplug.

Nous observons une reprise du trafic nominal depuis 10h05. Nous continuons de monitorer le trafic --------------------- In Italiano: Osserviamo un ritorno al traffico normale dalle 10:05. Continuiamo a monitorare il traffico.

Bonjour, Des perturbations sont en cours depuis 9h30 ce jour concernant l’authentification 3-D Secure. Cet incident externe à notre plateforme concerne environ 20 à 40% des demandes d’authentification. --------------------- In Italiano: Buongiorno, Ci sono state delle perturbazioni a partire dalle 9:30 di oggi riguardo l'autenticazione 3-D Secure. Questo incidente, esterno alla nostra piattaforma, riguarda circa il 20 al 40% delle richieste di autenticazione.

**Synthèse de l’incident** 04/07 17h04 : **début de l’incident** 04/07 17h36 : Première mise à jour de la page Status 04/07 18h20 : Mise à jour de la page Status suite à l'identification de la cause de l’incident 04/07 18h25 : retour à l'état nominal. **Fin de l’incident** ‌ **Root cause** Perte de performance de nos serveurs due à un événement externe inhabituel. ‌ **Impact** Côté API : Dégradation importante entre 17h10 et 17h50 \(~50% des paiements en échec\). Retour progressif à la normale entre 17h50 et 18h25. L’accès au portail était difficile. Sur le module Prestashop : Il n’était pas possible d’activer d’autres moyens de paiement en secours. ‌ **Actions à entreprendre par Payplug** Renforcer les performances de nos serveurs en cas d'évènement inhabituel à fort impact. Améliorer le monitoring concernant le taux d’acceptation afin de mieux anticiper la l'occurrence d’anomalies en production. Apporter une mise à jour au module Prestashop afin que le fonctionnement des autres moyens de paiement sur le CMS ne soit pas influencé par le module Payplug. ‌ —------------------- ‌ **In Italiano :** ‌ **Sintesi dell'incidente**  04/07 17:04: **Inizio dell'incidente** 04/07 17:36: Primo aggiornamento della pagina di stato 04/07 18:20: Aggiornamento della pagina di stato dopo l'identificazione della causa dell'incidente 04/07 18:25: Ritorno allo stato normale. **Fine dell'incidente** ‌ **Cause principale**  Perdita di preastazioni dei nostri server dovuta a un evento esterno insolito. ‌ **Impatto**  Lato API: Degradazione significativa tra le 17:10 e le 17:50 \(circa il 50% dei pagamenti in errore\). Ritorno graduale alla normalità tra le 17:50 e le 18:25. L'accesso al portale era difficile. Sul modulo Prestashop: Non era possibile attivare altre modalità di pagamento alternative. ‌ **Azioni da intraprendere da parte di Payplug**  Potenziare le prestazioni dei nostri server in caso di eventi insoliti ad alto impatto.  Migliorare il monitoraggio riguardante il tasso di accettazione al fine di anticipare meglio l'insorgere di anomalie in produzione.  Aggiornare il modulo Prestashop in modo che il funzionamento delle altre modalità di pagamento nel CMS non sia influenzato dal modulo Payplug.

Nos équipes techniques confirment que l'incident est résolu depuis 18h25. Les paiements passent désormais normalement. Le portail est également de nouveau accessible. Nous continuons de monitorer activement la situation. Nous vous présentons nos excuses pour la gêne occasionnée. In italiano: Le nostre squadre tecniche confermano che l'incidente è stato risolto a partire dalle 18:25. I pagamenti vengono ora elaborati regolarmente. Il portale è nuovamente accessibile. Continuiamo a monitorare attivamente la situazione. Ci scusiamo per l'inconveniente causato.

Nous observons des dysfonctionnements sur notre plateforme de paiement depuis 17h04. Nous avons identifié la cause du problème et sommes en train de prendre les mesures nécéssaires. Le service reprend progressivement mais pourrait encore demeurer instable. Nous vous partagerons des éléments plus précis dès que possible. Toutes nos équipes sont mobilisées afin de résoudre la situation le plus rapidement possible. In italiano : Stiamo riscontrando malfunzionamenti sulla nostra piattaforma di pagamento dalle 17:04. Abbiamo identificato la causa del problema e stiamo prendendo le misure necessarie. Il servizio sta gradualmente riprendendo, ma potrebbe ancora essere instabile. Condivideremo informazioni più precise appena possibile. Tutti i nostri team sono impegnati per risolvere la situazione nel più breve tempo possibile.

Nous sommes toujours en train d'investiguer sur les dysfonctionnements en cours. Nos équipes sont entièrement mobilisées afin de rétablir le service le plus rapidement possible. In italiano : Stiamo ancora conducendo indagini sulle attuali anomalie. I nostri team sono completamente impegnati nel ripristinare il servizio il più velocemente possibile.

Bonjour, Nous avons identifié un incident concernant le traitement des paiements depuis 17h04. Les transactions n’aboutissent pas pour le moment. La connexion au portail est également impossible. Nous recherchons activement une solution afin de résoudre ce dysfonctionnement. Buongiorno, Abbiamo identificato un problema riguardante l'elaborazione dei pagamenti a partire dalle 17:04. Al momento le transazioni non vengono completate. È anche impossibile connettersi al portale. Stiamo attivamente cercando una soluzione per risolvere questo malfunzionamento.

**Synthèse de l’incident** 08/07 22h04 : **début de l’incident** 08/07 22h10 : alertes trafic - ouverture de la cellule de crise 08/07 22h34 : compréhension que l’incident est causé par la maintenance d’un partenaire réseau externe et la défaillance du backup automatisé 08/07 22h50 : investigation en vue de la construction d’un lien réseau de secours 09/07 00h57 : **reprise du service** sur le lien réseau de secours 09/07 10h32 : tests réseaux OK, début des opérations pour revenir au lien réseau nominal 09/07 11h07 : retour à l'état nominal. **Fin de l’incident** **Root cause** En cours d’investigation. **Contexte** Maintenance d'un prestataire réseau avec lequel nous travaillons. Le système de backup automatisé mis en place avec ce prestataire n'a pas fonctionné. Nous sommes toujours en cours d'investigation avec le prestataire pour comprendre pourquoi la bascule ne s'est pas opérée automatiquement et les responsabilités. **Actions à entreprendre par Payplug** | **Symptome** | **Action** | | --- | --- | | Lien de backup automatisé non fonctionnel | Monter un lien réseau de backup alternatif actionnable manuellement | | Détection de l’incident rapide via la perte trafic, mais compréhension de la root cause plus longue | Ajouter de la supervision pour détecter ce type de panne du backup principal | | Root cause et responsabilités non déterminées | Poursuivre les échanges avec notre prestataire réseau pour identifier la cause de l'incident | Veuillez nous excuser pour la gêne occasionnée par cet incident.

Nous vous confirmons que le service est rétabli depuis 0h57. Nos équipes techniques continuent de monitorer pour assurer la continuité du service.

Nos équipes techniques ont mis en place des correctifs. La majeur partie du trafic est rétablie mais il reste quelques perturbations. Nous continuons de travailler au rétablissement complet du service.

Bonjour, Nous avons identifié un incident concernant le traitement des paiements depuis 22h04. Les transactions n’aboutissent pas pour le moment. Nous recherchons activement une solution afin de résoudre ce dysfonctionnement. Buongiorno, Abbiamo identificato un problema riguardante l'elaborazione dei pagamenti a partire dalle 22:04. Al momento le transazioni non vengono completate. Stiamo attivamente cercando una soluzione per risolvere questo malfunzionamento.

**Synthèse de l’incident** 01/06 10h18 : Mise en production du service d’authentification 3DS et début incident 01/06 10h22 : Rollback 01/06 10h37 : Ouverture de la cellule de crise 01/06 10h48 : Communication status page 01/06 11h25 : Fin de l’incident et reprise du service 03/06 08h50 : Mise à jour automatique de sécurité \(patch management\) et début de l’incident 03/06 09h44 : Ouverture de la cellule de crise 03/06 10h50 : Fin de l’incident et reprise du service **Root cause** Service d’authentification 3DS démarré avec les dernières configurations industrialisées antérieures à l’incident GCP **Contexte** Lors de l'incident du 26/04 lié à GCP, certaines configurations ont été modifiées manuellement suite à l’inaccessibilité des outils Google permettant d'industrialiser les configurations. Lors du rollback du 1er juin, les services ont été redémarrés avec les dernières configurations industrialisées qui ont écrasé les configurations manuelles. Une mise à jour de sécurité automatique a eu lieu le 3 juin, provoquant le redémarrage du service d’authentification 3DS avec les dernières configurations industrialisées et un deuxième incident similaire au premier. ‌ **Actions à entreprendre par Payplug** | **Symptome** | **Action** | | --- | --- | | Dernière configuration industrialisée pas à jour | Arrêt des mises en production tant que la situation n’est pas stabilisée Répertorier les configurations manuelles et réindustrialiser ces configurations | | Communication status page tardive/absente dans les deux cas | Améliorer l’automatisation du processus incident majeur \(notamment en heure non ouvrée\) Renforcer la formation sur le processus incident majeur Reprendre l’implémentation de monitoring / alerting spécifiques supplémentaires |

FR : Le trafic est entièrement rétabli depuis 11h48. Nous poursuivons la surveillance et vous tiendrons informés de la cause et des actions menées dans un prochain message. Veuillez nous excuser de la gêne occasionnée. EN : Traffic is stable since 11:48. We are still monitoring, an update will be made to explain the root cause and followup actions. We apologize for the inconvenience.

FR : Nos équipes techniques ont opéré des correctifs. Depuis 11:25 CET, nous observons un rétablissement partiel des authentifications 3D Secure. Nous continuons surveiller et apportons des correctifs. EN : Our teams have operated some fixes. Since 11:25 CET we observe a recovery of the 3D Secure authentications. We are still actively working on the issues to make some corrections.

- Début / Start / Inizio : 01/06/2023 10h18 CEST - Fin / End / Fine : En cours - Catégorie / Category / Categoria : Authentification 3D Secure / 3DS authentication - Responsabilité / Responsibility / Responsabilità : Payplug - Priorité / Priority / Priorità : P1 ==============VERSION FRANCAISE ============== L'authentification 3DS est actuellement indisponible sur nos services. Toutes les requêtes d'authentification 3DS sont refusées. Nos équipes investiguent pour rétablir le service. ==============ENGLISH VERSION============== 3DS authentication service is currently not available. Every 3DS authentication requests are rejected. Our teams are investigating to resume service Posted 1 minute ago. Jun 01, 2023 - 10:48 CEST ============== ITALIA ============== L'autenticazione 3DS non è attualmente disponibile sui nostri servizi. Tutte le richieste di autenticazione 3DS vengono rifiutate. I nostri team stanno indagando per ripristinare il servizio.

Nous avons reçu confirmation que l'incident est résolu depuis 11h30. Les paiements 3x 4x Oney passent désormais normalement.

Nous vous confirmons l'indisponibilité totale du moyen de paiement Oney depuis 10h06 ce matin. Nous vous tiendrons informés lorsque le dysfonctionnement sera résolu.

Bonjour, Des perturbations sont actuellement en cours sur les paiements 3x 4x Oney. L'origine de cet incident est externe à notre plateforme. Nous vous tiendrons informés lorsque le dysfonctionnement sera résolu.

This incident has been resolved.

L'incident est clos depuis 14h18. Incident is closed since 14:18 CET. Our tech teams are still monitoring the platform to make sure everything resumes back to normal.

We are continuing to work on a fix for this issue.

Nos équipes continuent d'échanger avec Visa. La problématique a été identifiée et le correctif est en cours mais prendra certainement encore quelques heures. Nous venons vous remercions pour votre patience et vous tiendrons informé dès que nous avons du nouveau. Our teams are still talking with the Visa teams. The issue is identified and the fix is ongoing but will probably take a few hours. We thank you for your patience and will keep you updated as soon as possible.

We are continuing to work on a fix for this issue.

- Début / Start : 13/05/2023 19h41 CEST - Fin / End : Ongoing - Catégorie / Category : Production - Responsabilité / Responsibility : Payplug - Priorité / Priority : P2 Nous avons observé une hausse des codes d'erreur sur les authentifications 3DS VISA. Nos équipes investiguent pour rétablir le service et sont en contact direct avec VISA. ==============ENGLISH VERSION============== We observe payment error increase, on VISA 3DS authentications. Our teams are investigating and in direct contact with the VISA teams to resume service

Bonjour, Nous vous confirmons que les virements demandés samedi et dimanche ont bien été envoyés ce matin et devraient être visibles sur votre compte dans la journée ou demain au plus tard. Les virements demandés ce lundi 1er mai et aujourd'hui seront envoyés demain (mercredi 3 Mai).

Suite à l'incident du 26/04 et le jour férié à venir ce lundi 1er Mai, nous prévoyons un potentiel retard dans le traitement de vos virements mardi 02 Mai 2023. Nous mettons tout en œuvre pour qu’ils soient validés et envoyés dès mardi mais certains pourraient accuser un retard et ne seront alors finalisés que le jour suivant. Nous vous remercions pour votre compréhension et nous excusons par avance pour la gêne occasionnée.

This incident has been resolved.

Bonsoir, Nous vous confirmons que tous les services sont désormais opérationnels. Nous pouvons considérer que l'incident est entièrement résolu. Nous restons vigilants et continuons à monitorer activement l'activité de la plateforme. Un post-mortem concernant cet incident sera prochainement publié. Nous vous présentons nos excuses pour la gêne occasionnée.

Bonjour, Nous souhaitions vous informer des dernières évolutions sur la reprise de notre service. Depuis hier, notre priorité a été de rétablir le plus rapidement possible le fonctionnement des paiements. Nous vous confirmons que depuis hier soir, les services de paiement sont opérationnels. Nos équipes ont été mobilisées pour remettre en place l’ensemble des autres services et nous vous informerons au long de la journée de l’évolution de la situation. Ce qui est déjà opérationnel : - Paiements, remboursements en ligne - Paiements en magasin - Portail Ce qui n’est pas encore opérationnel (remise en service en cours) : - Télécollecte des paiements en magasin - Exports comptables - Virements quotidiens N’hésitez pas à consulter cette page Status pour obtenir les dernières informations à jour. Toute l’équipe est consciente de l’importance d’une résolution rapide et se tient à votre disposition pour vous accompagner et répondre à vos questions. Merci pour votre compréhension tout au long de la journée d’hier. L’équipe Payplug English version We wanted to inform you about the latest developments regarding the resumption of our service. Since yesterday, our priority has been to restore payment functionality as quickly as possible. We confirm that since last night, payment services are operational. Our teams have been fully involved to restore all other services, and we will keep you informed throughout the day of the situation's progress. What is already operational: - Online payments and refunds - In-store payments - Portal What is not yet operational (restoration in progress): - In-store payment collection - Accounting exports - Daily transfers Feel free to check this Status page for the latest up-to-date information. The entire team is aware of the importance of a quick resolution and is at your disposal to support you and answer your questions. Thank you for your understanding throughout yesterday. The Payplug team

Bonsoir, Nous vous confirmons que nos services de paiement reviennent progressivement à la normale. L’ensemble de nos équipes restent mobilisées afin de maintenir la stabilité de la plateforme. Nous vous invitons à suivre les évolutions de la situation sur cette page status. Nous souhaitons également revenir plus en détail sur les événements de la journée. Ils feront également l’objet d’un post mortem que nous vous partagerons prochainement ainsi que les actions correctives mises en place afin de préserver la qualité de notre service. Que s’est-il passé ? Depuis ce matin 8h26, les services de paiement de Payplug ont été interrompus suite à l’incident de Google Cloud Platform qui touche la région de Paris. Un incident dans un datacenter où est située une partie de la région cloud de Google en France a déclenché une réaction en chaîne entraînant une interruption de services informatiques. Sur les conseils de Google Cloud , nous avons priorisé la migration de toutes nos données vers une autre région, et ce au-delà des anticipations et de l'hébergement multi-zonal prévu dans le cadre de notre plan de sécurité informatique. Si l’ensemble des données de Payplug sont hébergées au sein d’une même région, précisons qu’elles n’étaient pas hébergées au même endroit mais bien dans 3 groupes de datacenters différents, et que notre Plan de Secours Informatique ne prévoyait pas l’interruption simultanée des 3 environnements. Les medias se sont par ailleurs fait l'écho des différents acteurs impactés par cet incendie près de Paris au-delà de ceux de Google Cloud : https://www.bfmtv.com/tech/cybersecurite/lille-cannes-courbevoie-un-incendie-dans-un-centre-de-serveurs-paralyse-des-sites-web-de-grandes-villes_AV-202304260428.html ou https://www.lemondeinformatique.fr/actualites/lire-google-cloud-sous-l-eau-suite-a-un-incendie-chez-global-switch-clichy-90281.html Plan de Continuité d’Activité : Dans le cadre de notre plan de continuité d’activité, une cellule de crise est active depuis ce matin sous la supervision d’Antoine Grimaud, notre CEO. Nous avons mobilisé toutes nos ressources afin de travailler à la mise en place d’une solution technique et de répondre aux questions de nos marchands et de nos partenaires. Rétablissement des services : A l’heure qu’il est, des serveurs de bases de données ont été créés sur la région Belgique et la migration des données de production essentielles au processing est terminée. La réactivation des services devrait avoir lieu de manière progressive au plus vite. Toutes les équipes sont pleinement mobilisées, l'urgence étant la stabilisation de l’ensemble de notre service. Nous sommes désormais confiants que la situation se stabilise et nous allons monitorer de près l’ensemble de notre infrastructure. Pour suivre en temps réel l’évolution de la situation pour Payplug, retrouvez notre page status. Pour retrouver les éléments communiqués par Google Cloud Platform à propos de l’incident, rejoignez la page status de l’incident : https://status.cloud.google.com/incidents/dS9ps52MUnxQfyDGPfkY

Les paiements commencent à repasser sur notre plateforme. Nous continuons à monitorer activement l'état du service. Nous vous tiendrons informés dans la soirée sur l'évolution de la situation.

L'incident est toujours en cours chez notre prestataire Google Cloud Platform. La reprise progressive du trafic est toujours estimée entre 18h30 et 19h30. Nous vous tiendrons informés dès que de nouveaux éléments seront disponibles.

L'incident est toujours en cours chez notre prestataire Google Cloud Platform. Nous sommes entièrement mobilisés en collaboration avec les équipes de Google sur la mise en place d'une solution alternative. La reprise progressive du trafic est maintenant estimée entre 18h30 et 19h30. Nous affinerons cette estimation à 19h00 ou dès que de nouveaux éléments seront disponibles.

L'incident est toujours en cours chez notre prestataire Google Cloud Platform. Nous sommes entièrement mobilisés en collaboration avec les équipes de Google sur la mise en place d'une solution alternative. La reprise du trafic est maintenant estimée à 18h30. Nous affinerons cette estimation à 18h00.

L'incident est toujours en cours chez notre prestataire Google Cloud Platform. Nous sommes entièrement mobilisés en collaboration avec les équipes de Google sur la mise en place d'une solution alternative. La reprise du trafic est maintenant estimée à 18h30. Nous affinerons cette estimation à 17h00.

L'incident est toujours en cours chez notre prestataire Google Cloud Platform. Nous sommes entièrement mobilisés en collaboration avec les équipes de Google sur la mise en place d'une solution alternative. La reprise du trafic est toujours estimée à 17h00. Nous affinerons cette estimation à 16h00.

L'incident est toujours en cours chez notre prestataire Google Cloud Platform. Nous sommes entièrement mobilisés en collaboration avec les équipes de Google sur la mise en place d'une solution alternative. La reprise du trafic est toujours estimée à 17h00. Nous affinerons cette estimation à 15h00.

L'incident est toujours en cours chez notre prestataire Google Cloud Platform. Nous travaillons en collaboration avec leurs équipes pour que nos serveurs soient migrés le plus rapidement possible vers des régions non impactées par l'incident. Notre nouvelle estimation sur la reprise du trafic est établie à 17h00. Nous affinerons cette estimation à 14h00.

Nous revenons vers vous concernant l’incident en cours chez notre prestataire Google Cloud Platform. Nous sommes en train de migrer nos serveurs vers d’autres régions non impactées par l’incident. Nos équipes techniques mettent tout en oeuvre afin de trouver une solution et nous espérons une reprise du trafic vers 15 heures environ. Nous affinerons cette estimation à 13h00. Nous vous présentons nos excuses pour la gêne occasionnée.

Nous revenons vers vous concernant l'incident en cours chez notre prestataire Google Cloud Platform. Leurs équipes travaillent activement sur la résolution de l'incident. Malheureusement nous avons eu confirmation que leur data center ne pourra pas être remis en service avant midi au plus tôt. Nous recherchons activement des alternatives et nous sommes en train de transférer nos serveurs vers d'autres data centers non impactés par l'incident. Nous ferons une nouvelle mise à jour ce midi concernant l'évolution de la situation.

Bonjour, Nous subissons toujours actuellement une interruption du service liée à Google Cloud qui touche toute la région Europe west9 (Paris) : https://status.cloud.google.com/incidents/dS9ps52MUnxQfyDGPfkY#73mBtVKKfeJGJ1yaY7hV Leurs serveurs sont actuellement inaccessibles. Nos équipes techniques sont en train de basculer en urgence sur nos autres solutions possibles. Encore toutes nos excuses pour la gêne occasionnée. L'équipe Payplug

Bonjour, Nous constatons une interruption du service lié à l'un de nos prestataires d'hébergement : https://status.cloud.google.com/incidents/dS9ps52MUnxQfyDGPfkY#73mBtVKKfeJGJ1yaY7hV Nos équipes techniques travaillent pour trouver une alternative. Toutes nos excuses pour la gêne occasionnée. L'équipe Payplug

Nous constatons un retour à la normale depuis la semaine dernière. We have been observing a return to normalcy since last week

Bonjour, Nous constatons un retour à la normale pour les adresses email yahoo, free, et le reste des fournisseurs de mail. Nous restons vigilants dans les prochains jours Hello, We are seeing a return to normal for Yahoo, Free, and the rest of the email providers' addresses. We remain vigilant in the coming days.

Nous avons eu un retour des équipes d'Orange, contactées par notre équipe technique. Une mise à jour de leurs règles anti-spam, permet de débloquer la situation pour les adresses email wanadoo et orange. Nous avons débloqué les emails placés sur notre liste de rejet. Les autres emails devraient être débloqués dans quelques jours, lorsque l'ajout à cette liste expire. Nous sommes également en train d'échanger avec yahoo, pour qui les adresses emails sont fortement impactées. Nous vous tiendrons informés. Une solution peut-être de vérifier que les mails Payplug n'arrivent pas dans les spams, et de les indiquer comme non-spam. Une dernière étape peut être d'ajouter les emails support@payplug.com et admin@payplug.com à la liste de vos contacts. We received feedback from Orange's teams, who were contacted by our technical team. An update to their anti-spam rules allows us to unblock the situation for wanadoo and orange email addresses. We have unblocked the emails placed on our rejection list. The other emails should be unblocked in a few days when the addition to this list expires. We are also in communication with Yahoo, for whom email addresses are heavily impacted. We will keep you informed. A possible solution may be to check that Payplug emails are not ending up in your spam folder and mark them as non-spam. A final step could be to add the emails support@payplug.com and admin@payplug.com to your contacts list.

Depuis le 08/04, certains mails de notification se retrouvent bloqués, dans les spams, ou ne sont pas reçus. Cet incident ne concerne pas toutes les adresses mails. Nous avons contactés notre prestataire de mail, et sommes toujours en attente d'une réponse. Notre équipe technique travaille actuellement à une solution de contournement en attendant. Nous vous présentons nos excuses pour la gêne occasionnée. L'équipe Payplug Since 08th April, some payment notification emails are blocked, in spam, are not received. This incident doesn't impact all email addresses, but only some of them. We have contacted our Email provider for that, and are awaiting its reply. Our technical team is, in the meantime, trying to find a solution. We apologize for the trouble. The Payplug team.

Bonsoir, Nous revenons vers vous concernant l’interruption des paiements survenue ce jeudi 20 avril 2023. L’incident a été signalé par nos systèmes d’alerte. Le service a enregistré une interruption totale entre 13h09 et 13h22. Il s’en est suivi un rétablissement puis un ralentissement important entre 13h22 et 13h53. L’origine de l’incident a été causée par une surcharge de l’un des services de notre API. Des mesures ont été prises afin que ce type d’incident ne puisse plus se reproduire. Nous vous présentons nos excuses pour la gêne occasionnée.

Le service est maintenant rétabli. L'incident a eu lieu entre 13h09 et 13h53. Nous continuons de monitorer activement la situation.

Nous recherchons toujours une solution à l'indisponibilité partielle des paiements. Nous vous tiendrons informés dès que l'incident sera résolu.

Nous avons identifié un incident concernant le traitement des paiements. Une partie des transactions n’aboutissent pas pour le moment. Nous recherchons activement une solution afin de résoudre ce dysfonctionnement.

Nous avons reçu confirmation que l'incident est terminé depuis 10h20 ce jour. Les paiements passent désormais normalement.

Bonjour, Nous avons identifié un incident concernant le traitement des paiements depuis 8h17 ce matin. Nous évaluons l'impact à une baisse de 25% de notre taux d'acceptation environ. Nous recherchons activement une solution afin de résoudre ce dysfonctionnement.

Bonjour, Nous venons d'avoir confirmation de notre partenaire bancaire : les remboursements ont bien été émis ce matin. En fonction des délais interbancaire, ceux-ci devraient apparaître sur les relevés des clients à partir de cet après-midi. Hello, We just had the confirmation from our banking partner : the refunds have been emitted this morning. According to the banking processing time, it should be displayed on the customers' account from tomorrow on. To sum up the previous situation, some payments of Tuesday 17th have been debited twice following an incident on the payment chain at night. Our technical teams have been investigating the issue and scaling it to our payment partners to find the transactions and refund it (this morning).

Nous venons d'avoir un retour de notre partenaire bancaire. Le fichier de rattrapage des transactions est prêt et sera rattrapé demain matin. Vos clients seront donc crédités d'ici mercredi. We just got a reply from our banking partner. The file containing the transaction is ready, and they will be sent for refund tomorrow morning. Your customers will be credited on Wednesday approximately.

Bonjour, Les équipes techniques de la chaîne du paiement sont en train de travailler sur un script permettant de rembourser l'intégralité des doubles débits. Nous aurons un premier un retour demain matin. Nous vous présentons encore une fois nos excuses pour la gêne occasionnée.

Les transactions sont identifiées et les remboursements devraient pouvoir être émis en début de semaine prochaine. Nos équipes travaillent toujours à la résolution du problème. Encore toutes nos excuses pour la gêne occasionnée. L'équipe PayPlug

Nos équipes techniques sont toujours en train de déterminer l'impact exact. Nous reviendrons vers vous avec plus d'informations en début d'après midi.

Bonjour, Certaines opérations de paiement du mardi 17 janvier ont été débitées deux fois suite à un incident sur la chaine de nuit. Nos équipes techniques investiguent pour déterminer l'impact exact et trouver une solution pour annuler ces double débits. Nous reviendrons vers vous rapidement. Veuillez nous excusez pour la gêne occasionnée.

This incident has been resolved.

Suite à une mise à jour de l'un de nos prestataires de paiement, certains terminaux (A920 pro, A80, S920) rencontrent des dysfonctionnements. Un redémarrage peut suffire à rendre le terminal à nouveau fonctionnel. Nos équipes investiguent actuellement sur le sujet.

Nous avons reçu confirmation que l'incident est résolu depuis 12h30 environ. Les paiements passent désormais normalement. L'origine de l'incident était externe à notre plateforme. Elle a été identifiée chez l'un des prestataires assurant le fonctionnement du service 3D Secure. Nous vous présentons nos excuses pour la gêne occasionnée.

L'incident est toujours en cours. Nous recherchons activement une solution afin de résoudre ce dysfonctionnement.

Bonjour, Des perturbations sont en cours depuis 9h00 ce jour concernant l’authentification 3D Secure. Cet incident externe à notre plateforme concerne environ 60 à 70% des demandes d’authentification. Nous vous tiendrons informés lorsque l’incident sera résolu.

Nous avons reçu confirmation que l'incident est terminé depuis 11h15 ce jour. Les paiements avec authentification 3D Secure passent désormais normalement.

L'incident est toujours en cours d'investigation. Il concerne les cartes du réseau Mastercard.

Bonjour, Des perturbations sont en cours depuis 9h30 ce jour concernant l’authentification 3D Secure. Cet incident externe à notre plateforme concerne environ 30 à 40% des demandes d’authentification 3D Secure. Nous vous tiendrons informés lorsque l’incident sera résolu.

Les transactions du 25/11 en magasin sur vos terminaux de paiement ingenico apparaissent dans votre portail depuis hier soir avec 1h de décalage par rapport à l'heure de paiement. Elles apparaîtront dans les exports comptables à la date du 28/11. Les transactions concernées pour le 27 novembre remontent également correctement dans le portail, et à la date du 28/11 dans les exports. Nous sommes désolés pour ce délai de remontée des transactions.

Bonjour, Nous rencontrons actuellement un retard concernant la remontée des transactions du 25/11 sur Ingenico. Nos équipes techniques et celles de notre banque investiguent actuellement pour faire remonter les transactions dès que possible. Les transactions apparaissent bien du côté de notre banque. Les paiements ne sont pas impactés, les télécollectes du 26 et 27 remontent bien également. Nous avons conscience qu'il s'agit d'une journée cruciale, et vous présentons nos excuses pour la gêne occasionnée.

Les transactions sont remontées dans la journée du 18 et 19 novembre. Les transactions remontent dans les exports comptables à ces dates. Encore toutes nos excuses pour la gêne occasionnée.

Bonjour, Un incident sur la chaîne de télécollecte empêche les transactions du 17/11 de remonter dans votre portail actuellement. Le sujet est en cours d'investigation auprès de nos équipes techniques. Les transactions apparaissent du côté de notre acquéreur. Nous vous présentons nos excuses pour la gêne occasionnée.

Bonjour, Des perturbations importantes concernant l’authentification 3D Secure ont été enregistrées aujourd'hui entre 13:10 et 14:06. Cela a eu pour conséquence un nombre élevé d'échecs de paiement. Cet incident externe à notre plateforme est maintenant résolu.

Nous avons reçu confirmation que l'incident est résolu. Les paiements passent désormais normalement. Cet incident a occasionné une indisponibilité du service Oney ce lundi 19/09 entre 14h54 et 15h54

Bonjour, Des perturbations sont actuellement en cours sur les paiements 3x 4x Oney. Nous n’avons pas encore d’estimations sur l’impact de cet incident dont l’origine est externe à notre plateforme. Nous vous tiendrons informés lorsque le dysfonctionnement sera résolu.

L'incident sur le portail est désormais terminé. Cause technique : notre service d'indexation des paiements a connu des dysfonctionnements majeurs qui nous ont amenés à reconstruire un nouveau cluster. Aucune donnée n'a été perdue, et les paiements n'ont pas été affectés par cet incident. Notre équipe d'astreinte reste en surveillance. Nous vous présentons nos excuses pour la gêne occasionnée. L'équipe PayPlug

Bonjour, Notre portail est actuellement très ralenti ou indisponible en fonction des cas. Les paiements fonctionnent correctement. Nos équipes sont mobilisées sur la résolution de cet incident.

Bonjour. Notre partenaire bancaire a enregistré un incident entre 12h09 et 12h18. Cela a entrainé un retard de traitement concernant les paiements PayPlug. Les transactions impactées ont toutes pu être complétées suite à la fin de cet incident. Nous continuons de monitorer la situation.

Nous vous informons que l'incident est résolu. L'accès au portail est de nouveau fonctionnel.

Bonjour, L'accès au portail PayPlug est momentanément impossible. Nous mettons tout en œuvre pour résoudre ce dysfonctionnement dans les plus brefs délais.