Déménager avant que nous soyons obligés de le faire
Nous avons fini par modifier la configuration avant la mise en service de la banque, alors que nous disposions encore de suffisamment de marge pour le faire avec soin. Nous avons abandonné le service Elasticsearch hébergé et sommes passés à OpenSearch open source, et avons fait appel à NetApp Instaclustr pour exécuter à la fois OpenSearch et Postgres, qui sous-tenaient notre plate-forme d’observabilité. Cette relation s’est étendue à nos clusters d’analyse ClickHouse peu de temps après, où se déroule réellement l’essentiel de notre traitement. Il est important de noter qu’il s’agit toutes de technologies 100 % open source, ce qui pourrait garantir la portabilité sans verrouillage. Cependant, le principe derrière cette décision comptait tout autant que la technologie elle-même. Je voulais que mes ingénieurs se retirent du secteur des migrations à 2 heures du matin et du secteur des correctifs d’urgence, et je voulais que cette heure soit directement orientée vers le produit.
Une condition importait plus que les autres, celle où bon nombre de ces mouvements disparaissent tranquillement. Nous vendons dans des secteurs réglementés (comme cette grande banque) et ne pouvons pas simplement transférer nos données dans le cloud de quelqu’un d’autre et abandonner le contrôle de leur emplacement physique. Aucune marge de manœuvre, donc quoi que nous choisissions, nous devions conserver les données dans notre propre environnement. Aucune quantité de « plus stable » ne nous aurait sauvés si nous avions échoué à ce test.
La récompense s’est avérée facile à chiffrer, et je vais vous donner la nôtre car cela a véritablement changé ma façon de penser à tout cela. Nous sommes revenus quelque part au nord de 6 200 heures d’ingénierie par an. C’était du temps qui disparaissait dans le trou noir de l’entretien back-end et du genre d’exercices d’incendie qui mangent un sprint (et quel que soit le week-end que vous espériez avoir). Depuis, nous avons dépassé les 500 000 000 d’interactions et les milliards d’informations analysées par notre couche d’analyse ClickHouse, et les craintes de performances auxquelles nous nous préparions avaient pour la plupart cessé de se produire. Les basculements sont devenus ennuyeux, tandis que les mises à niveau sur lesquelles je restais éveillé ne sont devenues qu’un mardi après-midi.
