Comment Twitter gère le volume ?

La conférence officielle des développeurs pour Twitter à eu lieu du 14 au 15 Avril à San Francisco. John Adams livre des chiffres concernant l’utilisation du service de microblogging très impressionnant. Il parle d’une augmentation de +1300% en 2009 et de milliards de hits (à noter aussi, que 70% du traffic passe par les API et non des sites web).

Leurs réponses techniques face à ce flux (visiblement transparente et souvent open source) est passionnante pour les curieux comme nous. Surtout lorsque entre 2 lignes anodines, il est expliqué que Twitter va développer son propre Datacenter pour héberger ses services. Au fil des slides on démasque quelque mot-clés qui commence à être récurent sur les architectures à haut volume : memcached, haproxy, cassandra, etc…