Le nom de la formation est lui-même emprunté à une librairie indépendante « C'est une passion qui est naît à Mumford and Sons' music, qui, comme les meilleures librairies, est intimiste, à la mode d'antan et remplie de références littéraires ».
Leur dernier album, Sigh no more, est composé pour moitié de chanson inspirée de livres. On pourrait par exemple citer la chanson Timshel qui puise ses racines dans A l'est d'Éden de John Steinbeck. Le titre de l'album est lui-même une référence au barde de Beaucoup de bruit pour rien de Shakespear.
On pourra découvrir quelques-uns de leurs titres sur la page MySpace de Mumford and Sons.