Il commença sa carrière militaire à l'âge de 9 ans et fut fait chevalier à 21 ans. À 24 ans, il fut nommé capitaine-général de Franche-Comté. Il fut ensuite gouverneur de Calais quand la ville fut prise par le roi d'Angleterre Édouard III et fut fait prisonnier.
En 1373, Charles V le nomma amiral de France. Il réorganisa la marine, mis en place un important programme de construction, créa les gardes-côtes, organisa des surveillances sur les côtes et délivra des licences pour construire et vendre des bateaux.
Jean de Vienne fut le premier à comprendre que les opérations navales pouvaient porter atteinte à l'Angleterre et il conduisit plusieurs expéditions contre les côtes sud anglaises de Plymouth en passant par l'île de Wight jusqu'à Rye situé non loin d'Hasting (connu pour la bataille qu'y gagna Guillaume le Conquérant).
Entre 1381 et 1385, il se battit contre les Néerlandais, notamment lors de la bataille de Rosbec. En 1385, sur sa demande, il débarqua en Écosse avec 180 navires afin d'envahir l'Angleterre mais, au terme d'une expédition désastreuse pour son armée qu'avaient abandonné les écossais, il dut faire retraite.
Après que Charles VI succéda à son père Charles V sur le trône de France, la marine déclina car Charles VI ne partageait pas l'intérêt de son père. Jean de Vienne rejoignit alors la croisade du roi Sigismond de Hongrie contre l'empire ottoman. Il fut tué lors de la bataille de Nicopolis en Bulgarie.
— Mais il est guerrier de terre et non point coureur de mer !
Toute la cour de France est scandalisée. En ce 27 décembre de l'an de grâce 1373, le roi Charles V vient de nommer Amiral de France, Jean de Vienne, sire de Roulans, en Franche-Comté.
— Et il est à peine âgé de 32 ans !
Le souverain, qui restera dans l'Histoire sous le nom de Charles le Sage, tient pourtant à son choix. Il est d'à peine trois ans l'aîné de Jean de Vienne et sait ce que la Couronne doit à ce jeune seigneur.
— Qu'importe ! Ce qui compte, c'est la vaillance et la fidélité. Sans être, lui non plus, homme de mer, messire Bertrand Du Guesclin, au mois d'août de cette année, a bien pris la tête d'une flotte pour ravager Jersey et mettre à mal ses garnisons anglaises. Ignorez-vous qu'il s'est emparé aussi de deux hourques armées devant La Rochelle ? Et pourtant le Dogue Noir de Brocéliande n'avait jamais combattu sur les flots !
— Oui, sire. Mais il est Breton. Et les Bretons ont de l'eau de mer dans le sang. Tous. Même ceux d'Argoat.