Afin de l'initier lui aussi à la musique son père lui offre un trombone. Quand le trombone devient trop lourd pour le petit Chet, il change pour la plus légère trompette. Un choix qu'il ne regrettera pas et qui donnera au monde du jazz de somptueux moments.
Continuant à étudier la musique au college, il quitte l'école en 1946 à l'âge de 16 ans pour joindre l'armée. Il sera à Berlin pendant deux ans avant de quitter l'armée pour retourner étudier les harmonies et la théorie musicale à Los Angeles. Dès sa deuxième année d'étude, il décroche. D'abord pour être tompettiste pour le stage band de l'armée des États-Unis, puis pour passer plus de temps dans les boite de jazz de San Francisco.
Il joue un peu avec Vido Musso et surtout découvre le West Coast jazz en jouant auprès du saxophoniste Stan Getz. En 1951, Charlie Parker recrute le joueur de trompette de 21 ans pour une série de concert sur la côte ouest des États-Unis. Autour de Parker règne la drogue qui inspire le célèbre saxophiste (et le tuera), Baker y trempe et voilà un geste qui lui coûtera sa carrière.
Pour l'instant toutefois, il est en pleine ascension. En 1952, Gerry Mulligan est la nouvelle sensation jazz et il demande à Baker de joindre son quartet. Ensemble ils font des malheurs. Au lieu de se répondre ou de jouer chacun leur tour, ils se complètement presque parfaitement en résussissant à anticiper ce que l'autre va jouer. Le Gerry Mulligan Quartet est un gros hit. La version de My Funny Valentine restera associée à Baker toute sa vie. Mais le succès est de courte durée, Mulligan est envoyé en prison pour des problèmes de drogue et Baker choisit alors de lancer un album...où il chantera!
En 1954 il se joint à Russ Freeman pour un quartet qui a beaucoup de succès en spectacle. Dès 1955, Hollywood recrute ses traits et le fait jouer dans un de ses films. On veut lui faire signer un contrat mais il refuse, préférant la vie de musicien sur la route (et les accès plus discrets et plus directs à la drogue).
Toutefois plus les années 60 approchent, plus il devient l'esclave de l'héroine. L'héroine le tient en fait complètement en laisse. Il fait plus d'un an de prison en Italie à cause de la drogue, est expulsé de l'Allemagne et du Royaume-Uni pour les mêmes raisons avant d'être officiellement déporté après de multiples bris de condition.
Il fait quelques humbles métier, dont celui de pompiste dans une station-service afin de survivre.
De 1966 à 1974 il joue principalement du bugle, un instrument, croisement entre la trompette et le saxophone, dont l'embouchure a été confectionné spécialement pour lui afin d'épouser sa "nouvelle bouche" plus facilement.
Il s'installe sur la Côte Est à New York où il joue un peu avant de s'installer pour toujours en Europe en 1978. Pendant dix ans il est très prolifique, et toujours dans la drogue jusqu'au cou. Il enregistre sur de petites étiquettes de disque et sa musique ne voyage pas beaucoup à travers le monde pour cette raison.
En 1983, Elvis Costello l'engage pour un très beau morceau et en retour Baker joue en spectacle un autre beau morceau de Costello qui était inspiré d'emblée d'un des siens.
Vers 3 heures du matin le 13 mai 1988, on retrouve Baker, mort sur le trottoir, victime d'une chute de la chambre de son hôtel d'Amsterdam.
Dans cette chambre on trouvera aussi de l'héroine et de la cocaine.
Ses deux complices jusque dans la mort.