Né à Nogales en Arizona en 1922 mais majoritairement élevé à Watts en Californie, sa mère était d'origine chinoise et anglaise tandis que son père était métis d'Afrique et de Suède. Son père était en fait le fils illégitime de l'esclave de la ferme et de la jeune fille suédoise du propriétaire de la ferme.
Très tôt, la mère de Charles Mingus l'initie à la musique religieuse. Ce qui n'empêche pas le jeune Mingus de s'intéresser à la musique classique, à Duke Ellington, à jouer du trombone puis du violon. Comme il est à la fois impossible pour un musicien noir de vivre de la musique classique et que le violon n'est pas encore un instrument de la musique jazz, on oblige Mingus à jouer de la contrebasse si il veut faire parti d'un band. Têtu mais inspiré, il appliquera ses techniques d'archets sur la contrebasse. À l'école dans les années 30-40, on ne croit pas être en mesure de faire d'un noir une élite future, si bien qu'on encourage fortement ceux-ci à quitter les bancs d'école et à aller travailler. Mingus n'apprendra jamais à lire la musique ce qui l'ostracisera de la musique classique qu'il aime tant. La technique qu'il développe pour jouer de la contrebasse s'appliquera aussi à la double basse qu'il affectionnera particulièrement. Il jouera pratiquement toute sa vie sur une contrebasse allemande de 1927.
Rapidement et adolescent, il compose déjà. Influencé par les airs de musique classique qu'il affectionne, il développe une écriture musicale qui sera aussitôt altérée par sa découverte de Charlie Parker.
Reconnu comme un jeune prodige de la contrebasse, il est engagé pour une tournée avec Louis Armstrong à l'âge de 21 ans puis enregistre en studio deux ans plus tard avec Russel Jacquet. Vers la fin des années 40, il sera contrebassiste avec Lionel Hampton qui jouera plusieurs de ses compositions. Ceci donne confiance à Mingus qui part son propre trio au début des années 50. Toutefois Mingus est probablement bipolaire. Il a un tempéremment excessif, difficile, et son origine mixte (les deux autres membres du trio sont blancs) font en sorte que les propriétaires de cabaret, après un temps, ne veulent plus l'engager. Miles Davis l'engage pour un album (il le refera en 1955). Il travaillera avec son idole, Ellington, brièvement en 1953 mais sera l'un des rares musiciens flanqués à la porte par le Duke (Il n'y en a eu que 3 qui ont subi ce sort au cours de l'illustre carrière du génie au bon caractère). Il est renvoyé après s'être enguirlandé, en plein spectacle, avec le tromboniste Juan Tizol. Mingus fréquente alors Charlie Parker qu'il méprise autant qu'il admire. Musicalement il est fasciné par son talent. En privé, il maudit sa consommation de drogue et son style de vie.
Convaincu qu'il doit faire de la musique comme il l'entend, Mingus fonde la compagnie de disque Debut Records avec le batteur Max Roach. Le 15 mai 1953, Mingus et Roach sont sur scène avec Dizzie Gillespie à la trompette, Charlie Parker au sax alto et Bud Powell au piano au Massey Hall de Toronto pour un concert mythique. Rarement, sinon jamais, un quintette ne réunira une telle qualité de musiciens sur scène. Et pourtant, un important gala de boxe amène les gens de Toronto ailleurs ce soir-là. La salle est à moitié remplie. Le spectacle du quintette est toutefois enregistré sur disque et le band ne durera pas parce que Parker est imprévisible et Powell est non seulement lourdement alcoolique mais des troubles mentaux fonr surface chez lui. Gillespie honnira Mingus de s'être sauvé avec les bandes maitresses et de ne lui avoir versé des redevances que longtemps plus tard.
Mingus commence alors des laboratoires de jazz où il est très exigeant pour ses musiciens. Il se bat même avec certains d'entre eux si ils ne veulent pas travailler à son rythme. Avec ses improvisations, il sera en quelque sorte un précurseur du free jazz. Dans une période de "high", il est hyperproductif et lancera pas moins de 30 albums sur une période de dix ans (!!). Outre Duke Ellington et Frank Zappa (et Fassbinder au cinoche) personne ne produira jamais à ce rythme. Forcément inégal, dans les publications de Mingus il y a toutefois les mémorables et exceptionnels Pithecanthropus Erectus, The Clown, Mingus Plays Piano, Tijuana Moods, The Black Saints & the Sinner Lady et Mingus Mingus Mingus Mingus Mingus.
En 1959, fantastique et grandiose année du jazz avec Dave Brubeck qui lance Time Out, Miles Davis qui lance Kind of Blue, John Coltrane qui lance Giant Steps, Bill Evans qui lance Portrait in Jazz et Ornette Coleman qui lance The Shape of Jazz To Come, Mingus se démarque avec un très bon album suivi d'une trame sonore pour le premier film de John Cassavettes. Comme Miles Davis l'avait fait pour Louis Malle dans le film l'Ascenceur pour l'Échafaud.
Ìnfluencé par Ornette Coleman il forme son propre quartet avec les mêmes instruments. Eric Dolphy est au sax parmi eux. Ils ne feront qu'un seul album ensemble mais un bon. Dolphy meurt à Berlin presqu'aussitôt.
Mingus a du tempéramment et de la gueule. Il militera toute sa vie en faveur de davantage de droits pour les noirs. Il se dresse autant d'ennemis que d'amis.
Chez les amis, en 1964, Allen Ginsberg marie Mingus avec Sue Graham Ungaro à New York.
Chez les ennemis: le propriétaire de l'immeuble qui le loge. Deux ans plus tard, il est expulsé de son appartement de New York pour défaut de paiement.
Marié ,avec des enfants, avec peu d'argent, ses enregistrements deviennent forcément plus espacés. Pour se faire un peu d'argent supplémentaire il enseignera la musique à l'Université de Buffalo pendant un certain temps. Dans les années 70 il travaille surtout sous forme de quintette. Ses faits saillants se retrouvent principalement sur deux albums Changes One et Changes Two tous deux lancés en 1974.
C'est aussi à cette période aussi qu'on lui découvre la maladie de Lou Gehrig. Cette horrible maladie atteint la musculature et sa technique pour jouer la contrebasse s'en trouve très affectée.
Sa santé se détériore grandement et il en meurt en 1979 au Mexique alors qu'il était en convalescence.
Il avait 56 ans.
Ses cendres sont dispersées dans le Gange.
Sa musique est éternelle dans le royaume du jazz.