Sa mère décide alors d'emménager sur la côte ouest en Californie où Spector, adolescent, découvrira la musique.
Il se monte des petits bands, gratte la guitare et erre si fréquemment dans les studios d'enregistrements qu'il se fait des amis parmi les gens de la production et réussit à s'acheter deux heures d'enregistrement. Il les utilise afin d'enregistrer une chanson qu'il a écrite et qu'il enregistrera avec des amis sous le nom de The Teddy Bears. La chanson connait un relatif succès, nous sommes en 1958, Spector a 19 ans. Avant la fin de la même année, The Teddy Bears obtiendra un #1 avec un autre titre de Spector inspiré de l'épitaphe sur la tombe de son père qui vendra un million de fois aux États-Unis.
Spector est un fan des singles. Il considère qu'un album c'est 2 hits et 8 cochonneries. Il choisit de s'investir et de s'intéresser à la production. Il produira quelques artistes ici et là dont une chanson que les Isley Brothers mais surtout quatre garçons dans le vent rendront immortelle quelques années plus tard. Il travaille aussi comme musicien de studio (solo de guitare ici) et fonde avec Lester Sill et Lee Hazlewood The Spectors Three.
Il écrit ou produit quelques morceaux qui deviennent de gros hits au début des années 60. Il produit plus de 25 succès entre 1960 et 1965 faisant de lui une valeur sûre dans le milieu.
Retravaillant les chansons ainsi, il se greffe comme co-auteur sur plusieurs morceaux s'assurant ainsi une multitude de revenus supplémentaires.
Les Beach Boys empruntent ses initiales pour leur album Pet Sounds, Brian Wilson le considérant comme un grand rival. Son frère Dennis écrira à Brian une très touchante chanson par la suite (quand Brian s'effondre mentalement) où il lui suggère d'écouter Phil Spector pour se remettre sur pied.
Le personnage de Swan dans Phantom of The Paradise de Brian DePalma joué par Paul Williams est inspiré de Phil Spector.
Afin de tenter de rejoindre un public moins confidentiel, Joey Ramone des Ramones fait appel à Spector pour leur album de 1980, End of the Century. Pour les chansons plus douces, tout fonctionne bien, pour les chansons plus punk c'est la catastrophe. Leur album sera quand même leur plus gros hit. Pendant l'enregistrement, Spector dépose un fusil sur le comptoir pour faire valoir ses arguments.
Il est plutôt inactif durant les années 80, 90 et 2000.
Le 3 Février 2003, divorcé depuis longtemps, il reçoit chez lui l'actrice de série B Lana Clarkson. Il lui met un fusil dans la bouche et lui fait sauter la tête. Spector clame qu'il s'agit d'un "suicide accidentel" mais des conquêtes du passé viennent témoigner que l'une des fantaisies de Spector est de faire sucer à une femme le bout d'un fusil rarement de plein gré. Son procès sera tenu de 2007 à 2009.
Deux mois auparavant il confessait à un journaliste qu'il était "relativement fou" (mais surtout bipolaire).
En 2007, lors de l'enterrement de Ike Turner avec lequel il avait travaillé dans le passé, en pleine eulogie, il raconte que Tina Turner doit tout à Ike Turner et écorche Oprah Winfrey qui aurait démonisé Ike dans sa biographie de Tina Turner.
En 2009 il écope de 19 ans de prison. Il aura 88 ans avant de pouvoir demander une libération.
Son premier appel a été rejeté la semaine dernière.