Muchos de sus biógrafos trazan el comienzo de esa violenta vida desde un evento que ocurrió a los 18 años cuando iba de gira con su primer grupo, The Teddy Bears, y cuatro matones lo arrinconaron en un baño. Luego del asalto, Spector juró que nunca más se dejaría intimidar. Desde ese momento, empezó una relación estrecha con las armas, iba a todos lados con guardaespaldas y disparaba cuando algo no salía bien.