Nacido en Nueva York en 1933, Rafelson comenzó su carrera en la industria del entretenimiento como editor de historias en 1959. Después de mudarse a Hollywood en 1962, tomó un trabajo como productor asociado en programas de televisión y películas en compañías como Universal Pictures, Revue Productions, Desilu Productions y Screen Gems.