Utwór ten powstał bardzo spontanicznie, a zaczęło się od tego, że Slash w czasie rozgrzewki w studiu zagrał dla żartu lekko dziwaczny riff gitarowy, strojąc miny do perkusisty, z którym improwizował sobie właśnie. Drugi z gitarzystów, Izzy Stradlin, słysząc to, poprosił Slasha, żeby zagrał to jeszcze raz i dołączył się. Kilka minut wystarczyło, aby kompozycja była w zasadzie gotowa. Z oddali usłyszał to Axl Rose, który był akurat gdzieś na piętrze poza studiem. Bardzo spodobała mu się ta kompozycja. Dopisał do niej tekst, opowiadający o jego ówczesnej dziewczynie Erin Everly (córka Dona Everly ze słynnego duetu The Everly Brothers). Axl Rose i Erin Everly pobrali się w roku 1990, ale miesiąc potem rozwiedli się.

Slash początkowo traktował ten utwór jako wypełniacz na debiutanckiej płycie Guns n’ Roses ,,Appetite For Destruction”. Mimo że to on dał impuls do stworzenia tej piosenki, to jednak strasznie jej nie lubił. Uważał, że nie jest wystarczająco hard rockowa. Pewnie nie znalazłaby się ona na płycie, gdyby nie Axl Rose, który strasznie się przy niej upierał - tak bardzo mu się podobała. Nie planowano w zasadzie wydawać tego utworu na singlu, ale kiedy dwa pierwsze single przeszły bez echa, na trzecim ukazała się właśnie piosenka ,,Sweet Child O'Mine". Nie od razu stała się hitem. Dopiero po roku zawędrowała na sam szczyt listy Billboardu!