Οι Rolling Stones βρίσκονται σε περιοδεία στις Η.Π.Α. και προκλήθηκαν ερωτήματα επειδή δεν έχουν ερμηνεύσει το διάσημο τραγούδι τους "Brown Sugar". Ο Mick Jagger και ο Keith Richards ανακοίνωσαν ότι οι Rolling Stones θα σταματήσουν να παίζουν το συγκεκριμένο τραγούδι κατά τη διάρκεια του tour που πραγματοποιούν στις Ηνωμένες Πολιτείες, λόγω των αναφορών των στίχων του τραγουδιού στη δουλεία.
Ο Keith Richards δήλωσε μπερδεμένος από τις αντιδράσεις και είπε, σύμφωνα με το BBC: «Δεν μπορούν να καταλάβουν ότι αναφέρεται στη φρίκη της δουλείας;». Από την πλευρά του, ο Mick Jagger ερωτηθείς για την απουσία του τραγουδιού από τις λίστες των τελευταίων συναυλιών, απάντησε ότι το συγκρότημα είχε αποφασίσει να κάνει «ένα διάλειμμα».
Tη βάση του τραγουδιού είχε ξεκινήσει να γράφει ο Mick Jagger από το 1969, όταν έπαιρνε μέρος στα γυρίσματα της ταινίας Ned Kelly και αρχικός τίτλος του κομματιού ήταν "Black Pussy" αλλά για ευνόητους λόγους το άλλαξε σε "Brown Sugar". Ο Jagger συνέχισε να συνθέτει αρκετές ημέρες αργότερα για να το τελειώσει με τη συμμετοχή του Richards μέσα σε τρεις ημέρες στο Muscle Shoals Studio της Αλαμπάμα, όπου ηχογράφησαν ένα μεγάλο μέρος των τραγουδιών του άλμπουμ τους "Sticky Fingers".
H πρώτη φορά που έπαιξαν ζωντανά το θρυλικό αυτό κομμάτι ήταν στη συναυλία του Altamont, στις 6 Δεκεμβρίου 1970. Στο ένθετο της συλλογής Jump Back: The Best Of The Rolling Stones (1993), ο Jagger λέει ότι οι στίχοι του "Brown Sugar" αναφέρονται στον διπλό συνδυασμό ναρκωτικών και κοριτσιών.