Он стал итогом процесса децентрализации, начавшегося в СССР в 1988 году, так называемого парада суверенитетов. Верховные Советы союзных республик один за другим начали провозглашать суверенитет и верховенство республиканских законов над союзными. 16 ноября 1988 года о своем суверенитете объявила Эстонская ССР. Затем, как по цепочке, провозгласили суверенитет Литовская ССР, Латвийская ССР, Азербайджанская ССР, Грузинская ССР, РСФСР, Узбекская ССР, Молдавская ССР, Украинская ССР, Белорусская ССР и, наконец, Туркменская ССР. Верховный Совет Армянской ССР принял Декларацию о независимости в августе 1990 года.
Помимо установления суверенитета, союзные республики стали стремиться к самостоятельному укреплению экономики и отказывались платить налоги в союзный бюджет. Требовалось подписание нового союзного договора с учетом сложившейся политической и экономической обстановки.
24 декабря 1990 года депутаты IV съезда народных депутатов СССР проголосовали за сохранение СССР как обновленной федерации равноправных суверенных республик. В тот же день вышло Постановление Съезда народных депутатов СССР о проведении всесоюзного референдума по вопросу сохранения СССР.
27 декабря 1990 года вышел Закон "О всенародном голосовании (референдуме СССР)", а 16 января следующего года Верховный Совет СССР вынес постановление, в котором определялась дата его проведения. В этом же Постановлении была приведена точная формулировка вопроса, ставившегося на голосование перед избирателями.
Вопрос, на который гражданам Советского Союза предстояло ответить "да" или "нет", звучал так: "Считаете ли Вы необходимым сохранение Союза Советских Социалистических Республик как обновленной федерации равноправных суверенных республик, в которой будут в полной мере гарантироваться права и свободы человека любой национальности".
Казалось бы, вопрос понятный. Но, на самом деле, позже его анализируя, некоторые политологи обращали внимание, что трактовка вопроса нуждалась в дополнительном комментарии: что подразумевалось под федерацией и под равноправными суверенными республиками. Поэтому большинство проголосовавших граждан, пришедших на избирательные участки 17 мая, мысленно для себя свели вопрос референдума к простому: "вы за сохранения СССР или против".
В голосовании приняли участие не все 15, а только 9 союзных республик. Референдум не проводился в Литовской, Эстонской, Латвийской, Грузинской, Молдавской и Армянской союзных республиках, которые еще раньше объявили о переходе к независимости. Тем не менее, все же некоторые категории граждан там смогли проголосовать. Это были местные Советы народных депутатов, трудовые коллективы и общественные объединения на предприятиях, а также командование воинских частей Министерства обороны СССР, Министерства Внутренних Дел СССР и КГБ СССР. Они самостоятельно образовали окружные и участковые комиссии, зарегистрированные Центральной комиссией референдума СССР.
Во многих же республиках, где референдум все же состоялся были внесены корректировки в его основной вопрос или добавлены дополнительные, касавшиеся интересов конкретной союзной республики. Например, в Казахской ССР основной вопрос референдума был переформулирован и звучал так: "Считаете ли вы необходимым сохранение Союза ССР как Союза равноправных суверенных государств?". А в РСФСР дополнительно к всесоюзному проводился еще республиканский референдум по вопросу введения поста Президента РСФСР. В Украинской ССР в бюллетень голосования включили дополнительный вопрос: "Согласны ли Вы с тем, что Украина должна быть в составе Союза Советских суверенных государств на основе Декларации о государственном суверенитете Украины?". Он также свидетельствовал о ее стремлении к независимости.
Помимо союзных республик, в референдуме 17 марта 1991 года участвовали так называемые непризнанные республики: Абхазия, Южная Осетия, Приднестровье и Гагаузия.
Предварительные результаты референдума были рассмотрены Верховным Советом СССР 21 марта 1991 года. В референдуме приняло участие около 80% от общего числа избирателей. При этом утвердительно на вопрос о сохранении СССР ответили 77%, отрицательно - более 22%. В тот же день Верховный Совет постановил всем государственным органам действовать в соответствии с волеизъявлением народа и в кратчайшие сроки завершить работу над новым союзным договором, а также ускорить процесс подготовки новой Конституции СССР.
Весной-летом 1991 года был разработан проект заключения нового союзного договора, который должен был прийти на смену Договору о создании Союза ССР от 1922 года и заложить основу новой системы государственного управления. 15 августа этот проект был опубликован под названием "Договор о Союзе суверенных государств". Уже одно только это название красноречиво говорило о том, что ни о каком Советском Союзе по сути речь больше не шла.
Датой подписания нового союзного договора должно было стать 20 августа 1991 года. Однако 19 августа в стране начались события, получившие название "августовский путч". Они сорвали подписание договора. А дальше 8 декабря того же года главами Российской Федерации (РСФСР), Белоруссии и Украины было подписано знаменитое "Беловежское соглашение", по итогам которого 12 декабря вышло Постановление Верховного Совета СССР "О денонсации Договора об образовании СССР". Советский Союз прекратил свое существование.