По мнению самого А.И. Солженицына, история создания произведения довольно-таки проста. Первоначально мысль о таком рассказе возникла у него в 1952 году. Находясь в тот момент в заключении, писатель не мог её осуществить. Так продолжалось долгих 7 лет. Произведение первоначально имело название «Щ-854 (Один день одного зэка)». Автор вспоминал: «Сел, и как полилось! со страшным напряжением! Потому что в тебе концентрируется сразу много этих дней. И только чтоб чего-нибудь не пропустить. Я невероятно быстро написал “Один день Ивана Денисовича”».

«Как это родилось?» — продолжал рассказывать писатель. — Просто такой лагерный день, тяжёлая работа, я таскал носилки с напарником и подумал, как нужно было описать весь лагерный мир — одним днём. Конечно, можно описать вот свои десять лет лагеря, там всю историю лагерей, — а достаточно в одном дне всё собрать, как по осколочкам, достаточно описать только один день одного среднего, ничем не примечательного человека с утра и до вечера. И будет всё».

По признанию писателя, главный образ произведения был собирательный, он сложился из личного опыта автора, наблюдений за осуждёнными, а также отчасти прототипом образа стал никогда не сидевший солдат Шухов, воевавший с Солженицыным в годы войны. Остальные герои были взяты все из лагерной жизни, с их настоящими биографиями.

Первому появлению рассказа в печати предшествовала настоящая драматическая история. Писатель, хранивший всё написанное в специальных тайниках, осенью 1961 года через своего бывшего тюремного друга передал «облегчённую» после авторской редакции рукопись рассказа «Щ-854» в журнал «Новый мир». «Я отдал, — вспоминал Александр Исаевич, — и охватило меня волнение, только не молодого славолюбивого автора, а старого огрызчивого лагерника, имевшего неосторожность дать на себя след».Главный редактор журнала — известный российский поэт А.Т. Твардовский — очень высоко оценил рукопись. Вскоре А.И. Солженицын получил телеграмму из журнала с приглашением прибыть в редакцию. Ближайшие недели и месяцы были посвящены тому, как получить разрешение на печать рассказа. С просьбой решить этот вопрос А.Т. Твардовский решил написать письмо самому Н.С. Хрущёву — руководителю страны в тот период. Письмо долго сочинялось и редактировалось, но всё же попало в нужные руки. После двукратного обсуждения рассказа руководство страны разрешило напечатать «Ивана Денисовича». 20 октября 1962 года Н.С. Хрущёв принял Твардовского и объявил своё «высочайшее добро». Рассказ появился уже в ноябрьском номере журнала и сразу стал настоящей сенсацией. Как писал ближайший соратник А.Т. Твардовского, литературный критик и литературовед Владимир Лапшин, ещё «не было такого мгновенного и ослепительного успеха книги. Два её отдельных издания разошлись в считанные часы. Находились энтузиасты, которые, не имея шанса достать журнал или книгу, переписывали для себя и своих знакомых её текст от руки, просиживая вечера в библиотеке до самого её закрытия».