Прервав занятия литературой на семь лет, Бабель переменил множество профессий: сотрудник Наркомпроса, типографский служащий, репортер, боец 1-й Конной армии, служил в ЧК. «И только в 1923 научился выражать свои мысли ясно и не очень длинно. Тогда вновь принялся сочинять».
В начале 1924 появились первые рассказы писателя — «Соль», «Письмо», «Король». Вместе с написанными позднее, они составили два цикла — «Конармия» (отдельное издание 1926) и «Одесские рассказы» (отдельное издание 1931). «Конармия» была воспринята современниками неоднозначно: литературной критикой — восторженно, командармом Буденным названа «клеветой» и «бабьими сплетнями». На защиту писателя встал М. Горький.
В 1928 Бабель написал пьесу «Закат», тематически связанную с «Одесскими рассказами».
Интерес Бабеля к культуре Франции и его неоднократные поездки в Париж давали повод для сплетен в московских литературных кругах. Подозрительное отношение к Бабелю особенно усилилось, когда в июне 1935 Бабель отправился в Париж для участия в Международном конгрессе писателей в защиту культуры и, пренебрегая осторожностью, общался с представителями русской эмиграции.
В конце 1930-х по стране прокатилась волна репрессий. В то время Бабеля печатали крайне редко, поскольку он не освещал успехов партии и не выражал любви к вождю, как это требовалось от писателей. На съезде писателей он был подвергнут резкой критике за то, что «оторвался от жизни, отяжелел, стал наблюдателем...». Для Бабеля это не было неожиданностью. После смерти М. Горького он сказал: «Ну, теперь все, каюк. Жить мне не дадут». 15 мая 1939 его арестовали по обвинению в принадлежности к троцкистской террористической организации и в шпионаже в пользу французской и австрийской разведок.
27 января 1940 И. Бабель был расстрелян. В 1954 реабилитирован.