Родился в Вологодской области в д. Лодейно в семье крестьянина. В 1916 году призван в армию. По окончании учебной команды младшим унтер-офицером арт. дивизиона направлен на Юго-западный фронт. Вступив в Красную Армию в 1918 году, участвовал в боях против войск адмирала Колчака, атамана Семенова, японцев. Комиссар бронепоезда «Грозный», затем бригады, дивизии. В 1921 году участвовал в штурме Кронштадта. Окончил академию им. Фрунзе (1934), командовал полком, дивизией, корпусом, 2-й Отдельной Краснознаменной Дальневосточной армией (1938–1940).
В годы Великой Отечественной войны командовал армией, фронтами (псевдонимы: Степин, Киевский). Участвовал в сражениях под Смоленском и Калинином (1941), в битве под Москвой (1941–1942). Во время Курской битвы, совместно с войсками генерала Н.Ф. Ватутина разгромил врага на Белгородско-Харьковском плацдарме — бастионе Германии на Украине. 5 августа 1943 г. войска Конева взяли г. Белгород, в честь чего Москва дала свой первый салют, а 24 августа — взят Харьков. Далее следовал прорыв «Восточного вала» на Днепре.
В 1944 году под Корсунь-Шевченковским немцам был устроен «Новый (малый) Сталинград» — окружено и уничтожено 10 дивизий и 1 бригада генерала В. Штеммерана, павшего на поле боя. И. С. Коневу было присвоено звание Маршала Советского Союза (20.02.1944), а 26 марта 1944 г. войска 1-го Украинского фронта первыми вышли к государственной границе. В июле-августе они разгромили группу армий «Северная Украина» фельдмаршала Э. фон Манштейна в Львовско-Сандомирской операции. С именем маршала Конева, прозванного «генералом вперед», связаны блестящие победы на заключительном этапе войны — в Висло-Одерской, Берлинской и Пражской операциях. В ходе Берлинской операции его войска вышли к р. Эльбе у Торгау и встретились с американскими войсками генерала О. Брэдли (25.04.1945). 9-го мая завершился разгром фельдмаршала Шернера под Прагой. Высшие ордена «Белого Льва» 1-го класса и «Чехословацкий военный крест 1939 года» были наградой маршалу за освобождение чешской столицы. 57 раз салютовала Москва войскам И. С. Конева.
В послевоенный период маршал был Главкомом сухопутных войск (1946–1950; 1955–1956), первым Главнокомандующим Объединенными вооруженными Силами государств — участников Варшавского Договора (1956–1960).
Маршал И. С. Конев — дважды Герой Советского Союза, Герой Чехословацкой социалистической республики (1970), Герой Монгольской Народной Республики (1971). Бронзовый бюст был установлен на родине в деревне Лодейно.
Им написаны мемуары: «Сорок пятый» и «Записки командующего фронтом».
Похоронен на Красной площади в Москве у Кремлевской стены.
Маршал И. С. Конев имел: