В 1916, в возрасте 19 лет, был призван в Русскую императорскую армию, где окончил учебную артиллерийскую команду. Сражался на фронтах Первой мировой. Вернувшись домой, Иван Конев вступил в партию большевиков и был избран уездным военным комиссаром. Но дома не задержался. Когда началась Гражданская война, воевал против колчаковских войск и частей атамана Семенова в Сибири и на Дальнем Востоке.
В 1924-м по рекомендации Ворошилова поступил на курсы высшего комсостава Военной академии им. Фрунзе, а в 1934 году окончил и особый факультет той же академии.
В истории Великой Отечественной войны Конев остался неоднозначной личностью — его то назначали виновником разгромных поражений, то награждали за победу в важнейших сражениях. В начале войны он командовал 19-й армией, сформированной на базе войск Северо-Кавказского фронта. Объединение направлялось на Украину, но в связи с катастрофическим развитием событий на Западном фронте было переброшено в Беларусь. В ходе немецкого наступления на Смоленск 19-я армия оказалась в оперативном окружении, однако Конев сумел избежать плена, выведя к своим штаб армии вместе с полком связи и сохранив знамя объединения. Сталин высоко оценил действия Конева, 11 сентября 1941 года присвоив ему звание генерал-полковника и назначив командующим Западным фронтом.
Ошибки Генерального штаба, касающиеся намерений вермахта, привели к тому, что наступление немецкой группы армий «Центр» на Москву 30 сентября 1941-го застало советское командование врасплох. Донесение Конева в ночь на 2 октября, правильно определившего направление главного удара противника, опоздало. В результате германские армии за короткое время разгромили войска Западного, Резервного и Брянского фронтов, открыв себе путь на Москву. Потери Красной армии составили более 380 тысяч убитыми и ранеными, в Брянском и Вяземском котлах в плен попали более 600 тысяч бойцов и командиров, без учета военных строителей.
Личный опыт артиллериста и тяжелейшие потери начала войны заставили Конева с особым трепетом относиться к солдатским жизням. Как военачальник он стремился избегать напрасных жертв, часто бывал на передовой, дотошно интересовался бытом солдат. Уже на фронте его окрестили «солдатским маршалом».
После того, как командующим Западным фронтом назначают Жукова, Коневу доверяют командование Калининским фронтом. Войска этого фронта первыми начали контрнаступление под Москвой и уже 5 декабря 1941 года прорвали оборону 9-й немецкой армии, а 16 декабря освободили Калинин.
В 1942-1943 годах бойцы и командиры Калининского и Западного фронтов участвовали в тяжелейшей битве за Ржев. С августа 1942 по февраль 1943-го Конев вновь руководил Западным фронтом, после чего был снят с поста с формулировкой «как не справившегося с задачами руководства фронта».
В Курской битве лета 1943 года Конев командовал Степным фронтом. Его войска освободили Белгород и Харьков, победно завершив сражение на Курской дуге, по итогам которого Красная армия прочно завладела стратегической инициативой и не выпускала ее до конца войны.
26 августа 1943-го Конев был удостоен звания генерала армии. В ходе битвы за Днепр Степной фронт, переименованный в октябре 1943 года во 2-й Украинский фронт, освободил Полтаву и Кременчуг, а затем участвовал в освобождении Левобережной и Правобережной Украины.
За успешно проведенную Корсунь-Шевченковскую наступательную операцию в январе-феврале 1944-го Конев удостоился звания маршала Советского Союза.
С 24 мая 1944 года и до конца войны Конев командовал соединениями 1-го Украинского фронта. В июле-августе 1944-го войска Конева в ходе Львовско-Сандомирской операции разгромили германскую группу армий «Северная Украина», захватив и удержав стратегически важный Сандомирский плацдарм через Вислу и окончательно очистив Украину от вермахта. 29 июля 1944 года Коневу было присвоено звание Героя Советского Союза.
В январе 45-го года части 1-го Украинского фронта освобождали Освенцим. В апреле 1945-го вместе с 1-м Белорусским фронтом маршала Жукова войска Конева приняли участие в Берлинской наступательной операции, действуя южнее германской столицы. 9 мая 1945 года части 1-го Украинского фронта маршала Конева освободили Прагу.
За образцовое руководство войсками на заключительном этапе войны 1 июня 1945 года Конев был удостоен второй Золотой медали Героя Советского Союза. А 24 июня во главе сводного полка своего 1-го Украинского фронта маршал прошел торжественным маршем по Красной площади Москвы во время Парада Победы.
С июня 1945 по июль 1946 года Конев служил в должности главнокомандующего Центральной группой войск в Австрии и Верховного комиссара по Австрии. После окончания исполнения обязанностей вернулся на родину и в ранге заместителя министра Вооруженных сил СССР руководил Сухопутными войсками Советского Союза.