Родился в д. Андроники под Ярославлем в семье крестьянина. Работал бухгалтером в Петрограде. В 1914 году был рядовым-мотоциклистом. Став офицером, участвовал в боях с австро-германскими войсками, был награжден крестами Анны и Станислава.
В Красной Армии с 1918; сражался на фронтах Гражданской войны против войск генерала Н. Н. Юденича, поляков и финнов. Был награжден орденом Красного Знамени.
В послевоенный период Толбухин работал на штабных должностях. В 1934 году окончил Военную академию им. М. В. Фрунзе. В 1940 стал генералом.
В годы Великой Отечественной войны (1941–1945) был начальником штаба фронта, командовал армией, фронтом. Отличился в Сталинградской битве, командуя 57-й армией. Весной 1943 года Толбухин стал командующим Южным, а с октября — 4-м Украинским, с мая 1944 и до конца войны — 3-м Украинским фронтом. Войска генерала Толбухина разбили врага на Миуссе и Молочной, освобождали Таганрог и Донбасс. Весной 1944 года вторглись в Крым и 9 мая штурмом взяли Севастополь. В августе 1944 совместно с войсками Р. Я. Малиновского разгромили группу армии «Южная Украина» ген. г. Фризнера в Ясско-Кишиневской операции. 12 сентября 1944 года Ф. И. Толбухину было присвоено звание Маршала Советского Союза.
Войска Толбухина освобождали Румынию, Болгарию, Югославию, Венгрию и Австрию. Москва 34 раза салютовала войскам Толбухина. На Параде Победы 24 июня 1945 года маршал возглавлял колонну 3-го Украинского фронта.
Подорванное войнами здоровье маршала начало сдавать, и в 1949 году Ф. И. Толбухин умер на 56-м году жизни. В Болгарии был объявлен трехдневный траур; город Добрич был переименован в г. Толбухин.
В 1965 году маршалу Ф. И. Толбухину посмертно было присвоено звание Героя Советского Союза.
Народный Герой Югославии (1944) и «Герой Народной Республики Болгарии» (1979).
Похоронен на Красной площади в Москве у Кремлевской стены.
Маршал Ф. И. Толбухин имел: