Родился в селе Старый Батако (ныне Правобережного района Северной Осетии). В РККА с 1922 года.
В 1926 году окончил Ленинградскую кавалерийскую школу и до 1930 года служил курсовым командиром кавалерийской школы в Краснодаре. После выпуска из Военной Академии имени Фрунзе в 1933 году Плиев становится начальником оперативного отделения штаба 5-й кавалерийской дивизии.
В 1936-1938 годах - советник Объединенной военной школы Монгольской народно-революционной армии.
В 1939 году, командуя кавалерийским полком 6-й кавалерийской дивизии, принимал участие в походе в Западную Белоруссию.
Великая Отечественная войнаВ 1941 году окончил Академию Генерального Штаба. Во время Великой Отечественной войны воевал на Западном, Южном, Юго-Западном, Степном, 3-м Украинском, 1-м Белорусском, 2-м Украинском фронтах. С июля 1941 года командовал 50-й кавалерийской дивизией (с ноября 1941 - 3-я гвардейская кавалерийская дивизия), в августе - декабре 1941 года совершавшей рейды по тылам группы армий «Центр» в районе Смоленска и в Подмосковье. С декабря 1941 года - командовал 2-м гвардейским, с апреля 1942 года - 5-м, с июля - 3-м гвардейским, с ноября 1943 года - 4-м гвардейским корпусами. 3 октября 1944 года возглавил конно-механизированную группу в составе: 4-й и 6-й гвардейские кавалерийские и 7-й механизированный корпус с целью участия в Дебреценской операции на территории Венгрии. С ноября 1944 года Плиев возглавлял уже штатную конно-механизированную группу (1-ю КМГ, с 26 января 1945 года - 1-я гвардейская КМГ), принявшую участие в Будапештской операции.
Командовал войсками в Московской и Сталинградской битвах, в Мелитопольской, Березнеговато-Снигирёвской, Одесской, Белорусской, Будапештской и Пражской операциях. За умелое управление войсками при форсировании реки Южный Буг, в боях за Одессу и проявленные при этом мужество и героизм Плиеву присвоено звание Героя Советского Союза.
Во время советско-японской войны командовал конно-механизированной группой в Хингано-Мукденской операции 1945 года. За успехи в разгроме Квантунской армии награждён второй медалью «Золотая Звезда».
За годы Великой Отечественной войны И. А. Плиев 16 раз персонально упоминался в приказах Верховного Главнокомандующего СССР И. В. Сталина.
Послевоенная биографияС июля 1946 года командовал 9-й механизированной армией Южной группы войск, с февраля 1947 - 13-й армией ПрикВО, с апреля 1949 года - 4-й армией ЗакВО. В 1949 году окончил Высшие академические курсы при Академии Генерального Штаба. В 1955-1958 годах - первый заместитель командующего, а с апреля 1958 года по 1968 год - командующий войсками СКВО.
2 июня 1962 года войска возглавляемого Плиевым округа приняли участие в подавлении выступлений новочеркасских рабочих. По воспоминаниям генерала М. К. Шапошникова, который был заместителем Плиева, именно Плиев выслал в его распоряжение танки и приказал атаковать. Если бы Шапошников подчинился приказу и танки, стоявшие на мосту через реку Тузлов, атаковали толпу, то погибли бы тысячи безоружных людей. Плиеву же в свою очередь, приказ пришёл с верхов, лично от Н. С. Хрущёва, путём шифровки на его имя присланной через министра обороны СССР Малиновского.
Во время Карибского кризиса с июля 1962 года по май 1963 года командовал Группой советских войск на Кубе в ходе операции «Анадырь». Во время Карибского кризиса, он единственный за всю историю применения ядерного оружия, получил право на применение ядерного оружия в случае вторжения США на Кубу, без согласования с руководством СССР. После возвращения с Кубы вновь приступил к исполнению обязанностей командующего войсками Северо-Кавказского военного округа.
С июня 1968 года - военный инспектор, советник Группы генеральных инспекторов Министерства обороны СССР.
Кандидат в члены ЦК КПСС (1961-1966). Депутат Верховного Совета СССР 2-8 созывов.
Скончался 6 февраля 1979 года в Москве. Похоронен во Владикавказе, на Аллее славы.