Родился 25 октября 1852 года.
Образование получил в Императорском Александровском лицее в Санкт-Петербурге.
По выходе из лицея с малой золотой медалью и чином IX класса поступил на службу, в начале 1873 года, по министерству финансов, в котором прошёл все степени служебной иерархии. Первую половину своего служебного поприща, в департаменте окладных сборов, он проходил «в чёрном теле», и лишь в марте 1888 года был назначен вице-директором этого департамента. Через год после этого Эдуард Дмитриевич был переведен в кредитную канцелярию сперва вице-директоромъ, а в начале 1892 года занял важную и влиятельную должность директора этой канцелярии. С переходом в кредитную канцелярию Эдуард Дмитриевич стал ондим из ближайших сотрудников тогдашнего министра финансов И. А. Вышнеградского по всевозможным кредитам.
С 1894 по 1903 год был управляющим Государственным банком Российской империи.
Плеске был человек более культурный, более способный, с большой выдержкой, весьма чистый, честный и благородный человек, но с немецким умом, который имеет то преимущество, что он ограничивает полет мысли, а с другой стороны, тот недостаток, что у лиц с немецким умом часто не хватает надлежащего полета мысли.
- Витте С.Ю. 1849-1894: Детство. Царствования Александра II и Александра III, глава 16 // Воспоминания. - М.: Соцэкгиз, 1960. - Т. 1. - С. 345. - 75 000 экз.
16 (29) августа 1903 года был назначен управляющим Министерством финансов, сменив на этом посту Сергея Витте. Однако через полгода 4 февраля 1904 года из-за болезни ушёл в отставку. 26 апреля 1904 года после продолжительной тяжкой болезни Эдуард Дмитриевич скончался.