Николай Филимонов родился 15 (27 января) 1897 года в Ставрополе. Окончил гимназию и Петербургский политехнический институт. Проживал в Петрограде, работал на строительстве мостов. Окончив в 1921 году институт, работал на машиностроительном заводе в Москве, затем был старшим техником на строительстве Волховской ГЭС, старшим прорабом на строительстве Балахнинского бумажного комбината, участвовал в строителсьвте ДнепроГЭСа.
В 1931 году Филимонов руководил работами по строительству Нижне-Свирской ГЭС, одновременно руководил кафедрой вечернего отделения гидротехнического факультета Ленинградского политехнического института. Под его руководством строились Верхне-Свирская и Юрюзанская ГЭС. С 1938 года Филимонов работал в институте «Гидропроект», где впоследствии стал главным инженером.
В 1949 году Филимонов был назначен заместителем главного инженера Главного управления строительства Волго-Донского водного пути. Канал был построен за 4,5 года, что является беспримерной гидростроительной операцией в мировой истории.
Указом Президиума ВС СССР от 19 сентября 1952 года за «особо выдающиеся заслуги и самоотверженную работу по строительству и вводу в эксплуатацию Волго-Донского судоходного канала имени В. И. Ленина, Цимлянской гидроэлектростанции и сооружений для орошения первой очереди в 100 тысяч гектаров засушливых земель Ростовской области» Николай Филимонов был удостоен высокого звания Героя Социалистического Труда с вручением ордена Ленина и медали «Серп и Молот».
Продолжал работать на различных гидротехнических стройках. С 1959 года преподавал в ЛПИ имени М. И. Калинина. Умер 27 февраля 1986 года. Похоронен в Ленинграде на кладбище Памяти жертв 9 января.