Родился в греческой семье, в селе Дофиновка Херсонской губернии Российской империи в 1852 г. Закончил Императорскую Академию художеств в 1882 г. и затем вернулся в Одессу. В 1897 г. примкнул к движению «передвижников». Костанди принадлежит важная роль в внедрении идеологии «передвижников» на Юге России. Он был одним из основателей Общества художников Южной России и председателем общества с 1902 по 1920 гг.
В 1907 г. он был избран действительным членом Императорской Академии художеств.
С 1917 г. был директором Одесского городского музея.
Большая часть его жизни и работы связана с Одессой.
В своей работе он следовал реализму, но некоторые его работы можно причислить к импрессионизму. Его работы находятся в музеях Одессы, Киева, Москвы, Петербурга. После его смерти его последователи создали Общество художников «Костанди». Воспитал десятки учеников, среди которых А. А. Шовкуненко, И. Н. Шульга, А. М. Нюренберг и другие.
Умер 31 октября 1921 г. Первоначально был похоронен на Первом христианском кладбище г. Одессы, 20.05.1935 останки К.К. Костанди его учениками и товарищами были перезахоронены на Втором христианском кладбище г. Одессы.