Родился 16 февраля 1863 в Житомире. После окончания гимназии поступил на юридический факультет Новороссийского университета в Одессе, который окончил в 1887 году.
Работал в Одессе на государственных должностях и одновременно преподавал в различных учебных заведениях (в коммерческой школе, школе торгового мореплавания), принимал участие в профсоюзном движении. В 1897 году защитил в Новороссийском университете магистерскую диссертацию по политической экономии «Учение о ценности у классиков и канонистов. Политико-экономический очерк» (опубликован: Одесса, 1896), в которой представил критический обзор теорий ценности с древнейших времен до XVIII века.
Был избран приват-доцентом Новороссийского университета, но позже в 1906 году уволен за «неблагонадежность». В том же году он был принят в Демидовский юридический лицей, где с 1907 г. возглавил кафедру статистики. В лицее он создал статистико-экономический методический кабинет.
С 1910 года возглавлял оценочно-статистическое бюро Ярославского губернского земства, где проводил исследования крестьянских хозяйств, оценку недвижимого имущества, изучал особенности страхового и пожарного дела в губернии.
В декабре 1912 года защитил диссертацию на степень доктора политической экономии и статистики «Элементарная теория статистических величин и вычислений» (опубликовано: Киев, 1921) в Петербургском университете. В диссертации Орженцкий рассмотрел применение математических методов при исследовании массовых общественных явлений.
В 1918 г. стал профессором Ярославского университета.
С конца 1918 по 1920 годы проживал в Петрограде, заведовал отделом статистической методологии ЦСУ УССР, участвовал в организации статистических курсов при ЦСУ и выработки проекта статистического института, читал лекции по политэкономии и статистике в университете.
В 1920 г. переехал в Киев, где был избран академиком АН Украины. С 1920 г. заведовал кафедрой теоретической экономии в Академии Наук УССР в Киеве, возглавлял Социально-экономический отдел академии (1921-1922), руководил изданием Статистического бюллетеня. Занимался изучением бюджетов, конъюнктуры народного хозяйства, движения рыночных цен, статистическими исследованиями.
В политической деятельности не участвовал, но к Октябрьской революции отнесся отрицательно, что и послужило причиной эмиграции в Польшу в 1922 году.
С 1922 года - профессор Варшавского университета, вел курсы по политэкономии. В результате террористического акта получил смертельное ранение, от которого и умер.
Выступая одним из немногих русских последователей субъективно-психологического направления (см. Австрийская Экономическая Теория), он отмечал, что экономическое явление представляет проявление определенного психического отношения лица к вещам и процессам. Анализируя основной элемент направлении - теорию полезности, Орженцкого подразделяет последнюю на две составляющие: психо-физическую и чисто-экономическую. Первая изучает понятие потребности и полезности, вторая применяет их к объяснению явлений обмена. Орженцкого предложил ввести понятие «метафизическая сущность», в данном случае определение «ценности» - «не что иное, как проекция чувств на объект, вызывающие чувства в психике субъекта».
В статистике разрабатывал математические методы количественного измерения массовых общественных явлений.