Борис Иванович Ордынский родился в семье тульского дворянина, военного врача Ивана Михайловича Ордынского.
Первоначальное образование получил дома, затем - в Ярославской и Тульской гимназиях; по окончании курса в Московском университете был назначен (в 1845 г.) преподавателем греческого языка в Ярославскую гимназию. Не имея в Ярославле возможности продолжать занятий по своей специальности, Б. И. Ордынский хлопотал о переводе и вскоре был перемещён в 3-ю Московскую гимназию, где преподавал, пока не было сокращено число уроков греческого языка - до января 1852 года. Он начал хлопотать о службе при университете и о приобретении учёной степени; при содействии М. П. Погодина, ему удалось устроиться, в декабре 1853 года, при Казанском университете исполняющим должность адъюнкта по латинской словесности; вскоре за диссертацию: «О поэзии Аристотеля» Ордынский был удостоен степени магистра; в марте 1857 года ему было поручено чтение лекций по греческой словесности.
В конце 1860 года Б. И. Ордынский оставил службу в Казанском университете, но уже весной 1861 года был избран советом университета экстраординарным профессором на кафедру римской словесности. Получив приглашение на ту же кафедру и от харьковского университета, Ордынский предпочел службу в последнем, но 30 мая 1861 года скончался.