Родился 1 августа 1830 года в Дрездене, происходил из дворянского рода балтийских немцев, был младшим сыном Бориса Христофоровича (Бурхард Адам, 1782-1832, командовал лейб-гвардии Финляндским полком, генерал-лейтенант) и Елизаветы Ивановны (?-1846, дочь генерала от инфантерии И. И. Германа). Братья и сёстры Оттона Борисовича: Константин (1806-1845), полковник, участник Кавказских походов; Александр (1809-1859), дипломат, посланник в Бельгии; Софья (1811-1829); Владимир (1813-1846); Борис (1815-1844); Наталья (1817-1852); Мария (1819-1840).
13 октября 1842 г. Рихтер был определён на учёбу в Пажеский корпус, из которого выпущен - с занесением фамилии на мраморную доску - 13 июля 1848 года - корнетом в лейб-гвардии Конный полк, с которым в следующем году принял участие в Венгерском походе. 6 декабря 1851 г. произведён в поручики лейб-гвардии, но уже в сентябре 1852 года, находясь в отпуске по болезни, был уволен от службы. Однако весной следующего года вновь определён на службу: 30 апреля был произведён в ротмистры армии, зачислен в Ахтырский гусарский полк и назначен адъютантом к чрезвычайному комиссару в Дунайских княжествах генерал-адъютанту А. И. Будбергу. С началом Крымской войны командирован в распоряжение начальника штаба 3, 4 и 5-го пехотных корпусов генерал-лейтенанта П. Е. Коцебу и принимал участие в осаде крепости Силистрии, за отличие 16 ноября 1853 г. награждён орденом св. Анны 3-й степени. В апреле 1855 г. был назначен адъютантом к генерал-квартирмейстеру Главного штаба барону В. К. Ливену. 26 сентября 1856 г. переведён в лейб-гвардии Конный полк и 1 сентября назначен адъютантом к главнокомандующему отдельным Кавказским корпусом князю А. И. Барятинскому. В зимнюю кампанию 1856-1857 гг. на Кавказе Рихтер участвовал в экспедиции в Большую Чечню, был в боях при аулах Герменчук, Шали, Оспан-Юрте. За отличие в этой кампании 10 октября 1857 г. был произведён в полковники и переведён в Куринский пехотный полк. В кампанию 1858 г. Рихтер командовал правой колонной при занятии Аргунского ущелья и за отличие в этой экспедиции был награждён золотой шашкой с надписью «За храбрость». 15 июля 1858 г. последовал приказ о назначении Рихтера состоять при наследнике великом князе Николае Александровиче и сопровождал его на пароходе «Рюрик» в Нарву и Финляндию. 8 сентября 1859 г. пожалован во флигель-адъютанты; 19 апреля 1864 г. произведён в генерал-майоры и пожалован в Свиту. После смерти цесаревича участвовал в перевозке его тела из Ниццы в Санкт-Петербург.
8 мая 1866 г. Рихтер был назначен управляющим делами Императорской главной квартиры, а затем, в том же году, начальником штаба войск гвардии и Санкт-Петербургского военного округа и членом главного комитета по устройству и образованию войск. 4 апреля 1871 г. ему было вверено командование 13-й пехотной дивизией и 5 октября того же года пожалован в генерал-адъютанты. 10 сентября Рихтера произвели в генерал-лейтенанты.
В начале русско-турецкой войны 1877-1878 гг. Рихтер со своей дивизией находился в Севастополе и 13 марта 1877 г. присутствовал при перестрелке севастопольских береговых батарей с двумя турецкими броненосцами, а затем 13-я дивизия до конца войны входила в состав войск назначенных для охраны черноморского побережья. За турецкую кампанию Рихтер 17 сентября 1878 г. получил орден Белого Орла.
В 1881 г. Рихтер занял пост командующего Императорской главной квартирой и 30 августа был удостоен ордена св. Александра Невского, алмазные знаки к этому ордену были вручены 30 августа 1885 г. В 1884 г., с упразднением комиссии прошений, на Рихтера была возложена обязанность принятия прошений, подаваемых на Высочайшее имя, с учреждением для того особой канцелярии.
Рихтер был прекраснейший, благороднейший и очень образованный человек. <…> Начальником комиссии прошений был генерал-адъютант Рихтер. Человек во всех отношениях достойный, порядочный, образованный, культурный, но в государственной жизни не игравший особенной роли. Что касается влияния на Государя, то я думаю, что он его имел, хотя Рихтер умел себя держать так, что влияние его никогда ничем не выражалось.
- Витте С.Ю. 1849-1894: Детство. Царствования Александра II и Александра III, глава 15 // Воспоминания. - М.: Соцэкгиз, 1960. - Т. 1. - С. 311. - 75 000 экз.
В период с 1881 по 1891 год неоднократно управлял делами Министерства двора. 30 августа 1886 г. произведён в генералы от инфантерии и 1 января 1887 г. он был назначен членом Государственного совета. Заведуя делами канцелярии прошений и состоя командующим Императорской главной квартиры, Рихтер снискал исключительное доверие и расположение к себе императоров Александра III и Николая II. В 1895 г. канцелярия прошений была преобразована в канцелярию Его Императорского Величества по принятию прошений, на Высочайшее имя приносимых, с освобождением командующего Императорской главной квартирой от принятия и направления всеподданнейших просьб и жалоб. В июле 1898 г. Рихтер оставил пост командующего Императорской главной квартирой и назначен состоять при Особе Его Императорского Величества; 7 октября был избран действительным членом Русского географического общества по отделению этнографии. После реформы Государственного совета в 1906 году Рихтер до 1908 года назначался к присутствию и входил в группу правых. В 1905 г. в Санкт-Петербурге была опубликована работа О. Б. Рихтера (совместно с В. П. Череванским) «Обзор сношений России с китайским и японским правительствами, предшествовавших вооружённому столкновению России с Японией».
Среди прочих наград Рихтер имел ордена св. Владимира 4-й степени (8 сентября 1861 г.), св. Станислава 2-й степени с императорской короной (6 декабря 1862 г.), св. Станислава 1-й степени (20 июля 1865 г.), св. Анны 1-й степени (30 августа 1867 г.), св. Владимира 2-й степени (30 августа 1875 г.), св. Александра Невского с алмазными знаками (30 августа 1885 года), св. Владимира 1-й степни (30 августа 1889 года) и св. Андрея Первозванного (14 марта 1896 года, алмазные знаки пожалованы 11 августа 1902 года), а также ряд иностранных орденов.
О. Б. Рихтер скончался 2 марта 1908 г. в Санкт-Петербурге, похоронен в Александро-Невской лавре.
Рихтер был женат на дочери своего брата Константина Елизавете (1841-1916), статс-даме и кавалерственной даме ордена св. Екатерины 2-й ст. Их дети: Елизавета (1868-1919, убита в Петрограде), Константин (1869-1884), Оттон (1871-1920, контр-адмирал, во время Гражданской войны служил у Колчака), Мария (1871-1945), Наталья (1877-1919). За заслуги О. Б. Рихтера его вдова и сын Оттон 13 марта 1908 г. были возведены в потомственное баронское достоинство Российской империи.
28 января 1897 года на заседании городской Думы был рассмотрен вопрос о присвоении Рихтеру Оттон Борисовичу звания почетного гражданина г. Севастополя. В некрологе газеты «Крымский вестник» значится как почетный гражданин г. Севастополя.