- 1909-1917 - ученик токаря, токарь по металлу на Уральском Надеждинском заводе.
- 1917-1918 - секретарь Надеждинского исполкома Совета рабочих и солдатских депутатов, комиссар местного хозяйства.
- 1918-1920 - в органах ВЧК на Урале.
- 1921-1922 - заместитель председателя военного трибунала 5-й армии, Иркутск.
- 1922-1927 - прокурор Сибирского военного округа.
- 1927-1931 - заместитель прокурора РККА.
- 1931-1937 - член военной коллегии Верховного суда СССР.
- 1937-1938 - прокурор РСФСР.
- 1938-1948 - народный комиссар (министр) юстиции СССР.
Вступил в конфликт с начальником отдела судебно-прокурорских кадров Управления кадров ЦК ВКП(б) А. Бакакиным. Против Рычкова была организована кампания и в январе 1948 года он был снят со своего поста. Комиссия по приемке-сдаче дел Министерства Юстиции СССР признала работу Рычкова неудовлетворительной.
- 1948 - в резерве Главного управления кадров Министерства вооруженных сил СССР.
- 1948-1951 - заместитель военного прокурора сухопутных войск.
- 1951-1955 - заместитель Главного военного прокурора.
- С мая 1955 года в отставке.
Принимал активное участие в массовых репрессиях в составе Военной коллегии Верховного Суда СССР. Входил в состав «троек» коллегии рассматривавших дела в рамках крупных «московских процессах». Состав «троек» утверждался Политбюро ЦК ВКП(б). В 1937-1938 гг. неоднократно выезжал в восточные районы СССР где председательствовал на крупнейших процессах по «контрреволюционным преступлениям» якобы совершенным руководящей региональной элитой и местной интеллигенцией.
В 1938-1947 гг. входил в состав секретной комиссии Политбюро ЦК ВКП(б) по судебным делам. Комиссия утверждала все приговоры о смертной казни в СССР.
На посту наркома юстиции СССР неоднократно издавал приказы по порядку рассмотрения дел о контрреволюционных преступлениях. В то же время руководствуясь юридическим формализмом и «подстраховываясь» от возможных обвинений приказывал судам строго соблюдать процессуальные нормы при рассмотрении любых дел.
Принимал активное участие в массовых кампаниях по делам о трудовых преступлениях (Указ ПВС СССР от 26.06.1940), по делам о мелком хулиганстве и мелких хищениях на предприятиях (Указ ПВС СССР от 10.08.1940), по делам о трудовых преступлениях совершенных на военных предприятиях (Указ ПВС СССР от 26.12.1941) и пр.
В 1947-1948 годах возглавлял Постоянную комиссию по проведению открытых судебных процессов по наиболее важным делам бывших военнослужащих германской армии и немецких карательных органов, изобличенных в зверствах против советских граждан на временно оккупированной территории Советского Союза.