Происходил из потомственных дворян Симбирской губернии; родители: Борис Андреевич Шидловский (1884-1942) и Александра Всеволодовна, урождённая Скороходова (1887-1976).
В 1930 году окончил 7 классов средней школы в Ульяновске. После переезда семьи в Москву и окончания школы ФЗУ несколько лет работал токарем на заводе. В 1934 году по комсомольской мобилизации был направлен на строительство первой очереди Московского метрополитена, где работал проходчиком и изолировщиком. После службы в Советской Армии (1936-1937) и окончания вечерней школы, поступил в 1939 году на механико-математический факультет Московского университета. Однако 26 июня 1941 года А. Б. Шидловский добровольцем уходит в армию: службу начал младшим топографом на Брянском фронте, а закончил - командиром батареи самоходных артиллерийских установок в Китае.
После демобилизации в 1946 году Шидловский продолжает учёбу на механико-математическом факультете МГУ, который окончил в 1950 году. В 1953 году окончил аспирантуру, а в 1954 году защитил кандидатскую диссертацию: «О трансцендентности и алгебраической независимости значений целых функций некоторых классов». Его научным руководителем был А. О. Гельфонд. В годы учебы в Университете и в аспирантуре он уже работал старшим преподавателем в Московском педагогическом институте им. В. И. Ленина, а затем там же - доцентом и профессором по совместительству.
В 1954 году по инициативе А. Я. Хинчина он был приглашён на механико-математический факультет МГУ. В 1955 году он стал доцентом кафедры математического анализа. Защитил в 1959 году докторскую диссертацию: «Об одном классе трансцендентных чисел». С 1960 года - профессор кафедры теории чисел. В 1968-2001 годах - заведующий кафедрой теории чисел.
За годы работы на механико-математическом факультете МГУ А. Б. Шидловский много лет читал основные курсы математического анализа и теории чисел, специальные курсы по теории чисел: «Арифметические свойства значений аналитических функций», «Диофантовы приближения и трансцендентные числа», «Основы теории чисел», «Алгебраические и трансцендентные числа»; руководил научными семинарами. Им были подготовлены 15 кандидатов наук, трое из которых защитили докторские диссертации, в их числе Ю. В. Нестеренко.
Научные результаты Андрея Борисовича Шидловского относятся к теории трансцендентных чисел, основные задачи которой состоят в исследовании иррациональности и трансцендентности различных чисел, и в более общей постановке - в доказательстве отсутствия между ними алгебраических соотношений над полем рациональных чисел.
Ряд лет работал заместителем декана механико-математического факультета по учебной работе (1956-1964), был членом Учёного Совета механико-математического факультета, членом экспертной комиссии ВАК СССР.
А. Б. Шидловский награждён тремя орденами: «Знак Почёта» (1967), Отечественной войны 2-й ст. (1985), Почёта (2005).
Заслуженный профессор Московского университета (1995); Заслуженный деятель науки РСФСР (1980).