Родился 5 декабря 1923 в селе Соловьиха, Петропавловского района, Алтайского края в семье крестьянина.
С 1924 жил в селе Юртное Солонешенского района. После окончания школы работал шофёром машинно-тракторной станции в селе Солонешное. 12 декабря 1941 года был призван в Красную Армию. В действующей армии - с июня 1942 года.
C 8 июля 1943 года, в ходе Курской битвы, участвовал в оборонительных боях в районе станции Поныри. С 15 июля участвовал в Орловской операции в составе 9-го танкового корпуса, освобождавшего населённый пункты Орловской области. Участвовал в Чернигово-Припятской наступательной операции Центрального фронта, освобождал территории Сумской и Черниговской областей.
C 15 октября корпус, в составе 65-й армии, перешёл в наступление на гомельское направление.
ПодвигМеханик-водитель танка 195-го танкового батальона 95-й танковой бригады (9-й танковый корпус, 65-я армия, Центральный фронт) комсомолец старший сержант Давыдов 18 октября 1943 переправился через Днепр возле посёлка Лоев (Гомельская область) и участвовал в боях по расширению плацдарма. Продвинувшись в тыл фашистов на 20 км, его экипаж вместе с другим танком, действуя в полном отрыве от своей части, несмотря на яростное сопротивление врага в течение суток удерживал занятый рубеж. Гусеницами своего танка механик-водитель старший сержант Андрей Давыдов уничтожил 3 орудия с расчетами, две кухни и до 40 гитлеровцев.
Звание Героя Советского Союза присвоено 15 января 1944 года.
С 1944 года член КПСС. До конца войны А. Я. Давыдов воевал на Белорусском и 1-м Белорусском фронтах.
Послевоенная деятельностьПосле демобилизации по болезни в ноябре 1945 года проживал в селе Солонешное, Алтайского края. В 1964 году окончил Омский финансово-кредитный техникум. Работал на различных должностях - заведующим сберкассой, заведующим отделом культуры райисполкома, председателем райкома ДОСААФ и многих других.
Неоднократно избирался членом Солонешенского райкома КПСС, депутатом Солонешенского райсовета. На пенсии с 1979 года. Умер 16 июня 1993 года.
Младший брат, Александр Яковлевич Давыдов (род. в апреле 1926 г.) - также участник Великой Отечественной войны, снайпер. Окончил Сасовское лётное училище, до конца 1950-х гг. служил в военной авиации, работал начальником строительного управления барнаульского горисполкома.
Сын - Валерий Андреевич Давыдов, внук - Андрей Валерьевич Давыдов. Правнуки: Давыдов Денис Андреевич, Давыдов Дмитрий Андреевич, Давыдов Даниил Андреевич.