Родился в Ленинграде в семье профессора математики Ленинградского университета. Свою фамилию унаследовал от деда-эстонца, переселившегося в Россию во второй половине XIX века.
Вскоре родители развелись и отец оставил сына у себя. В начале Великой Отечественной Войны Азо-старший ушёл в ополчение и погиб. Дальнейшим воспитанием мальчика занималась его тётка, родная сестра отца. Вместе с ней он эвакуировался в Румынию. После окончания войны вернулся в Ленинград и поступил на учёбу в ремесленное училище.
Закончив его в 1951 году, работал токарем на ЛМЗ имени Сталина. Параллельно увлёкся театром и стал играть в народном театре Выборгского дворца культуры.
С 1953 по 1956 годы Анатолий Азо служил в Советской Армии. Демобилизовавшись, вернулся на завод на прежнее место работы. Добился в своём ремесле отличных результатов и даже был представлен к званию Героя Социалистического Труда.
На одном из спектаклей народного театра Анатолия заметил директор Псковского областного драмтеатра имени Пушкина и пригласил его в труппу этого театра. Не без колебаний Азо согласился, но, в итоге, не отработал там и сезона. Ещё перед отъездом в Псков он прошёл на «Ленфильме» пробы на главную роль в картину «Завтрашние заботы» (1962 год) и был утверждён. Это и сыграло решающую роль в его решении покинуть театр.
Окончил Ленинградский театральный институт им. А. Н. Островского (1958).
После выхода на экраны фильма «Завтрашние заботы» был принят в Ленинградский театр имени Ленинского комсомола. Отыграв там два сезона, в 1966 году перешёл в театр имени Комиссаржевской, но через пять лет покинул и этот коллектив. Актёра неудержимо влекло кино. С 1971 года Азо стал штатным артистом киностудии «Ленфильм» и работал там до начала 1990-х годов.
Его много снимали, и, в основном, в главных ролях, что позволило ему в 1970-1980-е годы стать известным актёром. Основным амплуа Анатолия Азо был социальный герой. Ему много пришлось играть военных, моряков, рабочих, руководящих работников. Хотя сам актёр всегда тяготел к характерным ролям, но сыграть их ему фактически не пришлось.
В свободное от актёрской деятельности время увлекался изготовлением различных фигур из капа. В 1993 году была проведена персональная выставка его работ в рамках фестиваля «Звёзды-93».
В 1990-е годы и на смену популярности пришло забвение. Когда ситуация с кинематографом относительно наладилась, стали сниматься фильмы и телесериалы, актёр всё же не смог влиться в новую систему кинопроизводства.
Скончался 25 ноября 2007 года от инсульта. Похоронен в Санкт-Петербурге на Северном кладбище.