Родился в семье мирового судьи и надворного советника Василия Фердинандовича Нёмитца и Софьи Аполлоновны Кузнецовой. Потомок древнего рода германских рыцарей фон Биберштейнов, давно обрусевшего и причисленного к русскому потомственному дворянству. В 1899 году окончил с отличием Морской кадетский корпус и начал службу мичманом на Черноморском флоте. В 1902 году был с дипломатическим поручением в Турции. В 1903 окончил курс Артиллерийского офицерского класса.
В июне 1905 года вспыхнуло восстание моряков на броненосце «Потемкин», а вслед за ним на учебном судне «Прут». Четверых матросов «Прута»: Александра Петрова, Ивана Чёрного, Дмитрия Титова и Ивана Адаменко за бунт приговорили к расстрелу. Исполнить приговор было поручено учебной роте гальванёров, которой командовал А. В. Нёмитц. Он отказался выполнять расстрел.
На судебном процессе над участниками севастопольского восстания 1905 года и восстания на крейсере «Кагул» матросы попросили А. В. Нёмитца принять участие в качестве их защитника. Думая, что восставшие раскаиваются, командующий флотом адмирал Скрыдлов согласился и разрешил Нёмитцу защищать нижних чинов. Постепенно с двадцати человек подзащитными А. В. Нёмитца оказались двести участников восстания. Суд приговорил четверых человек к смертной казни. Рискуя своим служебным положением, Нёмитц добился отмены смертной казни для осужденных и смягчения участи почти 200 других подсудимых. После Февральской революции матросы Черноморского флота в знак благодарности за это поднесли ему в красной кожаной папке приветственный адрес.
C 1907 года - штаб-офицер Морского Генерального штаба. Работал в историческом отделении Морского Генерального штаба, изучая события русско-японской войны. Преподавал в Николаевской морской академии. В октябре 1910 года назначается преподавателем и одновременно учится на военно - морском отделении Морской академии. В 1907-1912 годах А. В. Немитц детально изучил опыт русско- японской войны и написал о ней несколько трудов.
В начале первой мировой войны Нёмитц (в то время капитан II ранга) был штаб-офицером Черноморской оперативной части Морского Генерального штаба и с начала войны был отправлен в Ставку Верховного Главнокомандующего. В 1915 году был назначен капитаном канонерской лодки «Донец». Командовал 5-м дивизионом эскадренных миноносцев, затем 1-м дивизионом эскадренных миноносцев, минной дивизией (1917). В 1916-1917 годах участвовал в совместных действиях Батумского отряда кораблей с Приморским отрядом войск Кавказского фронта, в десантных действиях на трапезундском направлении, в борьбе на коммуникациях и набеговых операциях на Анатолийское побережье Турции.
«За смелые действия на путях сообщения неприятеля» - так значится в наградных документах - капитан 1 ранга А. В. Нёмитц, награждается Георгиевским оружием, а в апреле 1917 г. - орденом Св. Владимира III степени с мечами «за отличие в делах против неприятеля».
В 1917 году женился на Анастасии Александровне Врубель - сестре известного художника М. А. Врубеля.
Революция и гражданская война20 июня 1917 года А. В. Нёмитц был назначен командующим Черноморским флотом, сменив на этом посту адмирала Колчака, а в августе 1917 Временным правительством ему был присвоен чин контр-адмирала.
После Октябрьской революции перешёл на сторону советской власти. Старался поддерживать флот в боеготовом состоянии, проводя боевые походы и учения. Тем не менее после революции дисциплина на флоте падала. Когда навстречу прорывавшемуся в Чёрное море крейсеру «Бреслау» были выдвинуты корабли флота, линкор «Свободная Россия» самовольно оставил позицию и ушёл в Севастополь. 13 декабря 1917 года, оповестив флот об отбытии в Петроград, временно сдав должность начальнику штаба флота контр-адмиралу М. П. Саблину и оставив в Севастополе свою семью, Нёмитц выехал в Ставку главнокомандующего на Румынском фронте к генералу Д. Г. Щербачеву, которому был подчинен. Верховная Морская коллегия в Петрограде приговорила Нёмитца к расстрелу за оставление флота..
Не прибыв в Петроград, проживал в Киеве, затем в Одессе. Редакторы эмигрантского «Морского журнала» писали о попытке Нёмитца стать Морским министром Украинской Державы: «В период гетмановщины, когда создалось Украинское морское министерство, Нёмитцу удалось втереться в доверие гетмана, и он был выдвинут как главный кандидат на пост морского министра. Однако, несмотря на его шаги в сторону морских офицеров, то, зная прошлое поведение адмирала, решившего не допустит этого назначения и к2р. Лукин написал в газете „Голос Киева“ статью, разоблачающую прошлую деятельность кандидата в морские министры. Статья произвел шум. Нёмитцу было предложено опровергнуть сообщенное, что ему и удалось сделать, собрав несколько подписей. Но тогда в свою очередь к2р. Лукин Собрал 20 подписей морских офицеров, подтверждающих правильность Своих сведений. В результате всего этого гетман разорвал приготовленный было указ о назначении и Нёмитцу предложено было покинуть пределы Украины. Тот попытался устроится в Добровольческое Армии, но и туда ни были посланы разоблачающие материалы, после чего так ничего не оставалось сделать, как превратится в „красного адмирала“».
На советской службеВ марте 1919 года поступил на службу в Красную армию и был назначен начальником военно-морской части Одесского военного округа. В августе 1919 года был начштаба группы красных войск под командованием Якира, прорывавшихся из Одессы на север. Был ранен в ногу. Приказом Реввоенсовета Республики от 27 октября 1919 года награждён орденом Красного знамени.
C февраля 1920 по август 1921 командующий Морскими и Речными силами Республики, одновременно управляющий делами Наркомата по военным делам РСФСР. С августа по ноябрь 1921 - помощник Главнокомандующего Вооружёнными силами Республики по морским делам.
С 1921 года для особо важных поручений при РВСР и одновременно на преподавательской работе в Военно-морской, а в 1926-1928 годах и в Военно-воздушной академиях. В 1929 году - председатель Правительственной комиссии по обороне берегов Чёрного моря. С октября 1930 года - заместитель инспектора ВМС РККА. Флагман 1-го ранга (17 февраля 1936 года).
С августа 1938 по ноябрь 1940 прикомандирован к Военно-морскому издательству. В 1940-1947 годах профессор кафедр стратегии и тактики Военно-морских и Военно-воздушных академий. 25 мая 1941 года Нёмитцу присвоено звание вице-адмирала. Награждён орденом Ленина(1945) и вторым орденом Красного знамени (1944) за выслугу лет, медалью «За победу над Германией в Великой Отечественной войне 1941-1945 гг.».
С 1947 года в отставке. Жил в Севастополе по адресу Луначарского, 42. Работал в картографическо-корректорском отделении отдела Гидрографической службы Черноморского флота.
Написал книгу «Работа Морского Генерального штаба» и «Недавнее прошлое русского флота по личным воспоминаниям», которые так и не были изданы.