Аркадий Волож родился 11 февраля 1964 г. в городе Гурьев Казахской ССР (ныне Атырау). Его отец, Юрий Абрамович Волож (род. 1938), геолог, специалист по нефтяным месторождениям Прикаспия и один из открывателей месторождения Кашаган, с 1968 года был начальником партии «Казгеофизтреста» в Алма-Ате; впоследствии - доктор геолого-минералогических наук, старший научный сотрудник Геологического института РАН. Мать, Софья Львовна Волож, преподаватель Гурьевского музыкального училища.
Окончил Институт нефти и газа им. И. М. Губкина по специальности «прикладная математика» в 1986 году. Занимался исследованиями в области обработки больших объёмов данных в Институте проблем управления (ИПУ) АН СССР.
В 1989 основал компанию Comptek, занимал должность генерального директора до 2000 года. В этом же году открыл фирму «Аркадия», совместно с Аркадием Борковским они выпустили продукт по классификации изобретений объёмом около 10 Мб, который использовался в связанных с патентоведением НИИ и организациях.
В 1998 году в качестве главы Комитета беспроводных сетей доступа Российской ассоциации документальной электросвязи (RANS.RU) Аркадий участвовал в процессе дерегулирования частот для операторов беспроводного доступа. В 1999 году он был одним из тех, кто повлиял на судьбу легализации IP-телефонии в России.
В 1997 году Волож сделал первый шаг по созданию компании Яндекс - на 10 тыс. долларов были закуплены 3 сервера с жёсткими дисками ёмкостью в 1 Гб, на которые было проиндексировано всё содержимое Рунета. Итогом этих инвестиций стало попадание Яндекса в семёрку наиболее популярных сайтов русскоязычного сегмента Интернета в 1999 году.
С 2000 года - генеральный директор компании Яндекс. С 2007 года - заведующий кафедрой «Анализ данных» на факультете инноваций и высоких технологий МФТИ.
В рейтинге высших руководителей - 2010 газеты «Коммерсантъ» занял I место в номинации «Медиабизнес».
В декабре 2012 года, во время проведения Совета по модернизации экономики и инновационному развитию России при президенте РФ, Аркадий Волож обратился к премьер-министру России Дмитрию Медведеву с предложениями по стандартизации форм предоставления информации от властных структур и её большей открытости, что должно улучшить обработку полученной информации поисковыми системами Яндекса в автоматизированном режиме.
В марте 2013 года попал в рейтинг миллиардеров, ежегодно составляемый журналом «Forbes», его личное состояние было оценено в $1,15 млрд. В этом же месяце в результате вторичного размещения акций Яндекса на бирже продал 5,14 млн акций за $117 млн.
С 1 сентября 2014 года Волож передал пост генерального директора Яндекса Александру Шульгину и занял должность руководителя группы компаний Яндекса.