Отец, выходец из крестьян, основал своё дело, мать работала земским врачом. Виталий Андреевич был пятым ребёнком в большой семье. Родители Виталия были очень разными по характеру людьми: мать была прирожденным лидером, женщиной с твердым и непростым характером, а отец - полная ей противоположность - мягким и покладистым. Сам Грачёв унаследовал материнский характер. Он рано ушёл из семьи в самостоятельную жизнь.
Молодой Грачёв служил техником в авиационных частях, затем работал киномехаником, окончил несколько курсов Томского технологического института, однако был изгнан оттуда за непролетарское происхождение. Он так никогда и не получил высшего образования.
В декабре 1931 года он был безработным и по мобилизации был направлен в техотдел строящегося в то время Нижегородского автозавода. В 1936 году, за рулём самостоятельно разработанной машины «ГАЗ-АААА» участвовал в знаменитом Каракумско-Памирском автопробеге. В 1937 году под его руководством был разработан грузопассажирский трехосный автомобиль ГАЗ-21 (впоследствии тот же индекс дали первой «Волге»), на базе которого впоследствии был создан семиместный легковой автомобиль и два бронеавтомобиля.
В 1938-1939 годах проектирует первый советский легковой вездеход ГАЗ-61 (на базе шестицилиндровой «Эмки»), который до наших дней так и остался непревзойдённым по динамике и проходимости для машин этого класса. Решение о начале разработке ГАЗ-61 Виталий Андреевич «пробил» с огромным трудом, у самого Ворошилова. Эта машина пошла в серию уже в конце 1940 года.
В 1941-1944 годах под его руководством были разработаны армейский внедорожник ГАЗ-64 и бронеавтомобили БА-64 и БА-64Б на его базе, автомобиль ГАЗ-67Б, а также колёсная самоходная пушка ГАЗ-68 (КСП-76) и другие образцы колёсной военной техники. Главный конструктор автозавода в Днепропетровске с сентября 1944 года, где им был создан армейский плавающий автомобиль ДАЗ-485.
С 1951 года - заместитель главного конструктора и с 1954 года главный конструктор специального конструкторского бюро автозавода ЗИС (ЗИЛ) в Москве, где под его руководством были созданы автомобили ЗИЛ-157, ЗИЛ-134, ракетоносец ЗИЛ-135К (единственное в мире серийное шасси с двумя автоматическими коробками передач), бронетранспортёры БТР-152А, БТР-152Б, средние колёсные артиллерийские тягачи, многоцелевые армейские транспортеры и установки на их базе. Так же им был создан поисково-спасательный мобильный комплекс с абсолютной проходимостью - машины комплекса «490» - «Синие птицы».
На очередной планерке КБ Грачев закрасил красным карандашом последнюю неделю декабря 1978 года и после паузы пояснил: «Дальше будете работать без меня». Скончался В. А. Грачев в своей квартире на ул. Автозаводской 24 декабря 1978 года. Урна с прахом захоронена в Москве на Донском кладбище (уч. № 3).