Поступил на службу в императорскую армию в 1664 году. Служил в пикинёрском полку, прошёл последовательно чины фельдфебеля, вахмистра, лейтенанта. С 1677 года - оберст-вахмейстер в полку принца Людвига Баденского. Участник войны против Османской империи, в 1689 году был комендантом отбитого у турок Белграда. С 1691 года командовал полком, в 1692 году получил почётную должность императорского казначея. В 1695 году получил чин генерал-фельдвахтмейстера (генерал-майора).
В 1702 году принимал участие в походе на Рейн в ходе Войны за испанское наследство, отличился при осаде Ландау, 13 сентября 1703 года получил чин императорского фельдмаршала-лейтенанта.
В 1702 году году получил от российского представителя Иоганна Паткуля предложение о переходе на русскую службу и в ноябре подписал соответствующий договор. Согласно его условиям Огильви должен был получать жалование в 7000 рублей ежегодно, принимался на русскую службу тем же чином и должен был подчиняться только первому российскому генерал-фельдмаршалу. Однако затем Огильви стал медлить с выполнением условий договора. Пётр I настоятельно требовал выполнения договора через своих представителей.
Прибыл в Москву в мае 1704 года, 20 июня того же года появился у стен Нарвы и немедленно назначен царём главнокомандующим над армией, которая в то время осаждала крепость. Вскоре Пётр уехал к русским войскам под Дерпт, и до его возвращения Огильви не мог предпринять решительных действий. После возвращения Петра I началась подготовка к решительному штурму и массированная бомбардировка крепости. В итоге 9 августа 1704 года крепость Нарва была взята штурмом. Пётр I остался доволен его действиями; в сохранившихся письмах русских генералов и приближённых императора того времени также содержатся высокие оценки Огильви.
Проект преобразования русской армииВ ноябре 1704 года Г. Б. Огильви представил Петру I доклад, по которому имеющегося русского регулярного войска (2 гвардейских, 28 пехотных и 16 драгунских полков) было вполне достаточно, чтобы защитить вновь приобретенные завоевания. Следовало только увеличить численный состав частей: каждый пехотный полк должен был приобрести 2-батальонную организацию (9 рот по 150 человек: 8 фузилёрных и 1 гренадерскую), драгунский полк - 6-эскадронную (или 12-ротную) организацию (по 100 человек в роте). В итоге русская армия должна насчитывать 45 700 штыков и 19 200 сабель.
На первое место Огильви ставил обучение войск, для чего было необходимо выписать из Европы искуснейших офицеров; большинство же неспособных, невзирая на нацию, оставить от службы.
Кроме того, Огильви предложил более совершенный характер соединения воинских частей, которые до того носили случайный характер: 4 полка должны были составлять бригаду в подчинении генерал-майора, две бригады составляли дивизию под началом генерал-лейтенанта (генерал-поручика).
Царь Пётр I сочувственно отнёсся к проекту Огильви, однако далее не всё из его предложений было воплощено в жизнь.
Гродненская операцияВ 1705 году Огильви назначен главнокомандующим русской армией в Речи Посполитой. Главные силы армии располагались в Гродно. Поскольку Пётр I основную часть времени проводил вне армии, Огильви должен был действовать самостоятельно. Он сразу же вступил в конфликт с рядом приближенных к царю генералов, в первую очередь с А. Д. Меншиковым, который командовал кавалерией действующей армии и зачастую игнорировал или оспаривал приказания главнокомандующего. В переписке с царём Меншиков убедил его в собственной правоте.
С приближением к Гродно шведской армии Карла XII Огильви долго медлил с выполнением приказаний Петра I об отводе армии, ссылаясь на необходимость дождаться подхода саксонских войск и продолжения совместных действий. В итоге весной 1706 года Огильви вынужден был оставить Гродно, при этом умелым маневром сорвал план Карла XII по окружению русской армии. Однако вскоре после оставления Гродно в армию прибыл А. Д. Меншиков, который продолжил вмешиваться в прерогативы главнокомандующего. В итоге репутация Огильви в глазах царя оказалась подорвана.
25 июля 1706 года Пётр I назначил главнокомандующим русской армии генерал-фельдмаршала Б. П. Шереметева, а Огильви передал под командование отдельный корпус в составе 13 полков. Но Огильви категорически отказался служить под командованием Шереметева и в сентябре 1706 года подал в отставку с русской службы. Отставка была немедленно удовлетворена.
Оценка деятельности Огильви в РоссииП. П. Шафиров так характеризовал Огильви в письме к А. Д. Меншикову: «Невзирая на все худые поступки, надобно отпустить его (Огильви) с милостию, с ласкою, даже с каким-нибудь подарком, чтобы он не хулил государя и ваше сиятельство, а к подаркам он зело лаком и душу свою готов за них продать» (приведено С. М. Соловьевым в «Истории России с древнейших времён»).
В то же время многие современники отдают должное усилиям Огильви в укреплении дисциплины в русской армии. Им было составлено первое штатное расписание русской армии, действовавшее до 1731 года.
Покинув Россию, Огильви поступил на службу к саксонскому курфюрсту Августу II, который сразу произвёл его в фельдмаршалы и назначил членом Тайного Совета и президентом Военного Совета. Огильви получил также ряд других почётных должностей и званий.
Столь благожелательное отношение Августа II к Огильви некоторые современники и историки объясняют тем, что в России Огильви состоял с Августом в секретной переписке и стремился действовать в его интересах (в частности, задерживал русскую армию в Гродно). В 1708 году пожалован богатыми поместьями в Богемии.
В 1710 году во главе армии отправлен к Данцигу и осадил там шведский гарнизон. Умер в лагере во время осады. Похоронен в Варшаве.