Из лифляндских дворян. В 10-летнем возрасте записан фурьером в л.-гв. Семеновский полк.^[6] 28 января 1792 г. произведен в сержанты л.-гв. Семеновского полка, 1 июля 1795 г. стал генеральс-адъютантом.^[7] Через два года при ликвидации генеральских штабов переведен ротмистром в Рижский драгунский полк.^[8] В 1799 г. назначен бригад-майором в русский экспедиционный корпус в Голландии. С Рижским драгунским полком он участвовал в кампании 1806-1807 гг., сражаясь при Голымине, Прейсиш-Эйлау, где был ранен в левую руку пулей навылет, Ломитене, Гутштадте, Гейльсберге и Фридланде. Произведенный 12 декабря 1808 г. в полковники Будберг участвовал в походе против австрийцев. В январе 1811 г. как храбрый и отлично знающий службу офицер был назначен командиром Лейб-кирасирского Его Величества полка,^[9] а вскоре – его шефом.^[10] С началом Отечественной войны 1812 г.^[11] Будберг с полком в боях под Витебском, Смоленском и Вязьмой. На Бородинском поле полк его несколько раз контратаковал неприятеля в районе Семеновских высот, а шеф был ранен ядром в правую ногу. При изгнании неприятеля сражался под Красным, Оршей и Борисовом. Наградой его полку были причисление к Молодой гвардии^[12] и Георгиевские штандарты. Во время заграничного похода 1813-1814 гг. Будберг со своими кирасирами снова в боях под Люценом, Бауценом, Кенигштейном, Кульмом, Лейпцигом, Бркенном, Арси-сюр-Обом, Фер-Шампенуазом. Произведен 18 августа 1813 г. в генерал-майоры,^[13] закончил войну в Париже. В конце 1816 г. назначен командиром 2-й бригады 1-й кирасирской дивизии. В конце 1824 г. принял 2-ю гусарскую дивизию^[14] и 22 августа 1826 г. удостоился чина генерал-лейтенанта. Участвуя в войне с Турцией в 1829 г., скоропостижно скончался.