В боевых операциях Будберг впервые принял участие на Кавказе, где в 1827 году с отличием участвовал, под начальством генерал-адъютанта К. Х. Бенкендорфа, во многих сражениях персидской кампании. Особенно отличился при рекогносцировке крепости Сардар-Абада (орден Святой Анны 3-й степени с бантом), при рекогносцировке за Араксом (орден Святого Владимира 4-й степени с бантом) и за покорение Эривани, был награждён золотой саблей с надписью «За храбрость»[3].
В русско-турецкой войне 1828—1829 годов, находясь адъютантом последовательно при генерал-фельдмаршалах князеП. Х. Витгенштейне и графе И. И. Дибиче, он был активным участником целого ряда военных операций против неприятеля и особенно отличился в сражениях под Шумлою (орден Святой Анны 2-й степени), при покорении Варны и в битве при Кулевче, где за отличие произведён в полковники. Вслед за Кулевчинским сражением Будберг был послан главнокомандующим в Вену с важным поручением — изложить австрийскому императору результаты этой победы и сообщить о критическом положении Турции. По возвращении в июле 1829 года в армию он участвовал в переходе главных сил через реку Камчик и Балканские горы и в последовавших затем боях при городе Сливне и при занятии Адрианополя, после чего был снова командирован, на этот раз — в Константинополь, с настоятельным требованием исполнения всех статей заключённого в Адрианополе договора.
В октябре того же года Будберг, по поручению графа И. И. Дибича, представил российскому императору утверждённый султаном мирный трактат и был награждён орденом Святого Владимира 3-й степени. Во время Польской кампании 1831 года Будберг был адъютантом графа И. И. Дибича и тоже участвовал в боях. За сражения при Калушине, Минске, Вавре и, в особенности, при Грохове был представлен к званию флигель-адъютанта Его Величества (21 февраля 1831 года), полученное им при личном донесении Государю о поражении поляков. Вернувшись в армию, он участвовал, с авангардом войск, в боях: под Куфлевым, при Минске и при крепости Залесце. Затем был в летучем казачьем отряде генерал-лейтенанта М. Г. Власова, в качестве начальника его штаба, и, после покорения Варшавы, находился при войсках генерал-адъютанта барона Г. В. Розена, во время преследования ими корпуса Д. Ромарино.
После прекращения военных действий на Будберга было возложено участие в особой комиссии, назначенной для опломбирования публичной библиотеки в варшавском университете и библиотеки варшавского общества любителей наук и словесности.
6 декабря 1844 года он получил звание генерал-адъютанта и ровно год спустя произведён в генерал-лейтенанты. В 1853 году состоялось его назначение чрезвычайным и полномочным комиссаром в княжествах Молдавии и Валахии.