У дорослому футболі дебютував 2002 року виступами за «Срем», в якому провів два сезони, взявши участь у 19 матчах чемпіонату.
Своєю грою за цю команду привернув увагу представників тренерського штабу клубу ОФК (Белград), до складу якого приєднався на початку 2004 року. Відіграв за белградську команду наступні два сезони своєї ігрової кар'єри. Більшість часу, проведеного у складі ОФК, був основним гравцем захисту команди.
У лютому 2006 року уклав контракт з «Локомотивом» (Москва), у складі якого провів наступні два з половиною роки своєї кар'єри гравця. Граючи у складі «залізничників» також здебільшого виходив на поле в основному складі команди.
До лондонського «Челсі» приєднався 15 січня2008 року за 9 млн фунтів. Більш ніж через вісім місяців свого перебування в «Челсі», Іванович провів свій перший матч у Кубку Футбольної ліги проти «Портсмута», який завершився перемогою «синіх» з рахунком 4: 0.
Перший гол Браніслав забив 8 квітня 2009 року, у ворота «Ліверпуля» у чвертьфіналі Ліги чемпіонів на стадіоні «Енфілд». У цьому ж матчі відбувся його другий м'яч за «Челсі». У підсумку «сині» здобули перемогу над мерсісайдцями 1:3.
15 травня 2013 «Челсі» вперше став володарем Ліги Європи УЄФА завдяки голу Браніслава Івановича на третій доданій хвилині основного часу.
Загалом у «Челсі» провів дев'ять сезонів своєї кар'єри. За цей час тричі виборював титул володаря Кубка Англії і стільки ж разів ставав чемпіоном Англії.
1 лютого 2017 року підписав контракт на 2,5 роки (з умовою продовження ще на 1 рік) з російським клубом «Зеніт»[1].
У складі сербської збірної був учасником чемпіонату світу 2010 року, на якому повністю провів на полі усі три матчі групового етапу, проте не зміг допомогти команді вийти до плей-оф турніру.
2012 року, після завершення кар'єри у збірній Николою Жигичем, був обраний новим капітаном національної команди, щоправда, пізніше, у 2017 році передав капітанську пов'язку Александару Коларову.
У березні 2018 року став першим гравцем, що провів сто офіційних матчів за збірну Сербії.
2018 року поїхав на свою другу світову першість — тогорічний чемпіонат світу в Росії. Перша гра групового етапу цього турніру стала для Бранислава 103-ю у формі збірної Сербії та 104-ю з урахуванням виступу за збірну Сербії й Чорногорії. За останнім показником — кількістю сумарних матчів за збірні Сербії, Сербії і Чорногорії та Югославії — обійшов Деяна Станковича і став новим одноосібним рекордсменом.