Installé principalement dans un palais au no 76 de la Wilhelmstraße à Berlin, avenue qui accueille également d’autres offices de l'Empire allemand, il est surnommé par métonymie « la Wilhelmstraße ». À l’époque bismarckienne, il est organisé en deux sections :
la « section I » s’occupe des questions politiques et des relations avec les gouvernements étrangers ; à sa tête est placé le secrétaire d’État, assisté d’un sous-secrétaire d’État ;
la « section II » s’occupe des affaires commerciales, juridiques, consulaires, artistiques et scientifiques, de la situation des sujets allemands à l’étranger et des migrations ; à sa tête est placé le directeur de l’office.
Bien que l’Office soit responsable de la politique étrangère de l’Empire, les États fédérés gardent alors suffisamment de marge de manœuvre pour gérer leurs propres relations diplomatiques.
L’habileté diplomatique de Bismarck donne vite à « la Wilhelmstraße » une bonne réputation dans les relations diplomatiques. Après son retrait, l’empereur Guillaume II joue un rôle accru dans la conduite de la politique étrangère ; l’office occupe cependant une fonction assez importante pour rester au cœur du dispositif diplomatique et éventuellement faire sentir son opposition aux revirements de l’empereur.
En 1885, les affaires juridiques sont transférées à une « section III » ou « section juridique » (Rechtsabteilung). En 1890, une section coloniale (Kolonialabteilung) est créée, qui devient en 1907 l’office impérial aux Colonies (Reichskolonialamt). En 1915, une « section IV », chargée de la transmission des dépêches, est créée.
