Baumgarten, der in deutscher Sprache publizierte, schrieb unter anderem ein Werk über Conrad Ferdinand Meyer, das mehrere Auflagen erlebte. Seine Streitschrift Zirkus Reinhardt aus dem Jahr 1920 richtete sich gegen Max Reinhardt. Thomas Mann berichtete in einem Brief an Ernst Bertram vom 6. Februar 1918, er habe tags zuvor einen "hervorragend gescheiten" Vortrag von Baumgarten gehört, der, ein "hochelegantes Budapester Herrchen mit Monokel und am Krückstock", ihn auch besucht habe.
Baumgarten stiftete 1923 den Baumgarten-Preis, der bis 1949 als ein bedeutender ungarischer Literaturpreis vergeben wurde.
Werke
Das Werk Conrad Ferdinand Meyers. Renaissance-Empfinden und Stilkunst, München 1917