Nach seiner Erbauung trug das Haus den Beinamen „Knoll“; Kritiker gaben ihm allerdings wegen seines äußerst ungewöhnlichen Aussehens sofort den Spitznamen „Paulding's Folly“, unter anderem wegen der verspielten Türmchen und des asymmetrischen Grundrisses. Der Kalkstein für die Fassade wurde bei Sing Sing (heute Ossining) gebrochen. Der zweite Besitzer, Merritt, verdoppelte 1864–1865 die Grundfläche des Hauses und benannte es wegen der Lindenbäume auf dem Grundstück in „Lyndenhurst“ um. Der neue Nordflügel erhielt einen beeindruckenden vierstöckigen Turm, eine neue Porte-cochere – die alte wurde in ein verglastes Vestibül umgestaltet – sowie einen neuen Speiseraum, zwei Esszimmer und Räume für die Bediensteten. Jay Gould kaufte das Haus 1880 als Landsitz und nutzte es bis zu seinem Tod 1892. Die Verkürzung des Namens auf die heutige Form „Lyndhurst“ war Goulds Einfall.
Lyndhursts Innenausstattung ist äußerst ungewöhnlich. Im Gegensatz zu anderen Landsitzen, die später am Hudson River gebaut wurden, gibt es nur wenige Räume, deren Ausmaß bescheidener ist und die stark von der gotischen Architektur geprägt sind. Die Gänge sind eng, die Fenster schmal und spitz gebogen, und die Decken phantasievoll mit Ornamenten verziert. Dadurch entsteht ein gleichzeitig bedrückter, düsterer und romantischer Eindruck; die große doppelstöckige Kunstgalerie stellt hingegen einen Kontrast von Licht und Raum dar.
Das Haus befindet sich in einem Park, der von Ferdinand Mangold im Stil eines englischen Landschaftsgartens angelegt wurde. Mangold war von Merritt beauftragt worden. Er legte die umliegenden Sümpfe trocken, schuf Wiesen, ein Arboretum und baute das Gewächshaus. Die von ihm geschaffene Landschaft war die erste in dieser Art am Hudson River. Sie stellt ein herausragendes Beispiel der Landschaftsarchitektur des 19. Jahrhunderts dar. Die sanft rollenden Wiesen sind mit Gebüschen und Bäumen betont und die geschlängelte Zufahrt enthüllt überraschende Blicke, auch auf das 130 m lange Stahlrahmengewächshaus, welches das erste in den Vereinigten Staaten war.