Castle Williams, het eiland van gouverneur Briefkaart

Castle Williams is tussen 1807 en 1811 ontworpen en opgericht onder leiding van luitenant-kolonel (later kolonel) Jonathan Williams, Chief Engineer van het Korps of Engineers en eerste hoofdinspecteur van de Amerikaanse militaire academie op West Point, New York. Het kasteel maakte deel uit van een defensief systeem voor de binnenhaven, waaronder Fort Columbus (later omgedoopt tot Fort Jay) en de South Battery op Governors Island; Castle Clinton aan de zuidpunt van Manhattan, Fort Wood op Liberty Island en Fort Gibson op Ellis Island. Het baanbrekende ontwerp bestond uit meerdere niveaus van gesloten of versterkte pistolen (casematen). Het maakte een prototype voor het Amerikaanse ontwerp van kustbevestiging voor de rest van de 19e eeuw. De bijna cirkelvormige versteviging, 40 voet hoog en 210 voet diameter, was geconstrueerd van zandsteenwanden van 7 tot 8 voet dik. Elk van zijn vier niveaus had 13 casements die elk 26 kanonnen van gevarieerd kaliber konden houden. Kolonel Henry Burbeck heeft op 24 november 1810 een legerbevel uitgevaardigd waarin hij het kasteel noemde voor zijn ontwerper en bouwer: "In de toekomst zal de Stone Tower op dit eiland (met goedkeuring van de minister van Oorlog) de naam beren van CASTLE WILLIAMS, ter ere van de commandant van de Amerikaanse Corps of Engineers, die het heeft ontworpen en gebouwd."