Trong thời gian người châu Âu khai phá và lập thuộc địa, vùng đất bao quanh Port Jackson đã bị chiếm bởi những bộ lạc khác nhau bao gồm: người Gadigal, Cammeraygal, Eora và người Wanegal. Người ta nói rằng người Gadigal đã chiếm giữ vùng đất trải dài theo phía nam của Port Jackson, từ cái mà bây giờ là South Head, trong một vòng cung phía tây xuyên qua Petersham. Người Cammeraygal sống ở phía bắc của vịnh. Khu vực dọc theo bờ phía nam nhánh sông Parramatta, phia tây của Petersham đến Rose Hill, đã được nói là thuộc về người Wanegal. Người Eora sống ở phía nam của cảng, và gần nơi mà những người của First Fleet (Đoàn tàu đầu tiên) định cư.
Cảng này được khám phá bởi người châu Âu do công của James Cook vào năm 1770, mặc dù ông đã không vào cảng. Cook đặt tên cảng theo tên George Jackson, Quan tòa ủng hộ Đoàn tàu (Judge Advocate of the Fleet) vào lúc đó, ông ghi vào nhật ký rằng: " nơi này là có vẻ là nơi neo thuyền tốt". Thuyền trưởng Arthur Phillip đã thành lập nhóm kiều dân Úc đầu tiên ở Sydney Cove, phía bên trong Port Jackson vào năm 1788, nơi trở thành thành phố Sydney bây giờ. Kiện hàng đầu tiên ông gửi đi từ vùng thuộc địa về nước Anh, ông có một lá thư ghi rằng:"... chúng tôi đã thực sự thỏa mãn khi đã tìm thấy được vịnh cảng đẹp nhất trên thế giới, trong đó hàng ngàn thuyền buồm sẽ đi lại một cách an toàn tuyệt vời nhất!"
Địa hình
Về địa chất, Port Jackson là một thung lũng sông bị ngập nước, hay còn gọi là "ria". Port Jackson dài 19 km, với diện tích 55 km², thể tích triều cường ở cửa sông là 562.000 megalitres. Chu vi của cửa sông là 317 km.
Port Jackson (trên) và sông Georges chảy vào Botany Bay (dưới)Port Jackson từ máy bay trực thăng
Theo cuốn Geographical Names Board of NSW, "Port Jackson là một cảng gồm có tất cả các con nước nằm trong đường tưởng tượng nối liền North Head và South Head". Bên trong cảng này có North Harbour, Middle Harbour và Sydney Harbour. Ba cảng này kéo dài từ một cửa vào duy nhất, được biết đến như là Sydney Head (North Head và South Head). North Harbour ngắn nhất, và nó thực sự là một vịnh lớn kéo dài đến Manly. Middle Harbour kéo dài về phía tây bắc. Có một cây cầu bắc ngang giữa The Spit và Roseville. Đầu nguồn nước nằm ở Garigal National Park. Sydney Habour có thể được xem như là một cánh tay dài nhất, kéo dài về phía tây xa đến Balmain. Ở đó nó được cung cấp bởi nước từ những cửa sông Paramatta và sông Lane Cove. Port Jackson được nối bằng Cầu cảng Sydney (Sydney Habour Bridge) và ANZAC Bridge (thường được biết đến như là Glebe Island Bridge - Cầu bắc qua đảo Glebe). Đường hầm cảng Sydney chạy ngang phía dưới cảng, đi về phía đông của cầu, và vào năm 2005 người ta đề nghị phương thức thứ ba băng ngang qua cảng, bây giờ là một đường xe lửa sẽ được thiết kế ở phía tây của cầu. Tàu thuyền đậu trong vịnh dày đặc. Những vịnh nhỏ ở phía Nam có thường có xu hướng rộng và tròn, phía Bắc thường có những vịnh nhỏ. Khu Trung tâm Thương mại chủ yếu của Sydney được bắt đầu ở Circular Quay, đó là một vịnh nhỏ ở phía nam, mà qua thời gian đã biến dạng từ bán nguyệt sang dạng vịnh chữ nhất do đất lấn ra. Phía bắc cảng được sử dụng cho mục đích cư trú là chính.
Đường sông/biển của Port Jackson được quản lý bởi NSW Maritime Authority.
Sydney Harbour Federation Trust Established by the Australian Government to plan for the future of former Defence and other special Commonwealth Lands around Sydney Harbour.