De eerste bewoners van Phillip-eiland waren de Bunurong-Aboriginals, die behoorden tot de Kulin-natie. Het eiland werd eind achttiende eeuw voor het eerst in kaart gebracht door Matthew Flinders en George Bass. Laatstgenoemde vernoemde het eiland naar Arthur Phillip, de eerste gouverneur van New South Wales. Pas halverwege de negentiende eeuw gingen de eerste Europeanen zich er permanent vestigen. In 1940 werd de brug geopend die Phillip Island verbindt met het vasteland. Deze is 640 meter lang. In de loop der jaren is veel land omgezet in grasland en daarmee geschikt gemaakt voor veeteelt. Daarvoor wordt nu zo'n 60% van het eiland gebruikt.
Flora en fauna
Sinds 1996 behoort zo'n 18% van het eiland tot het Phillip Island Nature Park. Dat omvat draslanden, wouden en kust. Het natuurpark beschermt en beheert deze landschappen en exploiteert enkele betaalde toeristische attracties. De opbrengsten daarvan worden gestoken in beheer, onderzoek, ecotoerisme en educatie in en over het park.
Op en rond Phillip-eiland leven vogels als de zwartkopplevier en de dunbekpijlstormvogel, en zoogdieren zoals koala's, opossums, wallaby’s, pelsrobben en vleermuizen. Meest opvallend aan Phillip-eiland echter is dat het een van de best bereikbare plekken is om pinguïns te zien. Er leven zo'n 32.000 dwergpinguïns op het eiland. Elke dag bij zonsondergang komen ze vanuit de zee het strand op gelopen naar hun holletjes in de duinen. Deze zogenaamde Penguin Parade is een toeristische attractie waar jaarlijks duizenden mensen op af komen. Verder worden er in het natuurgebied verschillende planten beschermd, waaronder 330 inheemse soorten.
Bevolking en samenleving
Op Phillip-eiland wonen zo'n tienduizend mensen permanent, maar in de zomer kan het aantal mensen dat op het eiland verblijft verviervoudigen. Phillip-eiland wordt jaarlijks door zo'n 3,5 miljoen toeristen bezocht. Het toerisme is dan ook veruit de belangrijkste economische sector van het eiland. Toeristen komen af op de race-evenementen op het Phillip Island Grand Prix Circuit (waaronder de jaarlijkse MotoGP), maar vooral op de flora en fauna, waaronder de pinguïnkolonie. Het natuurpark is dan ook de grootste werkgever van het eiland.
Van de permanente bewoners is een groter deel dan gemiddeld in Australië ouder dan 55 jaar (43,8% tegen 27,6% landelijk). Ook wonen er relatief weinig mensen met een andere achtergrond dan een (oorspronkelijk) Europese. Bijna de helft van de bewoners woont in de hoofdplaats Cowes, die gelegen is aan de noordzijde van het eiland. Andere dorpen of buurtschappen zijn: