시즈오카 현의 최서단에 위치하고 하마마쓰시, 아라이 정, 도요하시시에 인접하고 있다. 남쪽은 태평양, 동쪽은 하마나호에 접하고 있다. 시가지는 시내 두 개의 JR역 주변에 발달해 있지만 고사이 시내에 옛 5개 정촌이 존재하고 있던 자취 때문에 시가지가 분산되어있어 시의 중심이라고 할 수 있는 지역은 없고 연속된 시가지는 형성되어 있지 않다.
에도 시대에 하마나 호의 북쪽과 남쪽으로 관문이 놓여 막부의 법도에 따라 어업 이외의 목적으로 하마나 호를 배로 건너는 것은 금지되어 있었다.
