국가보안위원회는 1954년 창설되었다. 당시 소련은 서기장 이오시프 스탈린이 사망한 이후 그의 후계 자리를 놓고 권력투쟁을 벌이고 있었다. 이 과정에서 국가보안부 장관이자 비밀경찰의 총수였던 라브렌티 베리야는 자신의 비밀경찰 조직을 바탕으로 권좌에 오르려 하였으나 이를 경계하던 반대파에 의하여 숙청되었다. 베리야는 기존의 국가보안부 조직을 기반으로 자신의 권력을 다지고자 했으나, 그의 처형 이후 제1서기 자리에 오른 흐루쇼프는 정보기관을 한 부서로써 편성한다는 것이 매우 위험한 일이라고 생각하였다. 따라서 흐루쇼프는 국가안전부를 구 위원회 수준의 권한으로 낮추었으며, 동시에 국가보안위원회를 공산당 직속 정보 기관으로써 일부 제한했다.
냉전 기간 동안 국가보안위원회는 소련의 정보 기관이자 방첩 기관, 그리고 첩보 기관으로써의 역할을 동시에 수행했다. 첩보의 경우, 미국 중앙정보국(CIA)과 더불어 막강한 첩보 기관으로써 영향력을 발휘했으며 세계 공산주의 활동을 정치, 군사적으로 지원하였다. 하지만 이와 더불어 국가보안위원회는 동시에 소련 내부의 적을 감시하는 임무를 맡고 있었으며, 특히 정치적으로 소련에 반대되는 의사를 표현하거나 그러한 사상을 가진 인사에게 요원을 붙여 철저히 감시했다. 국가보안위원회의 대국민 감시는 당시 슈타지와 함께 가장 철저하기로 악명높았다.
국가보안위원회는 소련 시절 대테러전을 담당할 특수부대도 창설했다. 이중 알파 부대는 1980년 모스크바 하계 올림픽 당시 테러를 대비해 창설되었으며, 빔펠 부대는 비상사태를 대비해 행동할 수 있도록 창설되었다. 이들 두 부대는 8월 쿠데타 당시 반쿠데타 세력이 모인 최고 소비에트 건물을 진압하라는 명령을 거부했으나, 이어서 1993년 벌어진 10월 사변 당시 보리스 옐친의 진압 명령을 거부해 이후 불이익을 받기도 했다.
1991년 국가보안위원장이었던 블라디미르 크류치코프가 쿠데타를 일으켜 고르바초프를 몰아내고 정권을 잡았으나, 국민들의 대대적인 반대에 부딪혀 실패했다. 이 사건으로 고르바초프를 비롯한 소련 정부의 권위는 추락했고, 그와 더불어 국가보안위원회의 권위 또한 추락했다. 그 해 12월 말 소련이 해체되자 국가보안위원회 역시 해체되었으며, 이후 소련을 구성하던 각 나라들의 정보 부서로써 독립해 나갔다. 소련의 구성국들 중 가장 큰 국가였던 러시아에서는 해외첩보를 담당하던 1총국이 해외정보국으로, 국내 보안업무를 담당하던 2총국이 연방보안국으로 각각 개편되어 오늘날까지 이어지고 있다.
