國科大的研究生教育，發端于中國科學院的人才培養。1950 年，中國科學院啟動研究實習員的招考和培養工作。1955年8月，《中國科學院研究生暫行條例》由周恩來總理簽發后頒布實施。1964年9月，中國科學院在北京試辦“中國科學院研究生院”。
1978年，恢復招生后的首批研究生入學。1982年，中國科學院黨組批準研究生院同時使用“中國科學院研究生院”、“中國科學技術大學研究生院”兩個名稱。2000年12月，學校更名為中國科學院研究生院。2005年，中國科學院管理干部學院并入中國科學院研究生院。2012年6月，中國科學院研究生院更名為中國科學院大學，并于2014年開始招收本科生，形成了覆蓋本、碩、博三個層次的高等教育體系。
國科大是中國科學院“率先建成國家創新人才高地”任務的重要承擔者，是完成“出成果、出人才、出思想”戰略使命的重要依托。學校的核心使命是利用科教融合平臺，遴選中國科學院最優質教育教學資源，提供給研究生和本科生，培養造就德才兼備的科技創新創業人才，為國家的創新驅動發展服務，為人類的文明進步做出貢獻。
國科大始終秉承中國科學院的育人傳統，堅持在高水平科研實踐中培養創新創業人才，在學研究生已經成為國家科技創新的生力軍，中國科學院的重大成果和產出都有他們的付出和貢獻。截至2021年12月，分布在各研究生培養單位的23個國家重大科技基礎設施、兩個國家研究中心、73個國家重點實驗室、191個中國科學院重點實驗室、8個國家工程研究中心、17個國家工程技術研究中心、14個國家工程實驗室，以及眾多國家級前沿科研項目，為學生培養提供了世界一流的科研創新實踐平臺。
