國科大的研究生教育，發端于中國科學院的人才培養。1950 年，中國科學院啟動研究實習員的招考和培養工作。1955年8月，《中國科學院研究生暫行條例》由周恩來總理簽發后頒布實施。1964年9月，中國科學院在北京試辦“中國科學院研究生院”。
1978年，恢復招生后的首批研究生入學。1982年，中國科學院黨組批準研究生院同時使用“中國科學院研究生院”、“中國科學技術大學研究生院”兩個名稱。2000年12月，學校更名為中國科學院研究生院。2005年，中國科學院管理干部學院并入中國科學院研究生院。2012年6月，中國科學院研究生院更名為中國科學院大學，并于2014年開始招收本科生，形成了覆蓋本、碩、博三個層次的高等教育體系。
