安徽在全国是书院产生最早，也是最发达的一个省区。宋时，书院兴起并形成制度，安徽书院数量随之大增。宋代安徽书院约有34所，在全国所占位次，仅低于江西、浙江和湖南三省，居第四位。安徽不少书院由硕师名儒主持讲学，如宋儒侱大昌主讲休宁西山学院，硕儒汪莘主讲休宁柳溪书院，曹泾等主讲合肥西畴书院，文澄源主讲峨岱书院等。因此，书院教学质量很高，为书院赢得了社会声誉。
有元一代安徽书院与全国同步继续发展。元代安徽新建35所，保留、修复或重建前代书院9所，共计44所。绝大多数书院由名儒名师主持和主讲，如胡炳文主讲明经书院，郑玉、鲍元康主讲师山书院，曹泾主讲西畴、初山书院，汪一龙主讲晦庵书院，胡一桂主讲湖山书院，等等，其中很多人是南宋具有民族气节的名儒学者，入元不仕，退而讲学的，这是当时安徽书院发达的重要原因。元代安徽书院的分布仍主要集中在经济、文化发达的徽州及沿江地区，便也开始向皖中、北地区发展，如合肥、舒、宿等地开始陆续创建书院。
明清时期，在我国封建教育制度走向衰落、消亡和西学东渐、实学兴起的背景下，安徽书院却在宋元发展的基础上，继续蓬勃发展，并盛极一时。考究其原因，这与安徽素以“文化之地”、“仪礼之乡”著称，历来就有社会与私人办学的优良传统，且皖地学派盛行，朱学、王学、湛学及清代朴学与桐城文派等学者在皖地进行着积极的学术研究和教育活动，亟欲拯治时弊，传道授业，振兴文教，培育人才等，无不有着密切的关系。据有关材料统计，明代安徽书院至少在138所以上，大多兴建于明中叶以后。此时，书院的分布仍以皖南为主，但呈向皖中、皖东、皖西发展的态势。
清代安徽书院总数在203所，此时，政府官员开始掌管书院诸如择山长、选教育、收学生到课业、课考、廪养、俸禄，以及参加科考、取任等方面事务，官办书院成为清朝安徽书院的最重要特色，书院实际蜕变为官学的附庸，成为科举的预备场所。