汉乐府是在汉代统治阶级上升时期，伴随着经济基础发展而建立起来的。但封建王朝的统治总是要由上升进而衰落的。到公元前一世纪的后期，土地兼并愈演愈烈，加上吏制腐败，西汉的统治开始动摇。到了公元前7年，西汉王朝便取消了乐府这一机构，存在了106年的西汉乐府便至此宣告结束。据记载，在乐府中工作的829人中，有441人被罢免。
不仅如此，在乐府中工作的乐工命运也很悲惨，我们曾介绍过的负责乐府工作的李延年，也因其妹妹李夫人死而失宠，于公元前90年被汉武帝杀害，从中可窥见一斑。