一族之人祭祖，特别是祭始祖，要有供奉祖宗牌位的地方，这个地方要能够容纳众多参加祭奠的人，因而要有像样的建筑。贵族、品官有法定的建筑祥式，叫家庙。庶民没有，随着祭祀代数的增多，特建祠堂，供奉祖先牌位。明清时代建设祠堂很普遍。祠堂是族人聚合祭祀的地方，怎样管理祭祀，如何祭祀，需要有个组织，所以凡建立相堂的宗族，必然有它的管理组织。要有族长，大族分出房分的还有房长，主管宗族事务。大族的管理人不只是族长、房长，常常有一套机构。这样严密的管理简直使宗族成了小王国。
祠堂管理人产生的原则是多方面的，如论大小宗，行辈年龄，德行人品，财力和社会地位。大体上讲族长、房长及其他祠堂职事人员是由上述几项条件综合考虑确定的。在有官宦功名之家，族长必是有社会地位的人充任。宋元以后宗族民众化，许多平民宗族有了祠堂，它的管理人不必尽是绅衿，也颇有平民出任的。从总的情形讲，祠堂基本上掌握在绅衿和有钱的平民手里。