刑事责任能力是犯罪主体的核心要素，影响它的因素很多，主要有：
（1）刑事责任年龄。所谓刑事责任年龄，是指法律所规定的行为人对自己实施的刑法所禁止的危害社会行为负刑事责任必须达到的年龄。因为犯罪是具备辨认和控制自己行为的能力者在其主观意志和意识支配下实施的危害社会行为，而辨认和控制自己行为的能力决定于行为人的智力和社会知识的发展程度，因而它必然受到行为人年龄的制约。只有达到一定的年龄，能够辨认和控制自己的行为，并能够适应刑罚的惩罚和教育的人，才能够要求他们对自己的危害行为依法负刑事责任。刑事立法根据人的年龄因素和责任能力的这种关系，确立了刑事责任年龄制度。现行刑法将刑事责任年龄划分为三个阶段，即完全不负刑事责任年龄段（不满14周岁的）、相对负刑事责任年龄段（已满14周岁不满16周岁的）、完全负刑事责任阶段（满16周岁的）。
（2）精神障碍。自然人达到一定的年龄，但如果他的精神发育不正常，存在精神障碍尤其是存在精神病性精神障碍，就可能影响其刑事责任能力，而使得责任能力减弱甚至不具备，从而使其实施危害行为时的刑事责任能力也受到一定的影响。我国对精神障碍人的分类有完全无刑事责任能力人、限制刑事责任能力人、完全负刑事责任能力人。
（3）生理功能丧失。对于聋哑人以及盲人，由于他们生理的缺陷造成刑法意义上的辨认和控制能力的不完备，因而对其应该予以从宽处罚。