杨某，男，原是某大学法律系法学专业三年级学生，因在校期间盗窃同学的笔记本电脑，被判有期徒刑两年，刑满释放后回乡。杨某回乡后，表现较好，用自己学到的法律只是义务为众乡亲提供法律咨询，收到众乡亲的好评。后来杨某又通过自学考试获得了法学本科文凭，2010年参加全国统一司法考试并取得法律职业资格证书。从此杨某经常以律师的身份代理本乡镇群众参加诉讼，并收取代理费。2011年9月，县人民政府司法行政部门得知此事后责令其停止非法执业，并没收其非法所得。后杨某为取得合法的律师执业资格，便在县内一律师事务所实习一年，于2012年10月向其所在的省人民政府司法行政部门申请律师职业证书。司法行政部门应否批准杨某的律师执业申请？为什么？