日本占领台湾后，在以后较长一段时期内，台湾人民没有停止反抗。就在第一任台湾总督桦山资纪宣布“全岛完全平定”的没几天，北部义军揭竿而起。林大北在大里筒袭击日军分遣队，打响抗日游击战争第一枪。林大北起义后，新竹胡阿锦，台北简大狮、陈秋菊，宜兰林李成，以及许绍文、江振源、陈瑞荣等义士起而响应，给予刚刚在台湾建立统治的日寇予沉重打击。北部起义一直坚持数年，林大北、詹振、简大狮等义军首领在其后的战斗中都壮烈牺牲，但抗日的火焰并没有熄灭。
1896年6月，简精华、柯铁在台湾中部率义军一千多人在云林县斗门镇东南10公里处的大坪顶举义，他们坚持斗争达6年之久。1898年林少猫等也举起抗日义旗，在台湾南部转战数年，极大的鼓舞了台湾人民的斗志，沉重地打击了日寇的殖民统治。
1907年蔡清琳在北埔高举抗日义旗，武装反抗日本的殖民统治；1912年刘乾林在圮埔起义，黄朝在土库暴动；1913年罗福星领导了苗栗反抗日本殖民统治的起义。这些革命志士，前仆后继的斗争，给日本在台湾的统治予以有力的打击。这一斗争一直持续到日本人战败撤除台湾的那一天。