1863年12月，苏州城内太平军将领郜永宽、伍贵文、汪安均等八人献守将谭绍光首级并兵卒两万余人降清，苏州城陷。紧接着淮军攻克无锡，并分兵两路，一路由淮军程学启部进军浙江嘉兴、湖州，一路由淮军刘铭传部抵达常州西北的陈都桥、羊头桥一带，准备进攻常州。太平天国历史上著名的常州保卫战也由此时拉开了序幕。

常州地处江南、长江三角洲中心地带，北携长江，南衔太湖，东望东海，与上海、南京、杭州皆等距相邻，扼江南地理要冲，有“中吴要辅，八邑名都”之称。常州太平军的守将是有“陈斜眼”、“陈狮子”之称的太平军猛将、护王陈坤书，率部众八千余人坚守此城。

陈坤书，广西桂平人，早年参加金田起义，浑号“陈斜眼”。初为太平天国殿前功曹副侍卫，驻安徽巢县，后随李秀成转战皖苏并参与摧毁“江北大营之役。随后东征苏州、常州，陈坤书因功晋爵为求天义，升任殿后军主将，并一度在苏州负责主持太平天国苏福省的军政事务。次年率部围宝山、攻镇江，又逼松江，任副掌率后军主将。陈坤书在李秀成麾下，因作战勇猛、剽悍超乎同列，军中号为“陈狮子”。1862年，陈坤书闻李秀成回苏州，因扰民畏罪走常州，贿封护王。11月，陈坤书与林绍璋等自天京出击失利，转而往援无锡败回，后坚守常州。

1863年冬，淮军连克太仓、常熟、昆山、苏州、无锡，淮军刘铭传部进抵常州城下。与此同时，常州西北奔牛镇的太平军守将邵志纶投敌，常州西路交通断绝。1864年2月，李鸿章又调戈登率“常胜军”自昆山出发，经无锡攻宜兴，以截断浙江太平军北援之路。3月，淮军克宜兴、溧阳守将降清，常州南路被敌截断，此时常州城已经被淮军团团围住。3月8日，太平军常州守将陈坤书曾会合自句容、丹阳来援的林绍璋、陈承琦等部援军，对奔牛镇之敌进行反击，败归。4月22日，淮军水陆协同，攻占了常州西南的陈渡桥，太平军通金坛、丹阳之路均被切断。23日，常州城外的要点尽失，太平军全部退入城内。

4月27日，常州大南门、小南门和北门城墙被淮军轰塌数处，太平军顽强抵抗，多次击退敌之冲锋。但之后淮军集中火砲猛轰城墙缺口，由缺口冲入。太平军与突入之敌展开激烈的巷战，志王陈志书中砲阵亡后，陈坤书率领太平军余下将士自小北门转战撤退至护王府，然后安扎石卡，筑垒抗击。但终因寡不敌众，陈坤书麾下之太平军全部战死，陈坤书受伤后被俘。李鸿章命将其斩首示众，临刑前陈坤书说：“我欲保守常州，以为金陵（南京）犄角……奈事不成，只有尽忠“，清军将其头首悬于旗杆以威慑众人。