咸丰年间，清政府对外割地赔款，对内残酷镇压，贪官恶吏的暴虐，激起百姓的反抗。太平天国定都天京后，各地反清组织深受鼓舞，纷纷揭杆而起。1850年，清道光三十年，福建华侨陈庆真在厦门成立小刀会。不久，小刀会发展到上海，上海小刀会也在这时高举起义大旗。
小刀会最初是一个民间秘密团体，它是白莲教系统和天地会的一个支派。会员大多是农民、手工业工人、水手、失业劳动者等。上海小刀会的活动范围一般在上海附近的宝山、嘉定、青浦一带。
最初的小刀会基本是各自为战，独立活动，而且活动规模和范围都很小，并没有引起人们太大的关注。太平天国运动的兴起，大大鼓舞了各地人民的斗争。小刀会也在这种形势鼓舞下开始了大规模的反压迫斗争。
这种斗争最早是从青浦县开始的。这一年，青浦县闹水灾，青浦县知县余龙光却突然逼着农民限期交出粮食银钱。小刀会首领周立春带人去和他说理，余龙光下令逮捕了周立春，将他投进监狱。消息传开，青浦县20多个村庄的村民集合起来，活捉了余龙光，树起了起义的大旗。苏州知府钟殿选率领1000多名清兵前来镇压，被周立春和他的女儿周秀英率领的起义农民在塘湾一带打得狼狈败逃。
塘湾斗争的胜利，鼓舞了群众抗粮抗税的斗争。附近各地互相串连，都拒绝缴纳钱粮。南翔县的徐耀也发动了农民武装起义，赶走了知县冯翰，并与周立春联合起来，占领了嘉定城。他们宣布免除百姓的钱粮赋税；打击贪官污吏和土豪劣坤，反抗清朝的残暴统治。
上海道台吴健彰害怕小刀会在驻有外国人的上海也发动起义，就将上海小刀会的会员吸收到他负责办理的团练中，企图控制小刀会，以平息起义。小刀会的首领刘丽川等人将计就计，利用参加团练的机会，进一步扩大自己的组织，并约定中秋节乘清朝当局不备，夺取吴健彰搜刮的40万两白银，发动起义。
咸丰三年八月初五（公元1853年9月7日）是孔子的诞辰。上海城的孔庙里红烛高燃，衣冠楚楚的官僚坤士们都聚集在这里，等候吴健彰和上海知县袁祖德到来，举行祭孔典礼。这时候，小刀会会员已在城外三连塘秘密集合齐备，从北门和小东门分两路冲进上海县城。一路人马冲进县衙门杀死了袁祖德；一路人马攻入道台衙门活捉了吴健彰。
小刀会起义后，根据天地会“反清复明”的宗旨，在上海建立了“大明国”政权。群众一致推举刘丽川为大元帅，陈阿林为左元帅，潘起亮为飞虎将军。
起义的第二天，周立春和徐耀又带领4000多人加入上海的起义队伍，声势更加壮大。起义群众头裹红巾，身披红带，手执红旗，上海顿时变成了一个红色的城市。起义军接着又攻下宝山、南汇、川沙、青浦等地。
小刀会占领上海，使驻上海的外国侵略者十分惊慌。他们为了自身的利益，表面采取中立，暗地里却帮助清政府建筑炮台，训练军队。清政府有了洋人壮胆，便向小刀会发动进攻。他们利用内奸，杀害了周立春，先后占领了嘉定等地。接着，包围了上海城。他们偷偷地在城外挖了一条通向城墙的地道，在地道里装上炸药，企图把城墙炸开一个缺口。这个阴谋被起义军发现，也在城里挖起地道来。当两边的地道接通后，他们把河水灌了进去。清军的火药全被浇湿。清军的这一次阴谋就此破产。
几天以后，清军终于在北城边炸开了一处四五丈宽的缺口，2000多清军蜂拥往里冲。起义军一边点燃火药袋，在缺口处形成一堵火墙，一边把砖头、石块、火药罐雨点般地倾向敌人。清军处于一片火海中，正当清军被烧得焦头烂额的时候，飞虎将军潘起亮率领起义军，手执盾牌和利剑，从缺口杀出，杀得清军尸横遍地，血染街头。接着女战士们手拿挠钩，冲出城来，将那些侥幸活着狼狈逃窜的清军一个个钩住，全部活捉。
外国侵略者起初以为清军人多势众，能镇压住小刀会。不料清兵连战连败。于是他们撕去了中立的伪装，明确表示了和起义军的对立。法国驻上海领事通知起义军说：“你们反击清军的子弹，有可能打中我们的房屋。今后不准你们架炮袭击清军，并立即拆除炮台！”小刀会没有理会这种无理要求，他们就亲自去拆毁炮台，并打死起义军战士。起义军鸣空枪警告，他们就污蔑起义向他们开枪。不久，法国侵略者便在中国的土地上向小刀会“宣战”，说是保卫他们的领地。同时英、美也与法国密切配合，在上海城和租界之间，筑造围墙，以切断小刀会的给养。接着他们便派人去进行劝降。
诱降不成，法国又进行武力威胁。1855年1月初一天，辣厄尔从舰艇上搬来两门山炮，对准上海城连连开火。不多时，城墙被炸开一段。埋伏在法国领事馆后面的法军官兵敢死队，在海军大尉杜伦率领下，从缺口登上北城。他们故意地高声呼叫，还把法国旗插到城墙的最高处。就在他得意忘形之时，城里枪声大作，从街道两旁的高大建筑物后面，冲出无数小刀会战士。起义军的枪炮都对准了城墙缺口处，一齐轰击。敢死队官兵接连倒地，剩下的不顾一切往城外冲。这场战斗，打死法军13人，打伤30余人，大尉杜伦也当场毙命。带领小刀会员打下这场胜仗的，正是飞虎将军潘起亮。
起义军被围困了一年多，击退了无数次的进攻。虽然屡次获得胜利，但由于和城外农民的联系被切断，粮食弹药都接济不上，小刀会的处境很困难，清军趁此机会，引诱起义军投降。小刀会杀死了前来诱降的奸细，毫不妥协。在此之前，刘丽川曾派人向太平天国报告起义经过，并表示愿接受太平军的领导，请求太平军的支援，但由于书信被清军截获，小刀会没能与太平军取得联系。小刀会只有继续孤军奋战。
在颗粒粮皆无的生死关头，起义军决定突围，赶赴镇江与太平天国的义军会合。1855年2月17日，开始突围。刘丽川、徐耀、周秀英等在激战中壮烈牺牲。
小刀会起义军在极其艰苦的条件下，坚持艰苦卓绝的斗争一年半。陈阿林在当地农民的帮助下化装脱脸，最后辗转到了新加坡。小刀会的余部在潘起亮、潘念珠的率领下，杀出重围，辗转到达天京，参加了太平军，继续坚持斗争。
