罗泽南是湖南湘乡人，四岁识字，六岁入私塾。十九岁时，罗泽南应童子试不售，归家授徒。他先后在湘乡县城、长沙等地坐馆。其教授内容与方法别具一格，不仅应举业，而且授之以“六艺”（礼、乐、射、御、书、数）和经世致用之学，既习文，又习武，因此学子云集。他先后培养了李续宾、李续宜、李杏春、蒋益澧、刘腾鸿、杨昌濬、康景晖、朱铁桥、罗信南、谢邦翰、曾国荃、曾国葆等高足。后来这些学生大多成为湘军名将，成为中国历史上“书生领兵”的一大景观。所以，有人称誉罗泽南为“湘军宗师”。

三十三时，罗泽南考中长沙府第一名秀才，以冠军入湘乡县学。虽然仕途坎坷，但其学问和品德是世所共仰的，故在咸丰元年（1851），湘乡县令朱孙诒举他为孝廉方正，以应朝廷之选，时论以其名实相符，当之无愧。

1853年，太平军进攻湖南，他与回乡守孝的曾国藩共同募兵，成立湘军。罗泽南自领一军，转战湖南、江西与湖北，因练兵时常对兵将讲述儒家经典，故有“儒将”称号。

湘军最初称湘勇，湘勇又因罗泽南在湘乡县倡办团练，号“湘乡勇”。他朝执兵戈，暮讲理学，料事如神，七日之间，以计收复武汉。

罗泽南本是湘军最早的重要创始人之一，甚至有人誉之为“湘军之母”。但今天人们只知有曾而不知有罗，这是不公正的。曾氏在罗泽南的墓志中称“湘军之兴，威震海内，创之者罗忠节公泽南。”李元度在《忠节公事略》中说：“楚勇始自江忠烈，湘勇则自罗忠节公始。”著名学者钱基博在《近百年湖南学风》中称：“时为之语曰：‘无湘乡，不成军。’藉藉人口。而不知无泽南，无湘军。”

不仅如此，罗泽南用兵如神，知时识势。他写信给曾国藩，纵论吴楚形势，又单骑面见曾氏，慷慨陈词，剖析利病，规划进止，认为：欲取九江、湖口，当先图武昌；欲取武昌，当先佔岳鄂之交。如若得手，即引军东下，以高屋建瓴之势，夺取九江，进而攻取南京。

罗泽南的建议被曾国藩採纳了，近代史学家认为，罗拟定的这一战略是湘军走向最后胜利的最重要步骤之一。《清史稿》对他作了很高的评价。同治元年十月，曾国藩写信给其弟曾国荃，回忆这段往事，还深深佩服罗泽南用兵能识时务，能取远势。罗泽南因军功，被授知县、同知、知府、道台、按察使、布政使。

1856年农曆三月，罗泽南率军攻取武昌时，因求胜心切，亲临前线督战。罗泽南领军攻至武昌大东门(宾阳门)，1000名太平军此时也出城迎战，湘军被太平军击败。罗泽南与部队在撤退时，在武昌市郊迷路，于雾中被太平军鸟铳射中，伤及左额，倒卧血泊中。后经湘军发现，已奄奄一息，抬回洪山敌前指挥所抢救，次日伤重不治。

罗泽南率湘勇转战湘、鄂、赣三省，大小二百馀战，克城二十，以勇略善战、道气深重知名。他阵亡后，咸丰帝下诏以巡抚例优恤，加巴图鲁称号，諡忠节。建专祠奉祀。