江澄波出生于1926年，其曾祖江椿山清咸丰年间为避战火从浙江湖州逃难至苏州阊门，在“扫叶山房”当伙计，精通古籍版本。1899年，江椿山之子江杏溪在护龙街（今人民路）嘉馀坊口开了一家旧书店，取名“文学山房”。
作为文学山房的第三代传人，江澄波自幼得祖父教诲，16岁时正式进入文学山房工作，跟随父祖学习修缮古书的技艺和鉴别古书版本的业务，曾多次随父祖外出寻书收书。上世纪50年代，文学山房被并入苏州古旧书店，江澄波继续为国家四处奔波搜购珍本善本。退休后，他出于生活需要和对古旧书业的不舍，开了一家“文育山房”旧书店，后经各方呼吁，2012年，书店恢复“文学山房”名号。
在80余年的从业时光中，江澄波以挖掘、抢救、修补、保存国家文化遗产为己任，曾经从废品回收站、废纸堆中“救回”无数古籍，经手了不少珍本，先后收购过10部珍贵的宋版书，全部捐给了公立图书馆。苏州过云楼藏书驰誉天下，上世纪90年代初，在南京图书馆的委托下，江澄波几番努力，使过云楼藏书四分之三购藏于南京图书馆。2005年和2021年，另外四分之一的藏书两度被拍卖，最终与此前已入藏南京图书馆的四分之三藏书合璧。
江澄波一生与古籍相伴，在古籍修复和鉴别领域建树颇高，他把自己的从业经历记录下来，出版了《古刻名抄经眼录》《江苏活字印书》《吴门贩书丛谈》等著作。文物鉴赏家江洛一曾评价江澄波为“苏州一宝”、书界的“活字典”。上世纪80年代，古旧书业出现青黄不接、人才匮乏的现象，江澄波曾多次受邀前往北京授课。
江澄波生活和工作极为规律，一年中只有大年初一、初二两天休息，其他时间风雨无阻到书店上班。他曾把书店比作城市的眉毛：“对于一个人来说，眉毛看似并不重要，但缺了它，五官再精彩看着也乏味。”他还曾说：“书是我营生所靠，也是我终身所好。我等于是一条运书的船，我离不开书，离不开水，所以一辈子都是干抢救古书这个工作。现在100岁了，我还要继续做下去，直到生命最后一刻。”
