烟雨墩是一处幽静所在，它毗邻闹市又自成一体，特别是岛上的那幢红楼，早已成为烟雨墩的标志，也是众多芜湖市民的共同记忆。
红楼层高约4米，东西七开间。东西长约27米，南北宽10-14米，建筑面积约620平方米。它位于烟雨墩的中心位置，宛如一颗红宝石般镶嵌在小岛中央，成为镜湖风景区的一道不可或缺的亮点。
此建筑采用严格的对称式设计，平面简洁。底层南面中部突出处设有主入口，东西两端平面也有突出以求呼应。东西两面山墙及北面尚有次入口。“丅”字形木楼梯位于建筑中部，一分为二可上二楼。此建筑为两层砖混结构。上部结构为木楼梯，木楼地板，木屋架，红砖清水墙，红平瓦坡顶屋面。“这幢建筑造型设计的特点是小巧玲珑，庄重中有变化。”资深建筑学家葛立三介绍，建筑南立面为五段体，北立面中部半圆柱体突出，二层尚有长跳廊。屋顶第五立面更是生动，屋顶主体部分为传统式的歇山顶，南面插有三个三坡顶，中间一个加了女儿墙，北面正中插有带平脊的五坡屋顶。歇山顶是我国传统建筑规制中一种等级极高的屋顶建造样式，1953年建造这幢红楼时，将歇山顶与现代建筑形式有机融合，让建筑的外观看起来更加高峻凝重，这从一个侧面也体现了当时有关方面对文化事业的尊崇之意。
该建筑在窗台和窗顶处做了通长的水泥砂浆粉刷线条，大面积的红砖墙面有了合理分隔，并在色彩上有很好搭配。
小红楼如此结构，与其功能是相对应的。它具有典型的新中国成立初期公共建筑风格，在它建成之后的70余年时间里，这里一直是芜湖市图书馆的重要组成部分，它也是建造于新中国成立初期的芜湖市一处有内涵有价值的历史建筑。
2000年，有关部门对该建筑进行维修时，将窗下墙粉了水泥砂浆，改变了原貌。主入口处的突出部分做了重点处理，原来是水刷石外墙面，维修时加贴了灰色花岗石，提高了外装修标准，整个建筑显得朴实无华，中式建筑风格中又有现代建筑的新意，这让该楼掩映于周围的绿化之中，与周边环境十分和谐。
市图书馆副馆长王婧告诉记者，为进一步提升“安徽文化名人藏馆”的公共服务能力，更好地凸显爱国主义教育基地的功能，2022年市图书馆启动了“安徽文化名人藏馆”整体提升项目，该项目已被列入去年政府投资计划。预计今年上半年这幢建筑将以全新面貌重新向广大市民开放。
