钟山西南煤炭建设指挥部旧址始建于1963年。1964年，三线建设全面展开，六盘水被国家列为三线建设重点地区，煤炭部决定从全国十三个省市抽调近万人的专业队伍到贵州开发建设水城、六枝、盘县三个煤矿基地，1965年9月，彭德怀奉毛主席之命，出任三线建设副总指挥，1966年5月在六盘水办公期间，此楼为彭德怀居所。1984年改为六盘水市师专图书馆；该楼坐北朝南，占地面积1500平方米，三层砖石结构，檐部盖小青瓦，三楼墙身为红砖，勒脚及一、二楼青石加固，具有明显的苏式特点，因其墙身由红砖砌成，当地人一般称之为“红楼”，对研究当时三线建设文化有极高的历史价值。全国第三次文物普查期间被列为三普不可移动文物点，2018年被贵州省公布为“省级文物保护单位”。