当时任扬州太守的欧阳修，极赏这里的清幽古朴，于此筑堂。坐此堂上，江南诸山，历历在目，似与堂平，平山堂因而得名。平山堂是专供士大夫、文人吟诗作赋的场所。宋叶梦得称赞此堂"壮丽为准南第一"，山堂于元代曾一度荒废，明代万历年间重新修葺。清代咸丰年间，山堂毁于兵火，重建于清同治九年。

西梁山，位于长江中下游西岸，距和县县城36公里，与当涂县东梁山隔江对峙，合称天门山，山势陡峭雄峻，直立江面，挡惊涛骇浪，拥江水东流。
天门二山中以东梁山最为陡峭，突兀江中，如刀削斧砍，巍巍然砥柱中流，令一泻千里的长江折转北去，形成“碧水东流至此回”的奇特景象。题咏天门山的诗词歌赋甚多，然最富气势的仍是李白《望天门山》诗：“天门中断楚江开，碧水东流至此回，两岸青山相对出，孤帆一片日边来”。“天门烟浪”的意境，正在于此。
临江山南峭壁下，有晋代著名书法家王羲之摩崖石刻振衣濯足四字，还有明天启年间，州守池显京摩岸天门两字，山崖上并有明万历三十六年（1608年）洪水至此等水文石刻记录八处，为重要水文资料。
西梁山地势险要，向为历代兵家必争之地。从周鲁昭公17年吴伐楚战于长岸（即西梁山），此后，战争不断。中国人民解放军渡江作战时，第三野战军九十师奉命攻打西梁山，与国民党军队在此展开激烈战斗。为纪念牺牲的烈山，在此建立了人民英雄纪念碑、烈士纪念亭和烈士纪念塔。
西梁山古树参天，野花芬芳，盘山石阶，曲径通幽，沿阶至北山顶纪念亭，凭栏俯视，滔滔江水，好似万马奔腾。闻名遐迩的天门夜月、博望朝霞、陈桥唤渡、石庵观澜、龙宫暮雪、去阁疏钟、荻州暮雨、柳岸春莺8景，为西梁山景点之最。