清音阁踞牛心岭下，海拔710米，唐时名牛心寺。现在的牛心寺为后牛心寺，又叫延福院。唐僖宗时，江陵慧通禅师将其改为卧云寺。北宋乾德3年（公元965年），宋太祖赵匡胤召东京（今河南开封）天寿院僧继业三藏等入天竺求舍利以及《贝叶经》，继业一行从印度带回大量经卷、佛骨舍利敬奉朝廷。宋太宗赵光义即命将这些圣物择其名山修持。继业周游了祖国名山大川后，选在峨眉山延福院安身，因相中寺前的黑白二水交汇地，发愿在此新修一座寺院，以供养终身。寺院建成后取名前牛心寺。明洪武2年（公元1369年），安徽风阳凤凰山龙兴寺（朱元璋曾在此出家，后改名皇觉寺）僧人广济禅师来到峨眉山。相传广济和明太祖朱元璋交往甚密，朱元璋称帝后，广济不愿接受朱元璋的宣诏，便入峨眉山禅隐于此。广济禅师根据寺周山水怀抱的天然风貌，又见亭、台、楼、阁与流水潺潺和谐相融，即取晋人左思《招隐诗》中的“何必丝与竹，山水有清音”中的“清音”二字，改寺名“清音阁”。后广济禅师圆寂在后牛心寺。
　　由于受地形的限制，清音阁只有一个殿堂，供奉华严三圣，中为释迦牟尼佛，左为文殊菩萨，右为普贤菩萨。阁前有“接王亭”。《峨眉伽蓝记》称：“阁下旧有接王亭，王者孰谓，谓御前头等侍卫海清伍格也。”意思是说，当年，海清伍格亲王奉康熙皇帝命朝拜峨眉山，僧人为了迎接他，“拆掉旧亭，重建新亭，取名‘接王亭’”。
　　清音阁左通洪椿坪、仙峰寺，右达白龙洞、万年寺，过去为上山朝拜、观光比经之地，寺庙虽小，地势险要，居高临下，气势逼人，山环水绕，景色优美，其整体布局体现了“自然造化，天人合一”的意境，是我国佛寺园林建筑的典范，为峨眉山古十景之“双桥清音”。