ここは恭仁京と至近の鹿背山の山中で、もともと異国の僧が修業し、後に行基が堂塔を建立し薬師如来を本尊として浄勝寺と言われましたが元応3（1321）年焼失してしまいました。その後、城山の峰に移されますが、鹿背山城とともに戦乱に巻き込まれて再び焼失し、天正17（1585）年に現在の地に移されたといいます。元禄6（1693）年浄土宗として、「鹿山(ろくざん）医王院　西念寺」となり、阿弥陀如来を本尊とし、薬師如来は薬師堂に収められることになりました。