当時、中国より帰国した寂室元光（じゃくしつげんこう）禅師(正燈国師)を迎請して、開山第一祖としました。
	その後衰退したのを、永正年間(1504年〜1521年) 備中松山城城主、上野頼久が大檀越となり寺景を一新します。 頼久の死去により、その２文字を加え、寺号を安国頼久寺に改称しました。
	中興の祖である上野頼久の墓と、永禄９年（１５６６年）に暗殺された三村家親、天正３年（１５７５年）に非業の死を遂げた三村元親と その子勝法師丸の墓があります。
	１６００年（慶長５年）、関ヶ原の戦いで東軍についた功により小堀正次が備中国１万４千石に封じられました。 小堀正次は１６０４年（慶長９年）に死去したため、子の作助政一（小堀遠州）が遺領を継ぎました。
	この頃の備中松山城は備中兵乱後で荒廃していたため、政一は頼久寺を仮の居館とし、１６１９年（元和５年）の移封までここで過ごした。
	境内の庭園はこの頃の政一（遠州）により作庭されたもので、蓬莱式山水庭園です。
	愛宕山を借景とし、白敷砂の中央に鶴島、後方に亀島の２つの低い築山状の島を置いて石を組み、書院左手の山畔に沿ってサツキの大刈込みで青海波を表現しています。
	このような様式は、桃山時代から江戸初期にかけて盛んだったもので、現在まで当時に近い状態で保存されており、１９７４年（昭和４９年）に、国の名勝に指定されています。