備前の藩主、池田宗政公が江戸に在勤中のとき、正室の藤姫様が重病にかかりました。ある日、宗政公の夢枕に五色の雲のなかから千手観音様があらわれ、「我は国元、備前の東向きの観音なり。この度の病苦を遁れんとするならば、悩む心を祈る心に改め、篤く吾を祈れよ」と厳かに告げ、煙のように消えました。
　宗政公は家来に備前国中を探させると、上寺山に東向きの観音様が在るのが分かり、祈願をされたところ、病気は平癒したということです。
　餘慶寺は昔「日待山日輪寺」と言う名前でした。「遠く東の日の出を見るのに良いところ」と言うような意味からつけられた名前だと言われています。
　ご来光を待つ人々と同じように、観音様もいっしょに東を向いてご来光を待っておられます。それはまるで人々の中に分け入って人々を救おうという、観音様のお気持ちが表われているような気がします。

吉井川の流れを見下ろす小高い山の上に、上寺山餘慶寺は甍を連ねている。天平勝宝元年（７４９）報恩大師によって開山された。
　往古には日待山日輪寺と称し、慈覚大師再興後、本覚寺と改め、藤原鎌足公母堂海上人菩提のため、薬師三尊を奉安し、自ら一刀三礼し千手観世音像を刻み、本尊として崇めた。
　中頃近衛天皇の勅願寺となり、上寺山餘慶寺と改め国家の安泰と五穀豊穣を祈願した。
　武家時代は、赤松則宗公の信仰と外護を得て寺門大に興隆し、宇喜多氏、池田藩主の守護を得て、地方文化の発展に寄与すると共に輪奐の美大いに整う。
　かつては寺域に七ヶ院十三坊を数え、今日も本堂（観音堂）、薬師堂、三重塔、山王社、愛宕社、開山堂、地蔵堂、弁天堂、鐘楼の諸堂宇と、本乗院、明王院、恵亮院、吉祥院、定光院、圓乗院の塔頭六ヶ院が現存している。寺院と神社との建築配置は、平安時代より発展した神仏習合思想の姿を遺存している。