正楽寺は、大徳と崇められた報恩大師によって天平勝宝元（七四九)年開山された古刹で、備前四十八寺の内にあげられる。往時は勝楽寺と称した。報恩大師は備前の出身で、大峯山に修行を重ね、天平勝宝四（七五二）年考謙天皇の病気平癒を祈願し、験を現わしたことにより、帝から報恩の名を賜る。
　やがて鎌倉時代の正安六（一三〇四）年信賢上人によって現在地に、伽藍が造営され隆盛を極めていく。
　しかし、江戸時代に入ってのすぐ、元和元（一六一五）年大火災に罹り、悉く灰塵に化したことが惜しまれる。
　漸く宝永年間（一七〇四〜一七一〇）本堂や書院、庫裡、鐘楼を再建する。
　そして仁王門は文化七（一八一〇）年から七年間を掛けての難工事であった。仁王門の四方の棟板にある重厚な彫刻「雲と波」は、その芸術性を高く評価されており、門全体も豪華華麗な鎌倉時代の面影を色濃く伝える。
　江戸時代、備前池田藩は正楽寺を北東の鬼門の祈願所とし、池田家代々の位牌がある。
　儒学者熊沢蕃と正楽寺は縁深く、彼の子孫が寺社奉行となり、正楽寺中興に寄与した功績は尽大である。

　瀬戸内海岸線沿いは、一般的に柔らかな光が温かさを萬遍なく振り播くが、少し海岸線から入り込んだ正楽寺附近までくると、光が透明感をもち、やや鋭い清澄さが凛とさせる。それは寺背後の山の緑と土塀の白壁と竹林の静寂、更に極めて明確に整理された威風を漂わす重厚な寺構のせいであろうか。　
　報恩大師開基（７４９年）の古刹である正楽寺は、信賢上人が鎌倉時代（１３０４年）に現在地に伽藍を造営して発展の礎を確立、寺門は栄華を極めるが、元和元年（１６１５年）大火災により全て消失、以来衰退するも宝永年間（１７０４年）から文化７年（１８０１年）までの約百年間をかけ、本堂・書院・庫裏・鐘楼・山門（仁王門）と建立、現在の寺構を整える。仁王門「雲と波」の彫刻は、大変貴重な芸術作品で壮麗な鎌倉時代の面影を残している。
　江戸時代には、備前池田藩の祈願所となり、寺には池田家代々の位牌が安置されている。
　正楽寺地名の蕃山は、陽明学を完成させた熊沢蕃山に由来するもので、その子孫が寺社奉行となり、正楽寺の中興に寄与した功績は尽大だったと伝える。