敏達天皇の御世に百済の高僧日羅上人が開山したと伝えられています。日羅上人が羽束山にこもり、けやきの木で十一面観音像を彫った時、像から芳香が漂ったことから「香下」と名付けられました。