寺の名前は蟹幡（かむはた）郷という美称である「神（カム）」と織物を意味する「幡（ハタ）」からなる地名に由来し、この地は古代には渡来系民族で織物にたずさわる人が多く住んでいたようで、白鳳時代末期に国家かそれに準ずる豪族によって建てられたと考えられています。
平安時代以降は、今昔物語集に出てくる「蟹の恩返し」縁起で有名になりました。
本堂中央の釈迦如来像（国宝）は創建当時より不動であることが調査の結果わかりました。