口伝によると、東大寺の僧良弁が市坂村の菩薩に結んだ草庵を、三輪十郎左エ門が移築し、自らの名前にちなんで十輪寺とした。
現在では地蔵盆、除夜の鐘などで地域住民にも広く門戸を開いている。