寺伝によると、曽我祐信が自身の館の後方に「稲荷山祐信院」を建立したことが城前寺の由来であり、曾我兄弟の仇討ち後に、宇佐美禅師が兄弟の菩提を弔うため祐信院を引き、現在の城前寺の地に庵を結んだといわれております。宇佐美禅師は真名本『曽我物語』（巻十）に確認される人物で、曽我兄弟の仇討ち後に兄弟が没した地である富士野を訪ね葬送し、その遺骨を曽我の里に持ち帰ったと記される人物です。

城前寺の場所は曽我氏館跡伝承地（曽我祐信屋敷跡）の前に位置し、周辺には曽我祐信に関する伝承地が点在します。境内には曽我兄弟に関する遺物等が多く残り、曽我兄弟・曽我太郎祐信・満江御前の墓や「忍石」などが残っております。遺物は城前寺に移された例も多く、曽我兄弟の墓には「お花畑」から発掘された骨壷が移され、忍石は本来一対（姥石・姫石）であった石の一方が移されたものです。

忍石のもう一方は、本来の位置である大山通（中村通）沿いに所在しています。伝曽我十郎・虎御前の「忍石」は、仇討ちを前に十郎祐成と虎御前が逢引した道筋｢山彦山の中村道｣にあり、２人が腰掛けて別れを惜しんだといわれています。のちに里人は、これを縁結びの石と呼び、意中の人の名を書いたこよりをこの石に結ぶと、必ず願いが成就したと伝えられています。