当山は創建当時、今の高岡市石堤の地にあったといわれ、前田利長（加賀藩二代藩主）守山在城の節は祈願所となり、高岡城移住の時、利長の意向により、慶長年間に現在地に移ったとされる。
当山二十二世快雄和尚は、
慶長十四年（1609年）時の利長公高岡城築城の際、利長公より、当時関野と呼ばれたこの地の新たな命名を依頼され、中国の詩経の一節により「高岡」と名付けた人物である。

「鳳凰鳴けり、彼の高き岡に」（詩経の一節より）

当山の有する「木造千手観音座像」は昭和十二年五月二十五日に国宝に指定され、文化財保護法が実施せらるや、昭和二十五年八月二十九日に新たに国重要文化財として指定されたものである。当山中興一世は千手観音座像の胎内銘により河内国（現在大阪府）金剛寺の禅恵法印とされる。
当時の南北朝時代において金剛寺は南朝方の寺院とされ、禅恵法印は正平三年（1348年）六十五才で正学頭に補せられた南朝方の柱石であった、おそらく禅恵法印とその弟子がこの像を携えて総持寺に来ていると考えられ、当時の北陸地方に於ける南朝方の動静をうかがうことができる。
以来観音信仰の拠点として「かんのんでら」と呼ばれる由縁となる。