昭和４９年（１９７４年）８月１１日、「金剛山を親子で歩こう会」という、ささやかなイベントが開かれました。コースは南尾根、参加者は大人と小学生をあわせて１２名でした。
こうして剛友会は金剛山で産声を上げました。生みの親は根来春樹氏（現名誉会長）です。
根来氏は、その後、金剛山との縁を益々深められ、「葛城高原・二上山」、「金剛山・岩湧山」の登山地図の編纂、登山道の測量機具コロコロを使った測量、金剛山にまつわる葛城王朝、役行者、水越峠の水争いなど歴史を辿る道の研究など、会長として、剛友会の基礎をつくられました。

２代目会長中野秀治氏、３代目会長田中武氏、現会長大村信幸氏とバトンは引き継がれ、現在では、山域は金剛山系に留まらず、関西近郊はもちろん、エリアを全国に広げ活動しています。更に岩トレーニング、氷瀑めぐり、沢登りなどオールラウンドで行なっています。
こうして本会は今年（２０２１年）創立４７周年を迎えました。