現在の大阪市中央区生まれ。
少年期、母、近所の神社のおじさんなどから、四書五経の素読を授かる。
大阪府立四条畷中学卒業、第一高等学校卒業後、1922年（大正11年）に東京帝国大学の卒業記念として執筆され出版された『王陽明研究』が反響を呼ぶ。
大学卒業後に文部省に入省するも半年で辞し、「東洋思想研究所」を設立、当時の大正デモクラシーに対して伝統的日本主義を主張した。拓殖大学東洋思想講座講師をする傍ら『日本精神の研究』『天子論及官吏論』などの著作を発表し、一部華族や軍人などに心酔者を出した。1927年に酒井忠正の援助により「金鶏学院」を設立し、1931年には三井や住友などの財閥の出資により埼玉県に「日本農士学校」創設し、教化運動に乗り出した。
金鶏学院は軍部や官界・財界に支持者を広げて行き、1932年には「日本主義に基づいた国政改革を目指す」として、酒井や後藤文夫、近衛文麿らとともに「国維会」を設立し、新官僚の本山となった。同団体から、斉藤や岡田両内閣に、後藤や吉田茂（後に首相になった吉田茂とは別人物）、廣田弘毅ら会員が入閣したことで、世間の注目も集まったが、一方で政界の黒幕的な見方も強まったため、2年後には解散に追い込まれる。
その間も金鶏学院などを通じた教化活動は続けられ、「二・二六事件の首謀者西田税らに影響を与えた一人」とも言われる。北一輝や大川周明の猶存社のメンバーでもあった。年上である八代六郎（元海軍大将）、山本五十六、更には中華民国総統の蒋介石などとも親交があり、第二次世界大戦中には大東亜省顧問として外交政策などに関わった。

敗戦後に、かつて安岡が創設した各団体や学校は連合国軍最高司令官総司令部により解散を命じられ財産は没収、安岡自身も大東亜省奉職を理由に公職追放される。
1949年に「師友会」（後の全国師友協会）を結成、機関紙『師と友』の発行による次代の指導者の育成や、全国各地を巡っての講演、更にはラジオによる講話などを通じた東洋古典思想の普及活動を行った。
一方で政財界とのパイプは保ち続け、自民党政治家のアドバイザーとして主に東洋宰相学、帝王学を説き、彼らの「精神的指導者」「陰の御意見番」「首相指南役」の位置にあった他、1958年には安倍源基らとともに「新日本評議会」を結成、安保改定運動や改憲運動などに関わった。東洋古典の研究と人材育成に尽力する一方で、「体制派右翼」の長老としても政財官界に影響力を持ち続けた。また、「平成」の元号の発案者と言われている（1990年に竹下登が記者会見で示唆）。「全国師友協会」は遺言もあって解散したが、各地域の支部がそれぞれ独立した団体として活動を続け、その思想を継承している。
安岡には政界だけでなく、財界にも多くの心酔者がおり、三菱グループ・近鉄グループ・住友グループ・東京電力など多くの財界人をも指南していたとされる。
終戦時、天皇陛下自身によるラジオ放送の終戦の詔書（玉音放送）に加筆し原稿を完成させたのも安岡だったことから皇室からも厚い信頼を受けていた。
数々の伝説を残し、政界・財界・皇室までもが安岡を頼りにしていたことから「昭和最大の黒幕」と呼び声が高い。
1983年12月13日逝去。享年85歳。