宮城県仙台市北三番町に旧米沢藩士で宇治山田警察署長を務めた甘粕春吉の長男として生まれる。
第四次川中島の戦いでの奮戦で知られる甘粕景持の子孫で、銀行家の甘粕二郎と甘粕三郎陸軍大佐は弟。甘粕重太郎陸軍中将は叔父。
士官候補生第24期として卒業（同期には岸田國士がいる）した当初は歩兵科であったが、1918年7月中尉の時に転科し、憲兵中尉となる。
歩兵から憲兵への転科は膝の怪我が理由とされ、転科に迷っていたところを上官東條英機と相談し積極的な意見を受けて憲兵となったという。
この時朝鮮楊州憲兵分隊長を拝命する。その後、憲兵司令部副官・憲兵練習所学生の後、1921年6月憲兵大尉に進み、市川憲兵分隊長を命ぜられる。翌年1月渋谷憲兵分隊長に移り、大正12年8月から麹町憲兵分隊長を兼ねる。
1923年9月1日に起きた関東大震災のどさくさに乗じて、9月16日、東京憲兵隊麹町分隊長の甘粕はアナキストの大杉栄・伊藤野枝とその甥・橘宗一（7歳）の3名を憲兵隊本部に強制連行の後、虐殺し、同本部裏の古井戸に遺体を投げ込むという、いわゆる甘粕事件を起こした。

1926年10月に出獄し予備役となり、1927年7月から陸軍の予算でフランスに留学する。
1930年、フランスから帰国後、すぐに満州に渡り、奉天の関東軍特務機関長土肥原賢二大佐の指揮下で情報・謀略工作を行うようになる。
大川周明を通じて右翼団体大雄峯会に入る。そのメンバーの一部を子分にして甘粕機関という民間の特務機関を設立。また満州の国策である阿片ビジネスでリーダーシップを取った。
1931年9月の柳条湖事件より始まる満州事変の際、ハルピン出兵の口実作りのため奉天に潜入し、中国人の仕業に見せかけて数箇所に爆弾を投げ込んだ。その後、清朝の第12代皇帝宣統帝の愛新覚羅溥儀（1924年に馮玉祥が起こしたクーデターにより紫禁城を追われ、1925年以降に天津に幽閉されていた）擁立のため、溥儀を天津から湯崗子まで洗濯物に化けさせて柳行李に詰め込んだり、苦力に変装させ硬席車（三等車）に押し込んで極秘裏に連行した。その他、満州事変に関する様々な謀略に荷担した。
その働きを認められ1932年の満州国建国後は、民政部警務司長（警察庁長官に相当）に大抜擢され、表舞台に登場する。在満右翼団体満州青年連盟を母体に満州唯一の合法的政治団体満州国協和会が創設され、その中央本部総務部長に就任。
1938年、満州国代表団（修好経済使節団）の副代表として公式訪欧し、ムッソリーニとも会談。
1939年、満州国国務院総務庁弘報処長武藤富男と総務庁次長岸信介の尽力で満洲映画協会（満映）の理事長となる。満映のある新京の日本人社会では「遂に満映が右翼軍国主義者に牛耳られる」、「軍部の独裁専横人事」と恐れられたが、甘粕は紳士的に振る舞い、満映の日本人満人双方共に俳優、スタッフらの給料を大幅に引き上げたことから満映内での評判は高まっていった。
敗戦直後の1945年8月20日早朝、監視役の大谷・長谷川・赤川孝一（作家・赤川次郎の父）の目を盗み、隠し持っていた青酸カリで服毒自殺。満映のスタッフは皆で甘粕を看取り、慰霊祭も行われた。