1908年4月11日、栃木県上都賀郡日光町（現・日光市）に生まれる。
先祖の一人に飯盛山で自刃した白虎隊士井深茂太郎がいる。
2歳の時、父親の井深甫の死去に伴い、愛知県安城市に住む祖父の井深基に引き取られる。
母と共に5歳から8歳まで東京に転居、その後は再び愛知県へ戻り、安城第一尋常小学校（現・安城市立安城中部小学校）卒業。後に再婚した母に従い、母の嫁ぎ先の神戸市葺合区（現・中央区）に転居。兵庫県立第一神戸中学校、第一早稲田高等学院、早稲田大学理工学部卒業。
東京芝浦電気（現・東芝）の入社試験を受けるも不合格。大学卒業後、写真化学研究所（Photo Chemical Laboratory、通称 PCL）後の東宝に入社。 学生時代に発明し、PCL時代に出品した「走るネオン」という製品がパリ万国博覧会で金賞を獲得。のちに日本光音工業株式会社に移籍。その後、日本光音工業株式会社の出資で、日本測定器株式会社を立ち上げ、常務に就任。 日本測定器は軍需電子機器の開発を行っていた会社であり、その縁で、戦時中の熱線誘導兵器開発中に盛田昭夫と知り合う。
敗戦から2ヵ月後の1945年（昭和20年）10月、東京 ・日本橋の旧白木屋店内に個人企業「東京通信研究所」を立上げる。翌年5月株式会社化し、資本金19万円で、義父の前田多門（終戦直後の東久邇内閣で文部大臣）が社長、井深が専務（技術担当）、盛田昭夫が常務（営業担当）、社員20数人の東京通信工業（後のソニー）を創業。

以来、新しい独自技術の開発にチャレンジし、一般消費者の生活を豊かに便利にする新商品の提供を経営方針に活動を展開。そして、多くの日本初、世界初という革新的な商品をつくりだし、戦後日本経済の奇跡的な復興、急成長を象徴する世界的な大企業に成長していく。
1950年にソニー社長に就任し、その後、会長、名誉会長、名誉会長を歴任する。
ソニーの経営の一方で、井深大は教育活動にも熱心に取り組み、幼児開発協会やソニー教育振興財団などを設立している。同財団は現在、ソニー教育財団として、幼児教育の推進に取り組んでいる。
ちなみに、井深大が東京通信工業設立時に起草した「東京通信工業株式会社設立趣意書」は、企業の精神のあり方の理想形のひとつとして有名である。「日本再建、文化向上ニ対スル技術面、生産面ヨリノ活発ナル活動」や「国民科学知識ノ実際的啓蒙活動」などを趣旨とする文章は、真の技術系企業家のあり方として、電気系メーカーだけでなくあらゆる企業家、経営者の座右として愛されている。
没後、政府は「日本のエレクトロニクス産業などの製造業発展の基礎を作るとともに、若手技術者育成に活躍し、多くの国民に自信と勇気を与えた」として、勲一等旭日桐花大綬章の授与。
1997年12月19日午前3時38分に急性心不全のため、東京都港区三田の自宅で逝去、亨年89歳。