社長というものは、一番大きな決定と、いちばん小さなことに気を配らないかん。それが社長業というもので、この二つの間に挟まれた用件は、人任せでもやれんことはない…」と日頃から明言し、権限委譲に積極的だった歳男は、68年（昭和43年）1月、社長業そのものも弟の祐郎に任せることにし、同時に末弟の薫を副社長に昇格させ、自分は会長に退いた。 　社長の激務を離れた後は、自分が抱いてきた夢の実現に没頭した。それは愛する故郷淡路島の開発や、フェリーによる海上輸送の開発などだった。 　人生の大半を事業一途に生きてきた歳男であったが、仕事以外に楽しみや喜びを求めることもあった。自分の趣味、嗜好について、著書「私の履歴書」で次のように紹介している。 　釣り――「まず釣りをやる。幼いときから海に育ったから、ときたま昔取ったきねずかを発揮する。近所の天狗の鼻をあかすのが楽しみである」 　玉突き――「玉突きは若い間にやめてしまったが、150ぐらいまでいったと記憶している。あまり凝りすぎて、家へ帰るのを忘れ、閉め出しをくらったことも再々あった」 　ボクシングと古美術――「鑑賞はボクシングと古美術。われながら妙な取り合わせだと思う。ボクシングは、会社の宣伝でテレビ放送を提供していたおり、後楽園へ見に行って病みつきになった。今はテレビで見るだけだが、いつのまにか何級にはだれがいて何戦何勝ぐらいは覚えてしまった。古美術の方は、美術商にすすめられたのがきっかけで、あれこれ買わされているうちに、さまよい始めたものであろう。道楽といった方が適切かもしれない」 　読書――「読書はお恥ずかしいがあまりしない。もっぱら耳学問の方である。それでも「太閤記」や最近ブームの「徳川家康」は熟読、そこに描かれている人物に興味を深くしている。 　酒――「酒は一滴も飲めない。奈良漬を食べても酔っぱらう。ただし、お茶やジュースで酒豪たちのお相手をつとめる特技？は持っている。タバコは最近やめた。なべをつつきながら人と話し込むのも好きだ。生まれつき食いしん坊なのかもしれない」 　また、ゴルフについては、「あるときゴルフに誘われた。健康保持のためにいいのだという。ところが１日中汗を流したのに、少しもおもしろくない。クラブに入会していたが、一度きりでやめてしまった」と書いている。 　同じ山を歩くなら、何か役に立つものはないかと考え、始めたのがブルドーザーを指揮しての土地造成だった。神戸市塩屋にある30万坪の通称ジェームス山を買い取って宅地造成に励んだ。ここには現在、多くの住宅や三洋電機の研修センター、井植記念館などが建っている。それが終わると次は淡路島の井上浜を埋め立て、三洋電機の保養所や温泉プールを建設した。