Он ушёл по собственной воле, что спланировал ещё до выхода 1 сезона. Изначально, не он вообще должен был стать кантоку, а как раз Йошихара.

Как можно сделать лучше то, что и так идеально?

Виденье Накаямы очень сильно повлияло на проект, и без него анимационная философия 1 сезона могла быть другой, было бы больше свободы, меньше того самого "киношного реализма". С другой стороны, идея такого направления появилась у Кейсуке Сешимо, на чём он и настоял, поэтому мы не можем точно знать, насколько сильно бы подход к продакшену 1 сезона отличался от того, что мы получили, даже если бы Йошихара с самого начала был у руля. Поэтому, всё это "если бы" да "кабы" - чистые спекуляции.