お客さんがいないと暇？忙しい？

開業当初に「休んでない」とか「時間的に余裕がない」と私が言うと、
よくこう言われました。
「お客さんいないのに毎日何やってんの？」
あるいは、「お客さんいないなら暇でしょ？」。
そう言えば、「開業当初は、やることないから●●やった」という話をよく聞いた気がします。
やることないってことなかった気がします・・・。
現在、さすがに開業当初よりは、お客様に恵まれていますが、ひさびさに言われました。
「そんなにお客さんいないなら暇でしょ？」と。
私は、「お客さんがいない時期こそ忙しいのでは？」と思います。
そもそも経営者としてビジネスをやっている以上、「暇」という言葉は、よっぽど売上を上げて、組織ができてからでないと、出てこない言葉ではないかと。
業務を効率化して、業務の時間が短縮されるというのはありだと思いますが。
認識の差なのか、私が勝手に忙しくしているのか・・・。
でもやっぱり暇ではないです。