ZenCacheからWP Super Cacheに戻したのですが

以前からキャッシュ系のプラグインはシンプルなZenCacheを使っていました。
ただ、PCとスマホで表示を切り替えるボタンを設置したところ不具合というか、PC側で見たページのキャッシュをスマホ側に表示してしまうためボタンが表示されない問題が起こっていました。

ユーザエージェントでキャッシュの出し分けを行えばいいのですが、ZenCacheではそれは有料版じゃないとできないみたいなのです。
というわけで以前使っていたWP Super Cacheの方をまた使い始めました。

WP Super Cacheの詳細オプションで「Mobile Device Support」を有効にしておくとキャッシュの保存ディレクトリにはPC用とモバイル用のキャッシュが別々に生成されていることが確認できます。

が、ここでまたしても問題発生。
なぜかGoogleのSearch Console（ウェブマスターツール）でみるとダウンロード時間が上昇しているという・・・

急激に上がったのではなく、徐々になんですが。
PageSpeed InsightsやGTmetrixでの評価がだいぶ良くなるようにもいじったのですが、それが原因なのでしょうか。
サーバーとWP Super Cacheとの相性が悪いのかGzipファイル転送が悪いのか。
色々と試して最適なキャッシュ方法を模索していきます。