JQueryは制作速度をアップする便利なプログラムです。
JQueryに限らず、ライブラリ（プログラムの集合体）を使っていれば表示速度はいくらか遅くなります。
ですからJQueryさえ使わなければ早くなると考えるのは早計です。
（Javascriptをなるべく使わないようにすれば早くあります。）
その理由に入るまでに、サイトの表示速度に影響する要因を確認しましょう。
サイトの表示が遅くなる原因は大きく分けると「ファイル容量」「ファイル数」「描画にかかる時間」の3つがあります。
ファイル容量
ファイルの重さはダウンロード時間に直結するので表示速度に影響します。
容量の大きな画像や動画を沢山使っていれば、表示速度は遅くなります。
JQueryも圧縮したバージョンが提供されているので、公式サイトからminifiedを読み込めばいくらか表示が早くなるでしょう。
- minifiedは一般的に改行やコメントを削除したプログラムです。動作に問題はありません。
ファイル数
では、同じ重さだけどファイル数を分割して１ファイルの重さを落とせば早く表示されるかと言えば、そうではありません。
ファイル数が多いとその数だけサーバにデータのダウンロード指示が飛ばされます。
特に重要なファイルではないにせよ、その中の1つでもなんらかの理由でダウンロードできなければダウンロード完了とはなりません。
描画にかかる時間
プログラムと関連ファイルを受け取ってから、それをページに反映するまでの時間です。
主に体裁に関する設定（CSS）は描画にかかる時間と直結します。
JQueryだけが悪いわけではありません。
JQueryはこの中で「ファイル容量」と「描画にかかる時間」に関係します。
ですから記述次第でサイトが遅くなることもあります。
ただ、JQueryを使わず別のライブラリを使えば同じように影響するのでJQueryだけが悪いわけではありません。
ホームページで動きをつけたりすれば、同じように影響します。
JQueryだけがホームページの表示速度に影響すると言われているのは、当時ほとんどのサイトがJQueryを使っていたからです。
Wordpressはセキュリティが弱い、と同じような展開ですね。