Gitの高速化ではなく、Git bashの高速化です。
まず、ユーザフォルダ直下に設定ファイル.bashrcを作成します （.bashrcについてはここでは書きませんので、詳しくは検索して調べて下さい）。
.bashrcを作成したら、以下のように記述します。
export PS1='\n$ '
これにより、プロンプトに詳細な情報が表示されなくなるので、その分処理が軽くなると思われます。 なお、プロンプトはもっと詳しくカスタマイズできます。 例えば、現在のディレクトリも表示するには、
export PS1='\n\w$ '
とします。