さくらVPSは最初からGitが使える状態になっているんですが、インストールされているバージョンが古い(自分の場合は、1.8系だった)。
現在インストールされているgitを削除して、以下に書かれていた yum install git-all を実行してみても、最新バージョンにはなってくれませんでした。
それならばソースからインストールしてみようと思い、以下の方法を試してみました。(現時点での最新バージョンは、2.30.1)
今回は先のリンク(使い始める - Gitのインストール)の「ソースからのインストール」の箇所に記載されているKernel.orgから、最新版を任意の場所に取得してきて、./configureしてからmake installを実行すると、Gitの最新バージョンを使えるようになりました。