さくらVPSは最初からGitが使える状態になっているんですが、インストールされているバージョンが古い（自分の場合は、1.8系だった）。
現在インストールされているgitを削除して、以下に書かれていた yum install git-all を実行してみても、最新バージョンにはなってくれませんでした。
それならばソースからインストールしてみようと思い、以下の方法を試してみました。（現時点での最新バージョンは、2.30.1）
今回は先のリンク（使い始める - Gitのインストール）の「ソースからのインストール」の箇所に記載されているKernel.orgから、最新版を任意の場所に取得してきて、./configureしてからmake installを実行すると、Gitの最新バージョンを使えるようになりました。