ググってみた結果では、~/.ssh/configに書くものばっかりだった。普段は中継せずに接続して、必要な時だけ多段接続したかった。下記のようにすれば良いだけだった。

ssh -o ProxyCommand="ssh proxyhost -W %h:%p" destinationhost