Для того, чтобы отправлялась почта с сайта находящегося на VPS необходимо поднять SMTP сервер, на Debian советую использовать Exim.
1. Устанавливаем
# aptitude install exim4 exim4-config
2. Настраиваем
# dpkg-reconfigure exim4-config
Выбираем по ходу установки
интернет-сайт; прием и отправка почты напрямую, используя SMTP
Если отправлять почту нужно только с сайта, то выбираем слушать только ip 127.0.0.1