Ich brauche einen Rechner der nur folgende Dinge können muss:

c++ kompilieren und das dann ausführen
per ssh steuerbar sein
übers Netzwerk Daten/Ergebnisse an einen anderen Rechner weiterreichen

und das natürlich möglichst schnell und effizient
Grafik und so weiter wird nicht benötigt.

Was wäre da als OS ratsam?

Ich hab mit Ubuntu als Servervariante gute Erfarungen gemacht wegen recht guter Doku. Jetzt werden noch 10 weitere Distris genannt werden :D

am besten du nimmst das OS mit dem du am meisten Erfahrungen hast… die Anforderungen sollten wirklich alle erfüllen - und solang das jetzt nicht auf deinem Kühlschrankdisplay laufen soll, sehe ich da auch keinen Beratungsbedarf.

http://distrowatch.com/

Definitiv ein POSIX(-ähnliches) System. Linux, xBSD, was auch immer. Nimm das, womit du selbst oder deine RL-Freunde am Besten umgehen können. (Ich persönlich favorisiere Debian)