Vous utilisez tous l'authentification par clé pour vos accès SSH...
ssh-agent et ssh-add vous permettent également de ne saisir le mot de passe qu'une seule fois...
(dans le cas contraire rendez vous par exemple sur http://www.debian-administration.org/articles/152 )

Mais le petit truc suivant pour Gnome est moins souvent indiqué:

Il est possible d'avoir à chaque démarrage de Gnome, la fenêtre suivante.

Ceci charge la clé privée en mémoire et permet ainsi par la suite de se connecter (sans plus entrer aucun mot de passe) à tous serveurs SSH ayant la clé publique associée dans leur fichier authorized_keys.

Pour se faire dans Gnome, il suffit simplement d'ajouter:

/usr/bin/ssh-add

avec par exemple un priorité de 90 dans Système/Preferences/Sessions/Programmes au démarrage

A noter qu'il n'y a pas besoin de lancer ssh-agent, car il est lancé automatiquement par Gnome. (Vérifiable par un ps).