Yop - SMTP/Postfix

smtp-sink - multi-threaded SMTP/LMTP test server

Yannick — Fri, 01 Feb 2008 00:20:00 +0100

Ce billet fait suite à celui présentant smtp-source

smtp-sink permet de recevoir des mails pour des tests, par exemple de performances...

Example:

- Le serveur en écoute:

$ smtp-sink -4c -d "%Y%m%d%H/%M." :2525 1024

- L'envoi de mails par exemple avec smtp-source:

$ smtp-source -c -l 50 -m 5 -f test@example.org -t aaa@bbb.org -S Test -M www.example.org 127.0.0.1:2525

Les mails peuvent êtres stoqués sur le "serveur" dans des fichiers (ou pas).

$ ls 2008012700/
31.02381c00 31.5e1a0566 31.62b49729 31.66cc641f 31.7241899a
$

$ cat 2008012700/31.02381c00
X-Client-Addr: 127.0.0.1
X-Client-Proto: SMTP
X-Helo-Args: www.example.org
X-Mail-Args: <test@example.org>
X-Rcpt-Args: <aaa@bbb.org>
Received: from www.example.org ([127.0.0.1])
by smtp-sink (smtp-sink) with SMTP id 02381c00;
Sun, 27 Jan 2008 00:31:10 +0100 (CET)
From: <test@example.org>
To: <aaa@bbb.org>
Date: Sun, 27 Jan 2008 00:31:10 +0100 (CET)
Message-Id: <31d3.0003.0003@www.example.org>
Subject: Test

XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

$

Bref... un "honeypot SMTP" sans risque, possible en 1 ligne...

Recherche d'un mail dans les logs Postfix - pfloggrep.sh

Yannick — Sun, 25 Nov 2007 16:13:00 +0100

pfloggrep.sh de Matthias Andree permet d'afficher toutes les lignes de log correspondant à un Message-ID donné.

Ceci permet d'afficher facilement tous les logs d'un mail donné surtout lorsque le mail est passé 2 fois dans Postfix lors de l'utilisation d'un content_filter...

Recherche de mails dans les logs Postfix - mailgrep.pl

Yannick — Tue, 06 Nov 2007 23:26:00 +0100

mailgrep.pl de Craig Sanders permet de rechercher un pattern dans les logs Postfix.

Le script parcours dans un 1er temps le fichier de log à la recherche du pattern et "construit" la liste des "QueueID" correspondants. Ensuite il affiche toutes les lignes qui correspondent à ces "QueueID" (et non pas au pattern).

Nécessite File/MMagic.pm etc.. + openlogfile.pl

Examples:
to search for all log entries related to "foobar@example.com":
mailgrep.pl -s foobar@example.com

Compter plus rapidement le nombre de mails en queue Postfix

Yannick — Thu, 11 Oct 2007 00:12:00 +0200

Commande find de Victor Duchovni sur la ML Postfix:

# cd /var/spool/postfix

# time mailq | tail -1 | awk '{print $5}'
163

real 0m1.802s
user 0m0.003s
sys 0m0.005s
#

# time find maildrop/. incoming/. active/. deferred/. ! -name '?' ! -name '.' -print | wc -l
163

real 0m0.028s
user 0m0.001s
sys 0m0.002s
#

Je pense que le jour où j'aurais 30000 mails en queue à écouler, je serais content de retrouver la commande... ;)

Affichage de la queue Postfix - cmailq.pl

Yannick — Wed, 04 Jul 2007 08:21:00 +0200

cmailq de Craig Sanders permet d'afficher la queue postfix avec un message par ligne.

$ ./cmailq.pl
AADB7D3A19 * 1580373 Mon Jul 2 15:15:40 sender@me.com recipient@toto.com
$

Recherche de mails dans la queue Postfix - pfqgrep.pl

Yannick — Mon, 02 Jul 2007 12:21:00 +0200

pfqgrep.pl - Postfix queue grep.

Ce petit script de Rob Chanter permet de simplifier les recherches dans la queue Postfix.

Les possibilités de recherche:
- n'importe ou
- l'expéditeur
- le destinataire
- la raison du deferral

- dans certaines queues
- n'affiche que l'ID correspondant

$ ./pfqgrep.pl -r yahoo -i
45200D39CC
B5338D3A1D
21FB5D3A34
4BAE0D3A85
$

Bien plus rapide à utiliser que de faire une ligne avec toute une série de grep et de awk...

Sommaire des mails dans la queue Postfix - qSummary.pl

Yannick — Fri, 29 Jun 2007 17:56:00 +0200

qSummary.pl d'Andre Galvani permet très simplement d'afficher le nombre de mails par domaine en queue.

$ ./qSummary.pl | head -15

TOTAL TO
==============
9 aaaa.com.br
8 mail.bbbb.com
6 ccccs.nl
6 dddd.com.br
5 eeee.gov.my
4 fffffff.com
4 gggggg.com
4 hhhhhhh.com
3 iiiii.com
3 jjjjjjjj.com
3 kkkkkk.co.jp
3 lllllllllllllllll.com.br

Deploiement de SPF

Yannick — Wed, 23 May 2007 21:21:00 +0200

Toutes les combinaisons de noms de domaines de 1 à 5 lettres en .com .net et .org représentent un total de 37,069,890.

Tous ces 37,069,890 domaines "possibles" sont testés chaque mois.
Pour Avril 2007:

2,497,026 sont "valides" (ont des DNS etc..)
188,330 ont un enregistrement SPF valide.

Nous pouvons donc estimer un taux d'utilisation de SPF de 7,54 % (des domaines "valides").
On peut imaginer que ce pourcentage reste sensiblement le même pour tous les domaines (ceux de plus de 5 lettres).

Sources:
http://www.usrlocal.com/stories.phtml?sid=1716
http://www.usrlocal.com/stories.phtml?sid=1571

smtp-source - multi-threaded SMTP/LMTP test generator

Yannick — Fri, 06 Apr 2007 19:34:00 +0200

smtp-source permet d'envoyer à la machine spécifiée des mails générés ayant les caractéristiques indiquées dans les options.

Très utile pour des tests...

Example:

smtp-source -c -l 50 -m 5 -f test@example.org -t aaa@bbb.org -S Test -M www.example.org mx.bbb.org

-c Display a running counter
-l length: Send length bytes as message payload.
-m message_count: Send the specified number of messages (default: 1).
-f from
-t to
-S subject
-M myhostname

D'autres options indiquées dans le man...

Received: from www.example.org (yop [xxx.xxx.xxx.xxx])
by aaa.bbb.fr (yop) with SMTP id F2E2212405D
for <aaa@bbb.org>; Fri, 6 Apr 2007 13:35:22 +0200 (CEST)
From: <test@example.org>
To: <aaa@bbb.org>
Date: Fri, 6 Apr 2007 13:35:22 +0200 (CEST)
Message-Id: <72f2.0003.0004@www.example.org>
Subject: Test

XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

GTUBE - Generic Test for Unsolicited Bulk Email

Yannick — Tue, 27 Feb 2007 12:06:00 +0100

De la même manière que EICAR, cette empreinte doit permettre de tester un antiSpam.

XJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X

De base dans SpamAssassin et testé avec succès sur un AntiSpam commercial.

La page Wikipedia...

NOQUEUE dans Postfix

Yannick — Mon, 19 Feb 2007 18:22:00 +0100

Extrait de la ML:

>> Trying to figure out what NOQUEUE means in the log entry listed below.
> It means: "The mail was not queued."
A queue id is assigned after the first recipient is accepted.

Bloquage du port 25 en sortie chez Free.fr

Yannick — Mon, 29 Jan 2007 01:08:00 +0100

Free bloque désormais par défaut le port 25 en sortie des Freebox (sauf smtp.free.fr). Cette initiative permet de limiter (pour ne pas dire bloquer) l'envoi de spams et des virus par les abonnés infectés.

Sachant que la majorité des spams et des virus sont envoyés par des machines d'abonnés ADSL, cette mesure devrait être généralisée à tous les providers (à condition de pouvoir tout de même laisser à l'abonné la possibilité de désactiver cette "fonctionnalité").

Pour pouvoir à nouveau se connecter aux ports 25, aller dans l'interface de gestion:
"Fonctionnalités optionnelles de la Freebox"/"Autres fonctions"/"Blocage SMTP sortant".

L'annonce de Free:

Date: Tue, 23 Jan 2007 16:17:41 +0100
From: Frederic GANDER
Newsgroups: proxad.free.adsl.degroupage
Date: Tue, 23 Jan 2007 16:17:41 +0100
Subject: Bloquage SMTP sortant

Bonjour à tous,

Comme prévu, le service de blocage du SMTP sortant sera actif jeudi sur les freebox qui auront rebooté.

Pour rappel, toutes les personnes avec une configuration par défaut (smtp.free.fr) n'ont aucun changement à effectuer. Cependant si vous utilisez un autre fournisseur de courrier sortant, autre qu'un webmail, (SMTP authentifié ex : laposte.net), vous devez désactiver ce service dans votre console.

A+

Fred

Différentes adresses mail avec une seule adresse Gmail

Yannick — Thu, 04 Jan 2007 20:03:00 +0100

Points dans l'adresse:

[...] Vous pouvez [...] ajouter des points à votre nom d'utilisateur et en supprimer pour créer différentes versions de votre adresse.[...]

Explications...

Signe + dans l'adresse:

[...] vous pouvez recevoir des messages envoyés à votre.nomutilisateur+un.alias@gmail.com.[...]

Explications...

( Ceci se fait dans Postfix avec le paramètre "recipient_delimiter = +" )

sendemail - email-from-console sending tool

Yannick — Sun, 26 Nov 2006 10:16:13 +0000

Un peu dans le même style que swaks, voici sendemail

sudo apt-get install sendemail

Synopsis: sendEmail -f ADDRESS [options]

Required:
-f ADDRESS from (sender) email address
* At least one recipient required via -t, -cc, or -bcc
* Message body required via -m, STDIN, or -o message-file=FILE

Common:
-t ADDRESS [ADDR ...] to email address(es)
-u SUBJECT message subject
-m MESSAGE message body
-s SERVER[:PORT] smtp mail relay, default is localhost:25

Optional:
-a FILE [FILE ...] file attachment(s)
-cc ADDRESS [ADDR ...] cc email address(es)
-bcc ADDRESS [ADDR ...] bcc email address(es)

...

Pour modifier certaines valeurs (Message-ID, delimiter, X-Mailer...) le script /usr/bin/sendEmail est très simplement éditable.

Postfix 2.3 stable release available

Yannick — Thu, 13 Jul 2006 11:07:51 +0000

From: Wietse Venema
To: Postfix announce

A few months later than usual, Postfix stable release 2.3 is now
available. The release was postponed until Postfix was complete
enough for today's email environment. Hopefully I can now spend
more time doing new projects.

You can find the Postfix 2.3.0 source code via the mirror sites
listed at http://www.postfix.org/. If it's not there today, then
it should show up in the course of the next 24 hours.

What follows is a very much compressed summary of what has changed.
See the RELEASE_NOTES file for compatibility issues that may affect
your site. The HISTORY file gives a blow-by-blow account of what
happened over the past 1+ year.

Wietse

- DSN (delivery status notification) support as described in RFC
3461 .. RFC 3464. This gives email senders control over notification
of successful, delayed, and failed delivery. DSN involves extra
parameters to the SMTP "MAIL FROM" and "RCPT TO" commands, as well
as extra Postfix sendmail command line options for mail submission.
See DSN_README for details, including how to limit the amount of
information that you are willing to disclose.

- Major updates to the TLS (SMTP encryption and authentication)
support. Postfix 2.3 introduces a configuration user interface
that is based on the concept of TLS security levels (none, may,
encrypt, verify, secure) and that can more effectively deal with
DNS spoofing. The old configuration user interface, with multiple
boolean parameters to enable or enforce TLS, is still supported but
will be removed after a few releases. See TLS_README for details.

- Milter (mail filter) application support, compatible with Sendmail
version 8.13.6 and earlier. This allows you to run a large number
of plug-ins to reject unwanted mail, and to sign mail with for
example domain keys. All Milter functions are implemented except
the one that replaces the message body (this will be added later).
All this and more is described in MILTER_README.

- Enhanced status codes (RFC 3463). For example, status code 5.1.1
means "recipient unknown". Mail clients can translate these status
codes into text in the user's own language, and greatly improve the
user experience. Enhanced status codes can be specified in Postfix
access tables, in header/body_checks content filter rules, in "rbl"
reply templates, and so on.

- Configurable bounce messages with support for non-ASCII character
sets. Details are in the bounce(5) manual page.

- Plug-in support for SASL authentication in the Postfix SMTP server
and client. With this, Postfix can support multiple SASL implementations
without conflicting source code patches. Postfix 2.3 has Dovecot
SASL support built into the SMTP server. As before, support for
Cyrus SASL is available as add-on feature for the Postfix SMTP
server and client. See SASL_README for more information.

- Support for sender-dependent ISP accounts, in the form of
sender-dependent relayhost lookup and sender-dependent SASL
username/password lookup.

- The Postfix SMTP client now implements both the SMTP and LMTP
protocols. This means that a lot of features have become available
for LMTP mail delivery, including the shared TCP connection cache.

- After TLS handshake failure, the SMTP client will now reconnect
to the same server to try plaintext delivery (if TLS policy permits).
Earlier Postfix versions would skip the server and defer delivery
if no alternate MX host was available.

- All delay logging now has sub-second resolution. Besides the total
delay, Postfix logs separate delays for different stages of delivery
(time in queue, time in queue manager, time to set up connection,
and time to deliver). This gives better insight into the nature of
performance bottle necks.

- Smarter utilization of cached SMTP connections. When one destination
has multiple inbound SMTP servers, the Postfix SMTP client will now
send less mail via the slower ones, and more mail via the faster ones.

- Support for empty MX records. Older Postfix versions treat this
as a malformed response and defer mail delivery.

Les réponses de Wietse sur la ML Postfix... j'adore :)

Yannick — Sat, 31 Dec 2005 18:38:56 +0000

Wietse Venema - Auteur de Postfix
Date: Fri, 30 Dec 2005 16:50:29 -0500 (EST)
List-Help: <http://www.postfix.org/lists.html>

>Do most of you use "strict_rfc821_envelopes = yes" ?

I do, and it gives trouble only with incompetent software.

People who find RFC821 too hard should not be in the business
of writing software.

Wietse

Faudrait voir à en faire un fichier fortune :)

swaks - Swiss Army Knife SMTP

Yannick — Sat, 10 Dec 2005 23:04:03 +0000

Vous connaissiez Netcat, le "couteau suisse TCP/IP", voici Swaks , le "couteau suisse" SMTP :)

sudo apt-get install swaks

La description est exacte, je ne peux pas dire mieux...on peux quasiment tout faire...
Il n'y a qu'a lire le man pour avoir des idées d'utilisation..

Un exemple d'utilisation permettant de réinjecter des mails (comme dans mon ancien billet ) mais sans avoir à passer par un serveur local:

for i in *.eml; do cat "$i" | swaks -g -n -t recipient@yop.tld -f sender@yop.tld -s 1.2.3.4 ; done

Si on ne précise pas de serveur, il résoud même le MX..

Bref, indispensable pour celui qui bidouille un peu en SMTP...

Quote Colors - Une extension Thunderbird bien sympatique

Yannick — Fri, 04 Nov 2005 17:58:02 +0000

Plusieurs jours que j'ai installé Quote Colors, cette extension Thunderbird qui permet de faciliter la lecture des différents niveaux de quotes... Pas mal personnalisable, très sympa...
Comme un petit Screenshot vaux mieux qu'un long discours:

Des tests anti-relais SMTP facilement

Yannick — Sun, 14 Aug 2005 17:34:41 +0000

Un simple

telnet relay-test.mail-abuse.org

initie une demande de tests anti-relais SMTP sur votre IP..
Il n'y a peut etre pas toutes les combinaisons possibles mais c'est quand même bien pratique pour se rassurer ou rassurer le client ~~septique~~ prudent chez qui vous venez d'installer un serveur SMTP...
On peut voir en temps réel les tests effectués ainsi que les réponses de notre serveur..
Logiquement le test doit se conclure par:

System appeared to reject relay attempts

La même en HTTP: http://www.abuse.net/relay.html

Réinjecter des mails (des spams par exemple)

Yannick — Thu, 21 Apr 2005 01:42:00 +0000

J'ai besoin de réinjecter des spams pour faire des tests sur un serveur... mais l'utilisation de la commande mail ne suffit pas pour reinjecter les messages avec leurs en-têtes...

On utilisera donc la commande sendmail (même pour Postfix):

for i in message.*; do cat "$i" | sendmail -f from@domain.tld to@domain.tld ;done

The Postfix sendmail command implements the Postfix to Sendmail compatibility interface

-f sender
Set the envelope sender address. This is the address where delivery problems are sent to, unless the message contains an Errors-To: message header.

Pour récupérer des spams "frais" il y a SpamArchive.org

wget ftp://spamarchive.org/pub/archives/submit/679.r2.gz

Et un petit script pour spitter le tout

cat convert
#!/usr/bin/perl -pl

if ( /^From / ) { close(OUT); open(OUT, ">>message.".$i++) || die "Can't open new file! $i "; select(OUT); print STDERR "Opened $i"; }

# ./convert 679.r2