Yop

Plowshare - Upload/Download sur sites de partages de fichiers

Yannick — Wed, 13 Jan 2010 01:09:00 +0100

Plowshare is a command-line downloader/uploader for some of the most popular file-sharing websites...

On peut noter, entre autre, un OCR de capcha pour les personnes sans X ou avec déficiences visuelles ;)

Une image vaut mieux qu'un long discours:

vsftpd - Utilisation de différentes IPs en passif

Yannick — Sun, 10 Jan 2010 00:11:00 +0100

En FTP passif, la connexion du canal Data s'initie depuis le client vers le serveur. Le serveur renvoit donc au client le port (et l'IP) sur lequel doit s'établir le canal Data.

Dans le cas où le serveur est dans une DMZ avec une adresse privée, de base le serveur va renvoyer au client cette adresse privée et la connexion avec Internet ne pourra donc pas se monter.
Il suffit donc d'utiliser dans vsftpd le paramètre pasv_address pour indiquer l'IP publique.

L'histoire pourrait s'arrêter là, mais maintenant que c'est l'IP publique qui est annoncée, il devient parfois délicat de se connecter depuis le LAN. (Problème de firewall, de routage etc..)
vsftpd permet d'utliser des fichiers de configuration différents en fonction de l'adresse IP de la machine qui se connecte, grâce à tcpwrapper. (vsftpd doit être compiler pour).

Il suffit donc d'utiliser 2 fichiers de configuration, chacun ayant une valeur différente de pasv_address.

$ grep vsftpd /etc/hosts.allow
vsftpd: 10.: setenv VSFTPD_LOAD_CONF /etc/vsftpd_tcp_wrap_private_ip.conf
$
$ cat /etc/vsftpd_tcp_wrap_private_ip.conf
pasv_address=10.20.30.40
$

Avec cette configuration, si c'est une machine du LAN qui se connecte (réseau 10.0.0.0), c'est l'adresse 10.20.30.40 qui sera renvoyée pour le canal Data en passif.
Sinon, ca sera l'adresse publique spécifié dans le fichier de configuration par défaut.

Extrait de /usr/share/doc/vsftpd/EXAMPLE/PER_IP_CONFIG/README

vsftpd: 192.168.1.3: setenv VSFTPD_LOAD_CONF /etc/vsftpd_tcp_wrap.conf

If a client connects from 192.168.1.3, then vsftpd will apply the vsftpd config file /etc/vsftpd_tcp_wrap.conf to the session! These settings are applied ON TOP of the default vsftpd.conf.

Extrait du man vsftpd.conf

pasv_address
Use this option to override the IP address that vsftpd will advertise in response to the PASV command. Provide a numeric IP address, unless pasv_addr_resolve is enabled, in which case you can provide a hostname which will be DNS resolved for you at startup.
Default: (none - the address is taken from the incoming connected socket)

Droopy - Upload simple de fichier par HTTP

Yannick — Thu, 22 Oct 2009 19:04:00 +0200

J'utilise régulièrement Woof dont j'ai déjà parlé ici pour partager ponctuellement des fichiers.

Seulement parfois, on veut recevoir des fichiers.. c'est là que Droopy intervient.

Tous les détails sont sur le site de l'auteur. On peut entre autre ajouter/modifier directement l'image ou le texte.

Tout ceci est très pratique surtout dans un réseau d'entreprise où il est délicat de demander aux utilisateurs d'utiliser quelquechose de plus compliqué qu'un navigateur web ;)

A noter que Morgan Lefieux dans un commentaire du billet sur woof avait modifié ce dernier pour supporter également l'upload. Cependant je préfère Droopy que la version modifiée de woof, car elle gère mieux les noms de fichiers par exemple.

Utiliser un autre serveur DNS que celui donné par le serveur DHCP

Yannick — Sat, 19 Sep 2009 00:57:00 +0200

En DHCP, pour pouvoir utiliser sont propre serveur DNS au lieu de se voir imposer celui du serveur:

- Avant:

$ cat /etc/resolv.conf
# Generated by NetworkManager
domain lan
search lan
nameserver 192.168.1.1
$

- La modification consiste à utiliser la ligne suivante dans le fichier /etc/dhcp3/dhclient.conf

prepend domain-name-servers 127.0.0.1;

Optionnellement supprimer domain-name-servers de la ligne request

- Après:

$ cat /etc/resolv.conf
# Generated by NetworkManager
domain lan
search lan
nameserver 127.0.0.1
nameserver 192.168.1.1
$

munpack - Extraction de pièces jointes

Yannick — Wed, 16 Sep 2009 01:21:00 +0200

Pour ceux qui se retrouvent avec des sources de mails au format RFC 2822.. et qui veulent extraire les pièces jointes (encodées dans le source en base64)...

$ munpack monSourceDeMail
image01.jpg (image/pjpeg)
image02.jpg (image/pjpeg)
$

Ici les 2 pièces jointes sont extraites et enregistrées dans le répertoire courant. Bien plus rapide que tailler le source à coups de "openssl enc -d base64"

The munpack program (Package "mpack") reads each RFC-822 message filename and writes all non-text MIME parts or split-uuencoded files as files.

Execution de commande lors de la détection d'un mot dans les logs

Yannick — Wed, 19 Aug 2009 21:01:00 +0200

Une commande pouvant être utilisée pour envoyer un mail lors de la détection est:

$ tail -f /var/log/messages | awk ' /toto/ { system("echo toto | mail -s pouet toto@aaa.tld") }'

Pour déclencher lors d'un test on peut utiliser:

$ logger -t TEST totofgdfsdfsdf

Extraits des man:

man awk
The pattern comes first, and then the action. Action statements are enclosed in { and }.
For /regular expression/ patterns, the associated statement is executed for each input record that matches the regular expression.
system(cmd-line) Execute the command cmd-line, and return the exit status.
EXAMPLES
Run an external command for particular lines of data:
tail -f access_log | awk '/myhome.html/ { system("nmap " $1 ">> logdir/myhome.html") }'

man system
system - Exécuter une commande shell
La fonction system() exécute la commande indiquée dans commande en appelant /bin/sh -c commande...

Antisèche crontab

Yannick — Mon, 06 Jul 2009 12:04:00 +0200

Qui n'a jamais eu un doute lors de la création d'une entrée dans la crontab ?
Après les colonnes minute et heure, c'est d'abord le jour du mois, ou le numéro du mois ?

$ man crontab

ne donne PAS la réponse.

Mais la commande suivante la donne:

$ man 5 crontab

5 pour "Formats des fichiers et conventions."

En effet man je cite:

n'affiche que la première page de manuel trouvée, même si d'autres pages de manuel existent dans d'autres sections.

Execution de commandes lors d'une connexion SSH

Yannick — Fri, 05 Jun 2009 21:21:00 +0200

Extrait du man ssh

/etc/ssh/sshrc
Commands in this file are executed by ssh when the user logs in, just before the user's shell (or command) is started. See the sshd(8) manual page for more information.

Exemple ici de fichier /etc/ssh/sshrc pour l'envoi d'un mail d'alerte à l'administrateur:

DATE=`date "+%d.%m.%Y--%Hh%Mm"`
IP=`echo $SSH_CONNECTION | awk '{print $1}'`
REVERSE=`dig -x $IP +short`

echo "Connexion de $USER sur $HOSTNAME

IP: $IP
ReverseDNS: $REVERSE
Date: $DATE

" | mail -s "Connexion de $USER sur $HOSTNAME" user@example.org

USER et HOSTNAME sont les variables d'environnement déjà existantes.

Il va de soit pour tout le monde qu'OpenSSH doit être sécurisé en authorisant UNIQUEMENT les authentifications par clé (et non pas par mot de passe)... Mais ceci est un autre sujet.

Viagra en couleur

Yannick — Wed, 15 Apr 2009 00:09:00 +0200

Dnstop - Visualisation de trafic DNS

Yannick — Thu, 26 Mar 2009 20:43:00 +0100

Dnstop permet de visualiser simplement le trafic DNS.

Il y a pas mal d'options possibles...

En plus de visualiser diverses stats, il permet également de déceler certains types de trafic anormal comme des TLD invalides, des PTR d'adresses 1918 etc...

D'autres exemples sont ici.

FTP avec mc

Yannick — Tue, 27 Jan 2009 02:01:00 +0100

Pour ceux qui ont besoin d'un client FTP qui puisse tourner à l'intérieur d'un screen, et qui puisse également être utilisé avec la souris...On peut utiliser mc avec l'option -x

mc -x ftp://login:pass@server

-x, --xterm
Force xterm mode. Used when running on xterm-capable terminals (two screen modes and able to send mouse escape sequences).

Somme avec awk

Yannick — Mon, 22 Dec 2008 18:31:00 +0100

Qui dit la fin de l'année.. dit statistiques... dit "sommes"...

Un des moyens de faire la somme des valeurs qui sont dans un fichier:

awk '{ s+= $1 } END { print s }' File

Rien d'exceptionnel.. mais je ne m'en rappelle jamais.. donc le voici une fois pour toute.

Transformation d'une machine physique Gnu/Linux vers VMware

Yannick — Thu, 04 Dec 2008 23:45:00 +0100

Juste un retour d'expérience...

J'ai eu besoin de transformer un serveur physique avec une Ubuntu, en serveur sous VMware. (Ce n'est pas moi qui choisi.. pas de trolls svp ;) )
A priori, le soft VMware pour faire cela ne fonctionne que si la source est un OS Windows, et des outils comme liveview semblent avoir un un support Gnu/Linux partiel.

J'ai donc voulu tenter d'abord avec l'utilisation d'un simple dd et cela semble avoir parfaitement fonctionné.

J'avais lu l'article de Sp4rKy sur u-classroom et je l'ai un peu adapté...

Pour ne pas avoir à refaire depuis le début en cas d'échec, je suis passé par une image intermédiaire.
Comme le serveur physique n'avais pas de port USB pour copier sur un disque externe, j'ai fait le transfert par le réseau.
La procédure suivante devrait donc pouvoir être simplifiée dans d'autres cas de figure, pour directement copier d'un disque vers l'autre sans passer par une image intermédiaire.

Backup

Sur la machine intermédiaire qui recoit l'image, tout ce qui arrive sur le port 9000 sera copié dans un fichier sur le disque USB:

nc -l -p 9000 | dd of=/media/disk/imageSrv

Boot du serveur à cloner sur un liveCD, puis copie du disque vers la machine intermédiaire 1.1.1.1:

dd if=/dev/sda | nc 1.1.1.1 9000

Après quelques heures, on obtient l'image brute:

ll /media/disk/imageSrv
-rw-rr 1 user user 136G 2048-10-10 10:10 /media/disk/imageSrv

Restauration dans VMware

Boot de la VM sur un liveCD, tout ce qui arrive sur le port 9000 sera copié sur le disque:

nc -l -p 9000 | dd of=/dev/sda

Depuis le poste qui contient l'image brute, on envoi l'image vers la VM 2.2.2.2:

dd if=/media/disk/imageSrv | nc 2.2.2.2 9000

Après quelques heures, on n'a plus qu'à rebooter en croisant les doigts.

Divers

A priori, le seul problème rencontré, est le réseau qui ne montait pas, voici les explications:
La carte réseau étant désormais virtuelle, avec une nouvelle MAC, Ubuntu a attribué à la nouvelle carte, le nouveau nom eth1.
Vu que dans /etc/interfaces, seule eth0 était déclarée, il n'y avais donc pas d'ip pour ma nouvelle interface eth1.
Il suffit alors de supprimer la référence AncienneMAC <-> Eth0 dans le fichier /etc/udev/rules.d/70-persistent-net.rules et de rebooter pour que la nouvelle MAC puisse se caler sur eth0. (Sinon au lieu de rebooter, il semble que l'on puisse corriger le fichier, couper networking, restarter udev, démarrer networking)

Si le liveCD contient cryptcat, il faut l'utiliser à la place de netcat afin de chiffrer les transferts.

McColo débranché

Yannick — Sat, 15 Nov 2008 12:35:00 +0100

Résumé de l'histoire

McColo Corp est un hébergeur basé en Californie, surtout connu pour sa part importante dans tout ce qui touche à des activités "cyber criminelles"...
Depuis 4 mois, Security Fix récoltait (auprès de diverses sociétés de sécurité) un maximum d'informations sur McColo pour monter un dossier sur leurs activités.
Lundi, le rapport est envoyé aux 2 principaux providers de McColo...
Mardi, l'un des deux, Hurricane Electric, coupe tous les accès Internet de McColo.. Depuis, impossible de joindre toutes leurs machines...
Et, ce qui était prévu ce produit, une baisse de 2/3 des spams dans le monde.
(Bon, je doute, comme d'autres, que cela ai été aussi simple, mais on n'a pas plus d'infos actuellement).

Les chiffres

Ci dessous le graph de SpamCop qui était disponible à la date de ce post à cette adresse.

Il résume assez bien tous les graphs que j'ai pu voir sur le sujet, et correspond exactement à ce que j'ai également contasté ( -75% de spams en moyenne jusqu'à ce jour)) sur les serveurs mails dont j'ai la gestion. (Des serveurs dont le nombre de spams quotidiens ce compte toujours en plusieurs millions).

Divers

Biensur, les spams n'étaient pas envoyés depuis les serveurs de McColo (çà aurait un peu trop simple à bloquer).
Par contre, les serveurs qui controlaient toutes les machines infectées dans le monde, elles, étaient chez McColo...
Depuis qu'elles ne peuvent plus joindre leur serveurs "maitres", ces machines infectées n'envoient plus de spams...(pour l'instant)...

Il n'est qu'une question de temps avant que les activités ne reprennent par d'autres providers ou sur d'autres hébergeurs... Mais quand même ça fait drôle de voir à quel point couper un seul hébergeur peut faire chuter instantanément un nombre si important de spams... A quand le retour des spams à leur niveau précédent ?

Updates

20Nov2008- L'ISP suédois TeliaSonera a laisser passer du traffic vers McColo en Californie quelques heures.
Ceci semble avoir permis à McColo de reconfigurer ses bots pour pointer vers une IP en Russie...

21Nov2008- Les botnets Asprox/Ozdok/Mega-D sont de retour... pas encore de signes de Srizbi/Rustock..

Références

WashingtonPost: Lien 1 Lien 2 Lien 3 Lien 4
F-Secure
Sophos
Un rapport de HostExploit sur McColo.
McColo up again, down again
Le botnet pointe vers la Russie
Le point par CBL

Supprimer les doublons en préservant l'ordre

Yannick — Fri, 17 Oct 2008 01:16:00 +0200

Trouvé je ne sais plus où...

$ cat toto
ccc
FFFF
ccc
aaaaaaaaa

e
FFFF
e
bbbb
dddddddd
FFFF

$ awk ' !x[$0]++' toto
ccc
FFFF
aaaaaaaaa

e
bbbb
dddddddd

A priori il n'est pas possible d'utiliser sort ou uniq tout en préservant l'ordre... Donc ''awk'' :)

telnet-ssl - Connexions en SSL

Yannick — Fri, 10 Oct 2008 00:50:00 +0200

Pour des connexions manuelles sur des ports SSL:

Avant

openssl s_client -connect www.kernel.org:443

Après

telnet -z ssl www.kernel.org 443

Pour cela, installation du paquet telnet-ssl qui va remplacer le binaire telnet.
Par rapport à la commande avec openssl, ca évite aussi d'avoir en sortie tous ce qui concerne le certificat.

Performances serveur DNS avec DNSPerf et ResPerf

Yannick — Tue, 07 Oct 2008 20:31:00 +0200

Ces outils de chez nominum permettent de tester les performances d'un serveur de cache / Récursif ( ResPerf ) et d'un serveur Authoritative ( DNSPerf ).

Le README explique que Bind doit etre installé car des librairies...etc.. sont utilisées. Il ne reste ensuite qu'à compiler.

Les man sont bient faits et expliquent de manière assez détaillée la manière dont les 2 programmes fonctionnent.

ResPerf

resperf -s 10.0.0.2 -d queryfile

queryfile est de la forme

domain1.com A
domain2.fr MX

Le fichier utilsé par QueryPerf dans le billet précédent peut donc être utilisé

$ wc -l /tmp/ile
880000 /tmp/file
$
$ head -4 /tmp/file
fhs.com A
bluejean.com.tr A
geeo.org A
bluessiden.com MX
$

Sans les données en cache on obtient sur un Bind:

Statistics:

Queries sent: 74240
Queries completed: 9780
Queries lost: 64460
Ran for: 49.438710 seconds
Maximum throughput: 1392.000000 qps
Lost at that point: 33.14%

Avec les données déjà en cache on obtient sur un Bind:

Statistics:

Queries sent: 78073
Queries completed: 13794
Queries lost: 64279
Ran for: 49.679299 seconds
Maximum throughput: 2044.000000 qps
Lost at that point: 1.83%

DNSPerf

Tout pareil au niveau des commandes ou des sorties, mais avec un code optimisé pour faire les requètes sur un serveur qui a authorité sur les domaines demandés.

Performances serveur DNS avec queryperf

Yannick — Tue, 07 Oct 2008 20:19:00 +0200

Queryperf est un outil pour tester les performances d'un serveur DNS.

Il est fourni dans les sources de Bind.. Il n'y a qu'à compiler.

/xxx/bind-9.5.0-P2/contrib/queryperf/

Il y a plusieurs options, une des principales est de lui fournir en entrée un fichier avec des noms de domaines à résoudre...

$ queryperf -v -d /tmp/fichier

Ce fichier est sous la forme:

$ cat /tmp/fichier
nom1.fr A
nom2.com MX

Par défaut il utilise 127.0.0.1 comme serveur à interroger mais ceci, comme le reste se change par les options.

Pour créer un fichier source avec quelques entrées, j'ai utilisé comme base une de mes règles de rejet dans les logs de Postfix.. à coups de :

| grep "from=<" | awk -F@ '{print $3}' | awk -F\> '{print $1}'

Puis on ajoute A ou MX à la fin de la ligne à coups de:

| awk '{print $0"\tA"}'
| awk '{print $0"\tMX"}'

On obtient au final:

$ wc -l /tmp/file
880000 /tmp/file
$ ll /tmp/files | awk '{print $5'}
13M
$ head /tmp/file
fhs.com A
bluejean.com.tr A
geeo.org A
bluessiden.com MX
americanhomestaffing.com A
$

Ce sont des domaines trouvés dans les MAIL FROM:<> d'un des règles de rejet. On doit donc avoir un peu de tout, des domaines qui existent, d'autres non, des DNS non joignables.. Bref quelquechose qui doit être a peu près représentatif d'un trafic réel. (On n'a pas de "vrais" noms de machine, c'est vrai).

On obtient donc pour du récursif sur un Bind:

Statistics:

Parse input file: once
Ended due to: reaching end of file

Queries sent: 880000 queries
Queries completed: 872400 queries
Queries lost: 7600 queries
Queries delayed(?): 0 queries

RTT max: 5.006302 sec
RTT min: 0.000009 sec
RTT average: 0.064140 sec
RTT std deviation: 0.156662 sec
RTT out of range: 3 queries

Percentage completed: 99.14%
Percentage lost: 0.86%

Started at: Tue xxx x 11:59:54 2008
Finished at: Tue xxx x 13:18:25 2008
Ran for: 4710.344667 seconds

Queries per second: 185.209377 qps

Un dump du cache pour vérifier:

$ rndc dumpdb
$ ll /var/chroot-named/etc/namedb/named_dump.db | awk '{print $5}'
6.9M
$

On peut ensuite gréper dans un domaine de la liste pour trouver les entrées correspondantes dans le cache.

Le test en cours:

Ce n'est probablement pas ce qui se fait de mieux pour des stats, mais ca peut aider lors de manipulations diverses sur des serveurs DNS.

Incrémentation du serial d'une zone

Yannick — Wed, 03 Sep 2008 01:22:00 +0200

Mise en situation:

Au lieu de mettre le serial de la forme YYYYMMDDxx, un moment d'égarement et hop.. je suis en 2008200501.

Impossible de base de revenir en 2008090300 car ce serial qui a pourtant la forme souhaitée est inférieur au précédent.
Le serial n'etant pas incrémenté il ne sera pas pris en compte par les slaves.

L'occasion de tester la méthode suivante...

Explication / Solution:

Les numéros peuvent aller jusqu'a 2^32 -1 soit 4 294 967 295.
Mais le chiffre après 4 294 967 295, c'est 0. (En fait il faut voir cela comme une roue).

Donc pour tout serial de départ, il y a la moitié des autres possibilités qui sont considérées comme "supérieures" et l'autre moitié "inférieures".
4 294 967 295 / 2 = 2147483647.5

Donc si j'ai mon serial à 2008200501:
De 2 008 200 502 à 4 155 684 148 -> cette nouvelle valeur sera "supérieure"
De 4 155 684 149 à 4 294 967 295 et de 0 à 2 008 200 500 -> cette nouvelle valeur sera "inférieure"

Donc avec mon 2 008 090 300 du jour, je serais inférieur..logique..(c'est bien le problème..) tout comme je le serais également avec la valeur 4 294 967 295..moins logique...

Oui, on a donc 4 155 684 148 qui est supérieur à 4 155 684 149 au sens des serials d'une zone !!

Bref en mettant mon nouveau serial à 4 155 684 148 (max) il sera pris par les slaves car supérieur... Puis en le remettant dans la foulée à 2 008 090 300 (date du jour), il sera a nouveau considéré comme supérieur et pris à nouveau en compte. Ouf.

Divers

Extrait de la RFC 1982:

The DNS SOA serial number

The serial number in the DNS SOA Resource Record is a Serial Number
as defined above, with SERIAL_BITS being 32. That is, the serial
number is a non negative integer with values taken from the range
[0 .. 4294967295]. That is, a 32 bit unsigned integer.

The maximum defined increment is 2147483647 (2^31 - 1).

Note: Si on supprime le fichier de zone des slaves, forcément ils vont le reprendre quelquesoit le numéro.. mais on a pas toujours la main sur les slaves.. ;)

Movie thumbnailer - Faire des screenshots d'un film

Yannick — Sat, 02 Aug 2008 12:55:00 +0200

Ce script de Starlite permet de générer un Jpg reprenant des screenshots d'un film.

On peut spécifier le nombre de screenshots ou l'intervalle entre les prises, ainsi que le niveau de réduction.