Yop

Booster Liferea

yannick — Fri, 13 Jan 2012 00:23:00 +0100

Constat:

- Liferea devient lent avec plusieurs centaines de flux.
(Je vous rassure, je ne peux pas tous les lire, donc c'est stupide d'en avoir autant)
- Je ne suis pas satisfait de mes tests de Tiny Tiny RSS .
- Je ne suis pas satisfait de mes tests de rssLounge .
- Je n'ai pas (encore) cédé aux sirènes du SSD.

Le plan:

- Mettre le répertoire Liferea en RAM au lieu de le laisser sur le disque SATA, pour accélérer son utilisation.
- Syncroniser (très) régulièrement ce répertoire avec une copie sur le disque, pour conserver les modifications en cas de reboot.

Les étapes

- Regarder combien on a de RAM non utilisé

Exemple:

$ free -m
total used free shared buffers cached
Mem: 2010 1181 828 0 114 481
-/+ buffers/cache: 585 1424
Swap: 2044 0 2044

1181 Mo dans notre exemple

- Regarder la taille que prend Liferea

Exemple:

$ du -hs .liferea_1.6
100M .liferea_1.6

- Faire une petit backup en passant... ca ne fait jamais de mal.

$ cp -r .liferea_1.6 .liferea_1.6.BAK

- Créer un espace tmpfs en modifiant le fstab et en ajustant avec les valeurs de RAM disponibles, et l'espace dont liferea a besoin.

my-tmpfs /home/yannick/.tmpfs tmpfs size=200M,user,uid=1000,gid=1000 0 0

- Créer le point de montage

$ mkdir /home/yannick/.tmpfs

- Monter le point de montage

$ sudo mount -a

- Vérifier le point de montage

$ mount | grep "\.tmpfs"
my-tmpfs on /home/yannick/.tmpfs type tmpfs (rw,noexec,nosuid,nodev,size=200M,uid=1000,gid=1000)

- Vérifier qu'on peut écrire

$ touch /home/yannick/.tmpfs/toto
$ rm /home/yannick/.tmpfs/toto

- Créer le script

$ mkdir /home/yannick/bin
$ cd /home/yannick/bin/
$ wget http://scripts.uggy.org/tmpfs_rsync.sh
$ chmod +x tmpfs_rsync.sh

- Créer le répertoire sur le disque et un fichier de test

$ mkdir /home/yannick/.tmpfs_backup/
$ touch /home/yannick/.tmpfs_backup/aaa

- Executer le script tmpfs_rsync.sh et vérifier que le répertoire sur le disque s'est bien synchronisé en RAM

$ /home/yannick/bin/tmpfs_rsync.sh
$ ls -la /home/yannick/.tmpfs
total 4
drwxrwxrwt 2 yannick yannick 80 2032-12-19 16:25 .
drwxr-xr-x 61 yannick yannick 4096 2032-12-19 15:48 ..
-rw-rr 1 yannick yannick 0 2032-12-19 16:25 aaa
-rw-rr 1 yannick yannick 0 2032-12-19 16:25 .unpacked

Si aaa apparait, c'est que la réponse est oui.

- Mettre le script en cron

* * * * * /home/yannick/bin/tmpfs_rsync.sh

- Déplacement du répertoire liferea en RAM (et donc avec la cron également dans le répertoire de backup.

$ mv .liferea_1.6 ~/.tmpfs/liferea
$ ln -s ~/.tmpfs/liferea .liferea_1.6

- Lançer liferea pour tester la vitesse

Çà doit dépoter un truc de déglingos (par rapport à avant) !

- Vérifier qu'on retrouve nos changements:

Changer des trucs puis fermer
Démonter le tmpfs ou rebooter
Relançer liferea.. les changements doivent être toujours présents.

La même technique peut être utilisée pour accélérer d'autres applications...

Sources diverses:

Wiki ArchLinux
justanotherdave.ca Pas de lien valide vers l'article
Verot.net
Forum Gentoo

Batterie Fail (ou Win)

yannick — Wed, 02 Nov 2011 22:49:00 +0100

Modification de valeurs dans beaucoup de zones

yannick — Tue, 04 Oct 2011 08:14:00 +0200

Rien d'extraordinaire.. mais vu que j'ai beaucoup de zones à modifier.. et que je devrais faire la même chose dans l'autre sens...

Modification du MX pour toutes les zones:

$ for FICHIER in `find /var/chroot-named/etc/namedb/zones/pri/ -type f`; do sed -i 's/10 smtp.example.org./50 smtp.example.org./g' $FICHIER ; done

Modification du serial pour toutes les zones:

$ for FICHIER in `find /var/chroot-named/etc/namedb/zones/pri/ -type f`; do sed -i '/serial - YYYYMMDDxx/s/[0-9][0-9]*/2011100401/' $FICHIER ; done

Car la ligne qui contient le serial dans mes zones contient:

1111111111 ; serial - YYYYMMDDxx

Source

Unclutter - Masquer le pointeur de la souris lorqu'elle n'est pas utilisée

yannick — Fri, 29 Jul 2011 18:09:00 +0200

Unclutter permet de faire disparaître le pointeur de la souris lorsque celle-ci n'est pas utilisée.

Qui n'a jamais été obligé de bouger la souris car le pointeur masquait quelquechose à l'écran ?

Cela peut sembler pour certains peu utile aux premiers abords, ou une perte de temps pour retrouver la souris, mais je l'utilise depuis de nombreuses années, et c'est quand je me retrouve devant une machine sur laquelle il n'est pas installé (comme ajourd'hui), que je me dit que c'est vraiment indispensable au quotidien :)

Et comme il me semble méconnu, et que je ne me rappelle jamais du nom, je fait un court billet dessus.

Par défaut, la période d'inactivité est de 5 secondes (ce qui est un bon réglage en ce qui me concerne) mais peut être modifié par l'option -idle.
D'autres options sont possibles... Je vous laisse lire le man.

Il est installable sous Debian par un simple sudo apt-get install unclutter et lancé par un simpe unclutter & (à rajouter au démarrage de la session).

PS: clutter signifie en anglais encombrement, parasite.
PS: /!\ Il est remonté par certains, des problèmes avec des jeux (voir commentaires).

Mini serveur DNS

yannick — Tue, 12 Jul 2011 01:57:00 +0200

Sometimes you just want to set up a minimal DNS server for testing, and you don't want to spend all day resolving dependencies or creating configuration files.

MiniDNS is a very simple DNS server written in Python that resolves all DNS queries to a single IPv4 address. No configuration files, no additional dependencies, one command and you're up and running.

Il s'agit d'un script python d'une centaine de ligne.

Dans l'exemple suivant toute requête DNS de type A renvoit l'IP du site web de google.

$ sudo ./minidns 74.125.39.103
miniDNS :: * 60 IN A 74.125.39.103

Request: toto.com. -> 74.125.39.103

Script pour trouver les sites web d'une IP

yannick — Sun, 24 Apr 2011 22:17:00 +0200

J'avais déjà parlé de cette méthode dans ce post ... voici le script bash GPL qui l'implémente:

bing-ip2hosts permet de lister les sites web d'une IP.

Bing-ip2hosts uses this feature to enumerate all hostnames which Bing has indexed for a specific IP address. This technique is considered best practice during the reconnaissance phase of a penetration test in order to discover a larger potential attack surface.

$ bing-ip2hosts free.fr
actualite.portail.free.fr
automobile.portail.free.fr
blogs.aliceadsl.fr
cine-serie-tv.portail.free.fr
ftth.free.fr
high-tech.portail.free.fr
ifw.fr
img3.free.fr
jeux-en-ligne.portail.free.fr
jeux-video.portail.free.fr
logiciels-libres.portail.free.fr
musique.portail.free.fr
portail.free.fr
services.portail.free.fr
television.portail.free.fr
voyage.portail.aliceadsl.fr
voyage.portail.free.fr
www.aliceadsl.fr
www.alicebox.fr
www.free.fr
$

On pourra avantageusement modifier ces lignes:

# IP=`resolveip -s "$1"`
IP=`dig "$1" +short`

Exporter des certificats marqués "non exportables"

yannick — Fri, 15 Apr 2011 00:48:00 +0200

Jailbreak is a tool for exporting certificates marked as non-exportable from the Windows certificate store.[...]

Pratique par exemple quand un réseau Wifi préçis n'autorise que des certificats clients de certaines machines Windows... Et permet ainsi après export, de se connecter avec un OS libre...des smartphones...

TomTom - QuickFix et radars - JTomTom

yannick — Fri, 28 Jan 2011 22:32:00 +0100

JTomTom écrit (en Java) par Frédéric Combes sous licence GPL V3 permet de facilement mettre à jour sur son GPS TomTom:

La base de radars

Elles est récupérée automatiquement sur le site www.tomtomax.fr.
(Il faut avoir créé un compte)

Il est bien entendu possible de télécharger les fichiers chez Tomtomax et de les placer à la main dans le TomTom mais la méthode JTomTom est plus rapide.
Comme le montre le screenshot fait avant mise à jour, je ne faisais pas la manip de manière très régulière à la main ;)

Le QuickFix

Valable 7 jours, il permet au GPS de trouver sa position en moins de 30 secondes.
JTomTom télécharge un fichier Ephemeris.cab directement sur le site de TomTom.

A noter également pyTOMTOM qui permet de mettre à jour le QuickFix et des POI (mais pas directement les radars).

Génération de stats - genstats

yannick — Thu, 23 Dec 2010 13:46:00 +0100

Comme d'habitude, qui dit la fin de l'année.. dit statistiques.

genstats de Folkert van Heusden permet de calculer directement des pourcentages.

Exemple sur des domaines de mails:

Oui, c'est sûrement professionnel... ;)

sort domaineSortant | uniq -c | sort -rn

afficherait le classement sans les pourcentages et les intervalles.

GNU Screen et SSH Agent forwarding

yannick — Sun, 19 Sep 2010 19:38:00 +0200

Faire en sorte que GNU Screen utilise le SSH Agent forwarding

Trouvé sur superuser.com

Dans le fichier .profile, on créé un lien symbolique avec un nom "fixe"

test $SSH_AUTH_SOCK && ln -sf "$SSH_AUTH_SOCK" "/tmp/ssh-agent-$USER-screen"

Dans le fichier .screenrc, on utilise le nom fixe

setenv SSH_AUTH_SOCK "/tmp/ssh-agent-$USER-screen"

Winexe - Execution de commandes à distance - Gnu/Linux -> Windows

yannick — Wed, 25 Aug 2010 18:00:00 +0200

Winexe permet de lancer des commandes à distance sur un Windows depuis une machine Gnu/Linux.

winexe remotely executes commands on WindowsNT/2000/XP/2003 systems from GNU/Linux (probably also other Unices capable to compile Samba4).

(J'ai testé aussi vers un Seven et ça fonctionne).

C'est probablement un peu l'équivalent de PsExec de Russinovich sous Windows.

Les sources sont disponibles sur le site, ou sinon un paquet deb était dispo du temps d'Intrepid.

Le paquet en question contient:
- winexe - Windows Remote Execution Service
- wmic - WMI client

wmic permet lui d'utiliser la partie WMI en utilsant la syntaxe WQL

Et ce bon petit Copyright en message de bienvenue pour donner le ton...

Tunnels TCP à travers proxy HTTP - Corkscrew et Proxytunnel

Yannick — Thu, 29 Jul 2010 00:45:00 +0200

Introduction

Présentation des 2 outils Corkscrew et Proxytunnel:

Ils permettent donc de créer des tunnels TCP à travers un proxy HTTP (via la méthode CONNECT)...
On sera donc par exemple en mesure de monter une connexion SSH... Cette connexion SSH pourra être ensuite elle-même un tunnel chiffré dans lequel faire passer d'autres connexions... Je ne vous fait pas un dessin (option -D d'openSSH, tsocks...etc.. ;) )

Présentation

corkscrew is a simple tool to tunnel TCP connections through an HTTP proxy supporting the CONNECT method. It reads stdin and writes to std‐out during the connection, just like netcat. It can be used for instance to connect to an SSH server running on a remote 443 port through a strict HTTPS proxy.

proxytunnel is a program that open a tunnel through a HTTPS proxy.

Fichier '~/.ssh/config'

$ man ssh_config
ProxyCommand
Specifies the command to use to connect to the server.[...]

- Pour Corkscrew

Host mon.serveur.ssh
Port 443
ProxyCommand corkscrew mon.proxy.intra 8080 %h %p loginpassfile

- Pour Proxytunnel

Host mon.serveur.ssh
Port 443
ProxyCommand proxytunnel -p mon.proxy.intra:8080 -F loginpassfile -d %h:%p

On peut constater que le principe est le même.. et que la syntaxe est très proche.

Syntaxe du fichier loginpass

- Pour Corkscrew

superLogin:superPass

- Pour Proxytunnel

proxy_user = superLogin
proxy_passwd = superPass

Création de connexion SSH à travers le proxy avec par exemple:

$ ssh -p 443 mon.serveur.ssh

$ ssh -D 1111 -p 443 mon.serveur.ssh

etc...

Différences

Je n'ai pas trouvé beaucoup de différence entre les 2...pour mon utilisation:

- Proxytunnel affiche une petite ligne lors de la connexion SSH

Via mon.proxy.intra:8080 -> mon.serveur.ssh:443

- La dernière version de Corscrew semble dater de 2001.. et la dernière de Proxytunnel de 2008.

- Proxytunnel semble avoir une option pour chaîner 2 proxys (non testé).

- Proxytunnel semble avoir une option pour chiffrer la connexion entre le client et le proxy. (Non testé.. le proxy à dispo ne le supporte pas).

- Corkscrew à un logo plus sympa ;)

- Proxytunnel semble avoir une option pour faire du NTLM (non testé).

Divers

- PuTTY a une option pour faire passer la connexion dans un Proxy...

- On peut ajouter la ligne suivante dans le '~/.ssh/config' pour maintenir le tunnel si besoin

ProtocolKeepAlives 30

- On peut aussi faire du SCP de la même manière (dans les 2 sens)

$ scp -P 443 file mon.serveur.ssh:/tmp
Via mon.proxy.intra:8080 -> mon.serveur.ssh:443
file 100% 171 0.2KB/s 00:00
$ scp -P 443 mon.serveur.ssh:/tmp/file .
Via mon.proxy.intra:8080 -> mon.serveur.ssh:443
file 100% 171 0.2KB/s 00:00

- N'oubliez pas que ce n'est pas parceque vous arrivez à vous connectez en SSH, que l'admin est forcément bigleux...
Il lui est tout à fait possible de voir qu'il s'agit d'un tunnel SSH et non d'une banale connexion HTTPS... méfiance :)

Déléguation de zone inverse pour réseaux inférieurs à /24

yannick — Mon, 29 Mar 2010 23:50:00 +0200

Je viens de faire la manip... donc voici un petit résumé.

Introduction

Disons qu'on nous a alloué lé réseau 1.2.3.192/27.
Ceci nous donne la plage utilisable de 1.2.3.193 à 1.2.3.222.

Vérifions quels sont les PTR actuels pour ce range:

$ for i in `seq 193 222`; do echo $i && dig -x 1.2.3.$i +short && echo "---"; done

Vérifions les serveurs DNS en charge d'une IP du range (prenons la .202):

$ dig ptr 202.3.2.1.in-addr.arpa
[...]
;; AUTHORITY SECTION:
3.2.1.in-addr.arpa. 170940 IN NS ns1.provider.test.
3.2.1.in-addr.arpa. 170940 IN NS ns0.provider.test.

Vérifions les serveurs DNS en charge de la zone (le /24):

$ dig ns 3.2.1.in-addr.arpa. +short
ns1.provider.test.
ns0.provider.test.
$

Donc les noms associés à nos IPs sont gérés dans les DNS de notre provider.

La problèmatique

Nous souhaitons avoir nous même authorité sur les IPs de notre /27.
C'est à dire gérer nous-même les PTR sans avoir à demander à provider.test.

Comme nous avons le /27 et non pas le /24, on est obligé de ruser un peu pour ne pouvoir donner délégation que sur une partie de la zone 3.2.1.in-addr.arpa.
La "technique" consiste à passer par des CNAME et une nouvelle zone...

Voici les manipulations à réaliser:

Sur les serveurs DNS nsX.provider.test. il faut

- Supprimer les PTR existants

- Créer les CNAME suivants

[...]
202.3.2.1.in-addr.arpa. IN CNAME 202.192-223.3.2.1.in-addr.arpa.
203.3.2.1.in-addr.arpa. IN CNAME 203.192-223.3.2.1.in-addr.arpa.
etc...

- Créer les NS suivants

192-223.3.2.1.in-addr.arpa. IN NS dns1.monDomaine.test.
192-223.3.2.1.in-addr.arpa. IN NS dns2.monDomaine.test.

Le nom de la zone 192-223.3.2.1.in-addr.arpa. est plus ou moins au libre choix de l'administrateur.

Sur nos serveurs DNS dnsX.monDomaine.test.

- Créer la zone 192-223.3.2.1.in-addr.arpa.

- Créer les PTR dans cette zone

[...]
202.192-223.3.2.1.in-addr.arpa. IN PTR cequejeveux.monDomaine.test.
203.192-223.3.2.1.in-addr.arpa. IN PTR autretrucquejeveux.monDomaine.test.
etc...

Plowshare - Upload/Download sur sites de partages de fichiers

yannick — Wed, 13 Jan 2010 01:09:00 +0100

Plowshare is a command-line downloader/uploader for some of the most popular file-sharing websites...

On peut noter, entre autre, un OCR de capcha pour les personnes sans X ou avec déficiences visuelles ;)

Une image vaut mieux qu'un long discours:

vsftpd - Utilisation de différentes IPs en passif

yannick — Sun, 10 Jan 2010 00:11:00 +0100

En FTP passif, la connexion du canal Data s'initie depuis le client vers le serveur. Le serveur renvoit donc au client le port (et l'IP) sur lequel doit s'établir le canal Data.

Dans le cas où le serveur est dans une DMZ avec une adresse privée, de base le serveur va renvoyer au client cette adresse privée et la connexion avec Internet ne pourra donc pas se monter.
Il suffit donc d'utiliser dans vsftpd le paramètre pasv_address pour indiquer l'IP publique.

L'histoire pourrait s'arrêter là, mais maintenant que c'est l'IP publique qui est annoncée, il devient parfois délicat de se connecter depuis le LAN. (Problème de firewall, de routage etc..)
vsftpd permet d'utliser des fichiers de configuration différents en fonction de l'adresse IP de la machine qui se connecte, grâce à tcpwrapper. (vsftpd doit être compiler pour).

Il suffit donc d'utiliser 2 fichiers de configuration, chacun ayant une valeur différente de pasv_address.

$ grep vsftpd /etc/hosts.allow
vsftpd: 10.: setenv VSFTPD_LOAD_CONF /etc/vsftpd_tcp_wrap_private_ip.conf
$
$ cat /etc/vsftpd_tcp_wrap_private_ip.conf
pasv_address=10.20.30.40
$

Avec cette configuration, si c'est une machine du LAN qui se connecte (réseau 10.0.0.0), c'est l'adresse 10.20.30.40 qui sera renvoyée pour le canal Data en passif.
Sinon, ca sera l'adresse publique spécifié dans le fichier de configuration par défaut.

Extrait de /usr/share/doc/vsftpd/EXAMPLE/PER_IP_CONFIG/README

vsftpd: 192.168.1.3: setenv VSFTPD_LOAD_CONF /etc/vsftpd_tcp_wrap.conf

If a client connects from 192.168.1.3, then vsftpd will apply the vsftpd config file /etc/vsftpd_tcp_wrap.conf to the session! These settings are applied ON TOP of the default vsftpd.conf.

Extrait du man vsftpd.conf

pasv_address
Use this option to override the IP address that vsftpd will advertise in response to the PASV command. Provide a numeric IP address, unless pasv_addr_resolve is enabled, in which case you can provide a hostname which will be DNS resolved for you at startup.
Default: (none - the address is taken from the incoming connected socket)

Droopy - Upload simple de fichier par HTTP

yannick — Thu, 22 Oct 2009 19:04:00 +0200

J'utilise régulièrement Woof dont j'ai déjà parlé ici pour partager ponctuellement des fichiers.

Seulement parfois, on veut recevoir des fichiers.. c'est là que Droopy intervient.

Tous les détails sont sur le site de l'auteur. On peut entre autre ajouter/modifier directement l'image ou le texte.

Tout ceci est très pratique surtout dans un réseau d'entreprise où il est délicat de demander aux utilisateurs d'utiliser quelquechose de plus compliqué qu'un navigateur web ;)

A noter que Morgan Lefieux dans un commentaire du billet sur woof avait modifié ce dernier pour supporter également l'upload. Cependant je préfère Droopy que la version modifiée de woof, car elle gère mieux les noms de fichiers par exemple.

Utiliser un autre serveur DNS que celui donné par le serveur DHCP

yannick — Sat, 19 Sep 2009 00:57:00 +0200

En DHCP, pour pouvoir utiliser sont propre serveur DNS au lieu de se voir imposer celui du serveur:

- Avant:

$ cat /etc/resolv.conf
# Generated by NetworkManager
domain lan
search lan
nameserver 192.168.1.1
$

- La modification consiste à utiliser la ligne suivante dans le fichier /etc/dhcp3/dhclient.conf (ou dans le fichier /etc/dhcp/dhclient.conf )

prepend domain-name-servers 127.0.0.1;

Optionnellement supprimer domain-name-servers de la ligne request

- Après:

$ cat /etc/resolv.conf
# Generated by NetworkManager
domain lan
search lan
nameserver 127.0.0.1
nameserver 192.168.1.1
$

munpack - Extraction de pièces jointes

yannick — Wed, 16 Sep 2009 01:21:00 +0200

Pour ceux qui se retrouvent avec des sources de mails au format RFC 2822.. et qui veulent extraire les pièces jointes (encodées dans le source en base64)...

$ munpack monSourceDeMail
image01.jpg (image/pjpeg)
image02.jpg (image/pjpeg)
$

Ici les 2 pièces jointes sont extraites et enregistrées dans le répertoire courant. Bien plus rapide que tailler le source à coups de "openssl enc -d base64"

The munpack program (Package "mpack") reads each RFC-822 message filename and writes all non-text MIME parts or split-uuencoded files as files.

Execution de commande lors de la détection d'un mot dans les logs

yannick — Wed, 19 Aug 2009 21:01:00 +0200

Une commande pouvant être utilisée pour envoyer un mail lors de la détection est:

$ tail -f /var/log/messages | awk ' /toto/ { system("echo toto | mail -s pouet toto@aaa.tld") }'

Pour déclencher lors d'un test on peut utiliser:

$ logger -t TEST totofgdfsdfsdf

Extraits des man:

man awk
The pattern comes first, and then the action. Action statements are enclosed in { and }.
For /regular expression/ patterns, the associated statement is executed for each input record that matches the regular expression.
system(cmd-line) Execute the command cmd-line, and return the exit status.
EXAMPLES
Run an external command for particular lines of data:
tail -f access_log | awk '/myhome.html/ { system("nmap " $1 ">> logdir/myhome.html") }'

man system
system - Exécuter une commande shell
La fonction system() exécute la commande indiquée dans commande en appelant /bin/sh -c commande...

Antisèche crontab

yannick — Mon, 06 Jul 2009 12:04:00 +0200

Qui n'a jamais eu un doute lors de la création d'une entrée dans la crontab ?
Après les colonnes minute et heure, c'est d'abord le jour du mois, ou le numéro du mois ?

$ man crontab

ne donne PAS la réponse.

Mais la commande suivante la donne:

$ man 5 crontab

5 pour "Formats des fichiers et conventions."

En effet man je cite:

n'affiche que la première page de manuel trouvée, même si d'autres pages de manuel existent dans d'autres sections.