andi.priv.at » andi

Shell One-Liner: Alle .csv.bz2 Dateien die älter als eine Woche sind löschen

andi — Thu, 22 Dec 2011 23:00:46 +0000

find . -type f -name "*.csv.bz2" -mtime +7 -exec rm -rf {} \;

Lokales Git Repository auf einen Server verschieben

andi — Thu, 22 Dec 2011 23:00:42 +0000

Damit ich nicht jedes mal Googlen muss (und für euch paar da draussen die auf diesen Post über Google oder so stolperln) gibts heute ein kleines Tutorial zu wie man ein lokales Git Repository auf einen (Linux/*nix/…) Server kopiert und dann das lokale Repository auf den entfernten Server einstellt.

Als erstes erstellen wir auf dem Server ein leeres Repository

besn@daedalus:~$ mkdir -p ~/git/lerl
besn@daedalus:~$ cd ~/git/lerl/
besn@daedalus:~/git/lerl$ git init --shared --bare
Initialized empty shared Git repository in /home/besn/git/lerl/

Dann stellen wir in dem lokalen Repository den Server als Remote Ziel ein

besn@odyssey:~/lerl$ git remote add origin besn.at:~/git/lerl
besn@odyssey:~/lerl$ git push origin master
Counting objects: 50, done.
Delta compression using up to 4 threads.
Compressing objects: 100% (43/43), done.
Writing objects: 100% (50/50), 95.98 KiB, done.
Total 50 (delta 2), reused 0 (delta 0)
To besn.at:~/git/lerl
* [new branch] master -> master

Quelle: Greg Hewgill's Post auf stackoverflow.com

Shell One-Liner: Alle .csv Dateien die älter als einen Tag sind bzipen

andi — Tue, 20 Dec 2011 23:00:42 +0000

find . -type f -name "*.csv" -mtime +0 -exec bzip2 {} \;

Shell One-Liner: Alle .done Dateien umbenennen und das .done entfernen

andi — Sun, 18 Dec 2011 23:00:39 +0000

find . -type f -name "*.done" | \
sort | while read donefile; do \
undonefile=`echo $donefile | sed 's/.done//'`; \
mv -v "$donefile" "$newfile"; \
done

Shell One-Liner: Alle .gz Dateien entpacken und mit bzip2 neu komprimieren

andi — Fri, 16 Dec 2011 23:00:31 +0000

find . -type f -name "*.gz" | \
sort | while read gzipfile; do \
uncompressedfile=`echo $gzipfile | sed 's/\.gz//'`; \
gunzip -v $gzipfile && \
bzip2 -v $uncompressedfile; \
done

Könnt ihr alle erraten?

andi — Thu, 01 Sep 2011 21:00:47 +0000

via: fun.drno.de

Debian Squeeze + DRBD + Pacemaker Tutorial

andi — Wed, 27 Jul 2011 18:51:37 +0000

Vorwort

Dieses Tutorial ist eine aktualisierte Fassung meines Debian Squeeze + DRBD + Pacemaker Tutorials bei dem ich (fast) nur Lenny durch Squeeze ersetzt habe und den Teil mit dem drbd8-source rausgelöscht habe, weil das nicht mehr notwendig ist. Sonst ist alles wie gehabt

Vorbereitung

Ich benutze 2 Debian Systeme (phobos und deimos) für diese Installation. Die Systeme sind mit einer Netboot-CD mit einem Minimalsystem installiert und bis auf das LVM (das es später um einiges leichter macht neue Platten in das System oder ins DRBD einzubinden) habe ich nicht viel abweichend installiert.

Jedes System hat 2 Netzwerkinterfaces (eines für den “normalen” Netzwerktraffic und eines für die direkte übertragung der DRBD-Daten. Alternativ könnte man die beiden Interfaces auch als bond redundant ans Netzwerk anbinden und die DRBD Kommunikation über ein seperates VLAN laufen lassen, aber das heb ich mir vielleicht für ein anderes Tuturial auf

In meinem Setup hat jeder Server auch 2 Festplatten (eine für das System und eine für die DRBD-Daten). Durch das LVM ist das zwar nicht notwendig, aber aus Performancegründen empfiehlt es sich die Systemdaten von den DRBD Daten zu trennen.

Die Systeme

+------------------------+ +------------------------+
| phobos | | deimos |
+------------------------+ +------------------------+
| eth0: 192.168.1.244/24 |--||--| eth0: 192.168.1.245/24 |
| eth1: 10.11.12.1/24 |------| eth1: 10.11.12.2/24 |
+------------------------+ +------------------------+

Es empfiehlt sich, die internen (die 10.11.12.* IP-Adressen und Hostnames in die /etc/hosts auf den beiden Servern einzutragen, um DNS Abfragen für die beiden Hosts zu vermeiden. Sobald das Minimalsystem steht und die IP-Adressen konfiguriert sind können wir mit der eigentlich Installation unseres HA-Clusters beginnen.

Debian Sources erweitern

Bevor wir mit der Installation beginnen können, müssen wir noch unsere Packetquellen abändern damit wir die Pakete bekommen die wir brauchen. Weiters empfiehlt es sich wenn du es nicht eh schon gemacht hast, das Debian Backports Repository zu aktivieren, um frische Packete zu bekommen, was nie schaden kann.

Meine /etc/apt/sources.list sieht so aus:

deb http://debian.inode.at/debian/ squeeze main contrib non-free
deb-src http://debian.inode.at/debian/ squeeze main contrib non-free

deb http://security.debian.org/ squeeze/updates main contrib non-free
deb-src http://security.debian.org/ squeeze/updates main contrib non-free

deb http://ftp.at.debian.org/debian-backports/ squeeze-backports main contrib non-free
deb-src http://ftp.at.debian.org/debian-backports/ squeeze-backports main contrib non-free

Um die Paketlisten zu aktualisieren führen wir danach noch ein apt-get update aus.

DRBD installieren

Das wichtigste bei einem HA-Cluster ist Zeit. Da beide Server genau die selbe Uhrzeit haben sollen installieren wir ntp auf beiden Servern, um die lokale Uhrzeit mit Zeitservern im Internet abzugleichen.

# apt-get install ntp ntpdate

Nachdem wir uns um die Zeit gekümmert haben, kommen als nächstes das DRBD Paket und der Cluster Manager Pacemaker.

# apt-get install drbd8-utils pacemaker

Wenn die Pakte installiert sind, laden wir als nächstes das DRBD Kernel Modul und probieren es gleich aus:

# modprobe drbd
# lsmod | grep drbd

Beim letzten Befehl solltest du in der Auflistung das DRBD Modul sehen, wenn nicht dann hat es bei den vorigen Schritten ein Problem gegeben. Du solltest auch mit cat /proc/drbd schon ein paar Infos zur DRBD Installation sehen können:

phobos:~# cat /proc/drbd
version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757

Bearbeite als nächstes auf beiden Servern die Datei /etc/drbd.d/mars.res und passe die Config an dein Setup an:

resource mars {
disk {
on-io-error detach;
}
on phobos {
device /dev/drbd0;
disk /dev/mapper/data-drbd;
address 10.11.12.1:7788;
meta-disk internal;
}
on deimos {
device /dev/drbd0;
disk /dev/mapper/data-drbd;
address 10.11.12.2:7788;
meta-disk internal;
}
}

Als nächstes erstellen wir (wie schon die ganze Zeit auf beiden Servern) die DRBD Metadaten.

# drbdadm create-md mars
# drbdadm up all

Wenn du jetzt cat /proc/drbd eingibst, sieht du das beide Nodes im Secondary Mode sind und auch beide Inkonsistent sind.

phobos:~# cat /proc/drbd
version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757
0: cs:Connected st:Secondary/Secondary ds:Inconsistent/Inconsistent C r---
ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0
resync: used:0/61 hits:0 misses:0 starving:0 dirty:0 changed:0
act_log: used:0/257 hits:0 misses:0 starving:0 dirty:0 changed:0

Das ist aber eh klar weil wir ja noch einstellen müssen, welcher Node der Primäre sein soll und wir auch noch kein Filesystem und nichts auf unserer Virutellen DRBD Platte haben. Dazu führen wir auf einem Server, in meinem fall phobos die folgenden Befehle aus:

# drbdsetup /dev/drbd0 primary -o
# mkfs.ext3 /dev/drbd0
# mkdir /mnt/data # den Ordner solltest du auf beiden Nodes erstellen
# mount /dev/drbd0 /mnt/data

Damit ist unser DRBD Setup grundsätzlich fertig. Wenn du jetzt df -h eingibst, solltest du deine Hochverfügbare Partition sehen können.

phobos:~# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/phobos-root
7.3G 829M 6.1G 12% /
tmpfs 379M 0 379M 0% /lib/init/rw
udev 10M 640K 9.4M 7% /dev
tmpfs 379M 0 379M 0% /dev/shm
/dev/sda1 228M 9.4M 207M 5% /boot
/dev/drbd0 2.0G 35M 1.8G 2% /mnt/data

cat /proc/drbd zeigt nun auf beiden Nodes wer in welchem Modus ist und das die Daten überall aktuell und konsistent sind.

phobos:~# cat /proc/drbd
version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757
0: cs:Connected st:Primary/Secondary ds:UpToDate/UpToDate C r---
ns:2050468 nr:0 dw:65608 dr:1984973 al:25 bm:125 lo:0 pe:0 ua:0 ap:0
resync: used:0/61 hits:0 misses:0 starving:0 dirty:0 changed:0
act_log: used:0/257 hits:16377 misses:40 starving:0 dirty:15 changed:25

deimos:~# cat /proc/drbd
version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757
0: cs:Connected st:Secondary/Primary ds:UpToDate/UpToDate C r---
ns:0 nr:2050468 dw:2050468 dr:0 al:0 bm:125 lo:0 pe:0 ua:0 ap:0
resync: used:0/61 hits:0 misses:0 starving:0 dirty:0 changed:0
act_log: used:0/257 hits:0 misses:0 starving:0 dirty:0 changed:0

Pacemaker installieren

Eigentlich haben wir ja schon einen voll funktionierenden DRBD-Cluster. Das einzige Manko ist, das wenn unser Primärknoten jetzt ausfällt wir uns erst händisch am Sekundärknoten per SSH (oder Console) anmelden müssen um ihm zu sagen das er jetzt für das DRBD Zuständig ist und dann noch das Volume mounten und Dienste starten müssten. Damit wir das nicht müssen verwenden wir Pacemaker, das unsren Cluster managen wird.

Zuerst müssen wir auf den Primären Knoten einen Authorisations Key für Corosync erzeugen und diesen auf den anderen Knoten kopieren:

phobos:~# corosync-keygen
phobos:~# scp /etc/corosync/authkey deimos:/etc/corosync/authkey

Als nächstes müssen wir ein paar Einstellungen von Corosync bearbeiten damit beide Knoten miteinander reden können. Bearbeite in der interface Sektion von totem den Wert von bindnetaddr:

...
interface {
ringnumber: 0
bindnetaddr: 10.11.12.0
mcastaddr: 226.94.1.1
mcastport: 5405
}
...

Wenn du mit den Änderungen an der Config fertig bist, muss Corosync noch aktiviert werden indem du START=no durch START=yes in der Datei /etc/default/corosync ersetzt.

Nachdem Corosync konfiguriert ist, starten wir den Dienst auf beiden Knoten und schauen ob er auch brav startet:

phobos:~# /etc/init.d/corosync start
Starting corosync daemon: corosync.

deimos:~# /etc/init.d/corosync start
Starting corosync daemon: corosync.

phobos:~# crm_mon --one-shot -V
crm_mon[7363]: 2010/11/14_12:34:56 ERROR: unpack_resources: No STONITH resources have been defined
crm_mon[7363]: 2010/11/14_12:34:54 ERROR: unpack_resources: Either configure some or disable STONITH with the stonith-enabled option
crm_mon[7363]: 2010/11/14_12:34:56 ERROR: unpack_resources: NOTE: Clusters with shared data need STONITH to ensure data integrity

============
Last updated: Fri Nov 14 12:34:56 2010
Stack: openais
Current DC: phobos - partition with quorum
Version: 1.0.6-cebe2b6ff49b36b29a3bd7ada1c4701c7470febe
2 Nodes configured, 2 expected votes
0 Resources configured.
============

Online: [ phobos deimos ]

Das schaut ja schon mal (bis auf den STONITH Fehler den wir gleich beheben werden) ja schon mal nicht schlecht aus. Jetzt konfigurieren wir mal ein paar Resourcen, die wir für unseren DRBD-Cluster benötigen werden:

phobos:~# sudo crm
crm(live)# cib new config20101114001
crm(config20101114001)# configure
crm(config20101114001)configure# edit

Meine Pacemaker Config sieht so aus:

node phobos
node deimos
primitive drbd_mars ocf:linbit:drbd params drbd_resource="mars" op monitor interval="15s"
ms ms_drbd_mars drbd_mars meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"
primitive fs_mars ocf:heartbeat:Filesystem params device="/dev/drbd/by-res/mars" directory="/mnt/data" fstype="ext3"
primitive ip_mars ocf:heartbeat:IPaddr2 params ip="192.168.1.243" nic="eth0"
group mars fs_mars ip_mars
colocation mars_on_drbd inf: mars ms_drbd_mars:Master
property $id="cib-bootstrap-options" \
dc-version="1.0.6-cebe2b6ff49b36b29a3bd7ada1c4701c7470febe" \
stonith-enabled=false \
cluster-infrastructure="openais" \
expected-quorum-votes="2"

Wenn du mit dem bearbeiten der Config fertig bist verifiziere deine Änderungen und wenn alles OK ist aktiviere die Config.

crm(config20101114001)configure# verify
crm(config20101114001)configure# end
There are changes pending. Do you want to commit them? y
crm(config20101114001)#
crm(config20101114001)# cib use live
crm(live)# cib commit config20101114001
INFO: commited 'config20101114001' shadow CIB to the cluster
crm(live)# quit
bye

Sources (Linkz)

Einen Haufen Dateien zusammenpacken und gleichzeitig auf eine andere Maschine schieben mit tar und netcat

andi — Fri, 08 Jul 2011 13:13:38 +0000

Du musst ein Backup von einem Verzeichnis auf einem Linux/Unix Server anlegen, willst jedoch die Backupdaten (nicht einmal temporär) auf der Maschine ablegen (weil der Platz nicht ausreicht oder der einzige freie Space auf der Kiste eine DRBD Partition ist die zwar dein Backup redundant auf dem 2. Knoten verfügbar macht aber damit den ganzen Prozess ausbremst)?

Kein Problem, alles was du dazu brauchst ist TAR und Netcat das heutzutage in jeder Linux/Unix Distribution enthalten ist oder sich recht einfach nachinstallieren lässt (zur not per Hand von Source).

Und dann geht alles ganz einfach:

besn@target:~# nc -l -p 1234 > meinbackup.tar.bz2
besn@source:~# tar -cjf - wasichsichernwill | nc 192.168.0.27 1234 -q 10

Du kannst die beiden Befehle natürlich noch erweitern, ich verwende gerne Pipe Viewer um zu sehen wie weit der Transfer schon ist bzw. wie schnell er ablauft bzw. wie viel mir die Komprimierung on the fly bringt.

Virtuelle Machinen auf ESXi ohne vSphere Client (neu)starten

andi — Tue, 03 May 2011 09:11:02 +0000

Weil ich mich gerade mal wieder dazu durchkämpfen musste, hier eine kurze Anleitung wie man ohne einen vSphere Client auf einem ESXi eine Virtuelle Machine startet (oder neustartet oder resettet):

1. Verbinde dich als root zum ESX Host
2. Finde mit vim-cmd vmsvc/getallvms die Vmid deiner Virtuellen Machine raus
3. Starte die Virtuelle Machine mit vim-cmd vmsvc/power.on [Vmid]

So einfach geht das. Eine Vollständige Liste der Befehle der vimsh findest du z.b. auf VI-Toolkit.com

Debian Lenny + DRBD + Pacemaker Tutorial

andi — Sat, 05 Mar 2011 11:36:16 +0000

Vorbereitung

Die Systeme

Debian Sources erweitern

Meine /etc/apt/sources.list sieht so aus:

deb http://debian.inode.at/debian/ lenny main contrib non-free
deb-src http://debian.inode.at/debian/ lenny main contrib non-free

deb http://security.debian.org/ lenny/updates main contrib non-free
deb-src http://security.debian.org/ lenny/updates main contrib non-free

deb http://volatile.debian.org/debian-volatile lenny/volatile main contrib non-free
deb-src http://volatile.debian.org/debian-volatile lenny/volatile main contrib non-free

deb http://ftp.at.debian.org/debian-backports/ lenny-backports main contrib non-free
deb-src http://ftp.at.debian.org/debian-backports/ lenny-backports main contrib non-free

Wenn du das Debian Packports Repo noch nicht eingerichtet hast, musst du den Release Key einspielen, um nervige Abfragen später zu vermeiden:

gpg --keyserver hkp://subkeys.pgp.net --recv-keys 16BA136C && gpg --export 16BA136C | apt-key add -

Um die Paketlisten zu aktualisieren führen wir danach noch ein apt-get update aus.

DRBD installieren

# apt-get install ntp ntpdate

Nachdem wir uns um die Zeit gekümmert haben, kommen als nächstes die DRBD Pakete.

# apt-get -t lenny-backports install \
linux-headers-`uname -r` drbd8-utils \
drbd8-source pacemaker

Wenn die Pakte installier sind, übersetzen wir als nächstes das DRBD Kernel Modul und probieren es gleich aus:

# m-a a-i drbd8-source
# modprobe drbd
# lsmod | grep drbd

phobos:~# cat /proc/drbd
version: 8.0.14 (api:86/proto:86)
GIT-hash: bb447522fc9a87d0069b7e14f0234911ebdab0f7 build by phil@fat-tyre, 2008-11-12 16:40:33

Bearbeite als nächstes auf beiden Servern die Datei /etc/drbd.d/mars.res und passe die Config an dein Setup an:

Als nächstes erstellen wir (wie schon die ganze Zeit auf beiden Servern) die DRBD Metadaten.

# drbdadm create-md mars
# drbdadm up all

Wenn du jetzt cat /proc/drbd eingibst, sieht du das beide Nodes im Secondary Mode sind und auch beide Inkonsistent sind.

phobos:~# cat /proc/drbd
version: 8.0.14 (api:86/proto:86)
GIT-hash: bb447522fc9a87d0069b7e14f0234911ebdab0f7 build by phil@fat-tyre, 2008-11-12 16:40:33
0: cs:Connected st:Secondary/Secondary ds:Inconsistent/Inconsistent C r---
ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0
resync: used:0/61 hits:0 misses:0 starving:0 dirty:0 changed:0
act_log: used:0/257 hits:0 misses:0 starving:0 dirty:0 changed:0

# drbdsetup /dev/drbd0 primary -o
# mkfs.ext3 /dev/drbd0
# mkdir /mnt/data # den Ordner solltest du auf beiden Nodes erstellen
# mount /dev/drbd0 /mnt/data

Damit ist unser DRBD Setup grundsätzlich fertig. Wenn du jetzt df -h eingibst, solltest du deine Hochverfügbare Partition sehen können.

cat /proc/drbd zeigt nun auf beiden Nodes wer in welchem Modus ist und das die Daten überall aktuell und konsistent sind.

phobos:~# cat /proc/drbd
version: 8.0.14 (api:86/proto:86)
GIT-hash: bb447522fc9a87d0069b7e14f0234911ebdab0f7 build by phil@fat-tyre, 2008-11-12 16:40:33
0: cs:Connected st:Primary/Secondary ds:UpToDate/UpToDate C r---
ns:2050468 nr:0 dw:65608 dr:1984973 al:25 bm:125 lo:0 pe:0 ua:0 ap:0
resync: used:0/61 hits:0 misses:0 starving:0 dirty:0 changed:0
act_log: used:0/257 hits:16377 misses:40 starving:0 dirty:15 changed:25

deimos:~# cat /proc/drbd
version: 8.0.14 (api:86/proto:86)
GIT-hash: bb447522fc9a87d0069b7e14f0234911ebdab0f7 build by phil@fat-tyre, 2008-11-12 16:40:33
0: cs:Connected st:Secondary/Primary ds:UpToDate/UpToDate C r---
ns:0 nr:2050468 dw:2050468 dr:0 al:0 bm:125 lo:0 pe:0 ua:0 ap:0
resync: used:0/61 hits:0 misses:0 starving:0 dirty:0 changed:0
act_log: used:0/257 hits:0 misses:0 starving:0 dirty:0 changed:0

Pacemaker installieren

Zuerst müssen wir auf den Primären Knoten einen Authorisations Key für Corosync erzeugen und diesen auf den anderen Knoten kopieren:

phobos:~# corosync-keygen
phobos:~# scp /etc/corosync/authkey deimos:/etc/corosync/authkey

Als nächstes müssen wir ein paar Einstellungen von Corosync auf beiden Knoten bearbeiten. Zum einen die interface Sektion von totem:

...
interface {
ringnumber: 0
bindnetaddr: 10.11.12.0
mcastaddr: 226.94.1.1
mcastport: 5405
}
...

Zum andern (falls sich Corosync darüber aufregt) muss die den consensus Wert unter totem auf 3600 setzen.

...
# How long to wait for consensus to be achieved before starting a new round of membership configuration (ms)
consensus: 3600
# Turn off the virtual synchrony filter
vsftype: none
...

Wenn du mit den Änderungen an der Config fertig bist, muss Corosync noch aktiviert werden indem du START=no durch START=yes in der Datei /etc/default/corosync ersetzt.

Nachdem Corosync konfiguriert ist, starten wir den Dienst auf beiden Knoten und schauen ob er auch brav startet:

phobos:~# /etc/init.d/corosync start
Starting corosync daemon: corosync.

deimos:~# /etc/init.d/corosync start
Starting corosync daemon: corosync.

phobos:~# sudo crm
crm(live)# cib new config20101114001
crm(config20101114001)# configure
crm(config20101114001)configure# edit

Meine Pacemaker Config sieht so aus:

Wenn du mit dem bearbeiten der Config fertig bist verifiziere deine Änderungen und wenn alles OK ist aktiviere die Config.

Sources (Linkz)

devops videos

andi — Tue, 07 Sep 2010 21:34:53 +0000

heute gibt’s ein paar videos zum thema devops, wie große webseiten wie yahoo, facebook oder twitter entwicklung und operating zusammenbringen und ein wenig darüber wie deren systeme im hintergrund funktionieren.

devopscafe.org – Open Mic Episode 1: DevOps Metrics and Dashboards at Shopzilla

John Allspaw, “10+ Deploys Per Day: Dev and Ops Cooperation at Flickr”

Velocity 2010: Tom Cook, "A Day in the Life of Facebook Operations"

www.youtube.com/watch?v=T-Xr_PJdNmQ

Velocity 2010: John Adams, "In the Belly of the Whale: Operations at Twitter"

www.youtube.com/watch?v=_7KdeUIvlvw

Streifen für Wurstsalat

andi — Sun, 01 Aug 2010 13:16:36 +0000

Ich wär eigentlich genau die Zielgruppe für so ein Produkt aber selbst ich frag mich ob das nicht ein wenig zuu weit geht.

Aber wenn ich mal wieder Wurstsalat mache und zu Faul bin mir an halben Kilo Extrawurst zu kaufen und zu schneiden dann weiß ich genau was ich mir stattdessen kaufen kann

Selbst signierte Zertifikate erzeugen

andi — Mon, 07 Jun 2010 10:12:21 +0000

Das ist wiedermal mehr ein Gedächtnisstützenpost für mich, damit ich nicht immer googlen muss wenn ich ein SSL Zertifikat für eine Webseite erzeugen will:

# Zertifikats Key erzeugen
openssl genrsa -des3 -out domainname.at.key 2048
# Passwortgeschützten Key kopieren
cp domainname.at.key domainname.at.key.orig
# Key ohne Passwort erzeugen
openssl rsa -in domainname.at.key.orig -out domainname.at.key
# Zertifikat erzeugen
openssl req -new -x509 -key domainname.at.key -out domainname.at.crt -days 3650

Damit ist in ein paar einfachen Schritten ein selbst signiertes SSL Zertifikat erzeugt das für 10 Jahre gültig ist und für die meisten privaten Aufgaben vollkommen ausreicht.

Hau weg die .htpasswd: Apache Authentifizierung mit mod-auth-mysql

andi — Sat, 15 May 2010 13:52:43 +0000

Noch aus den Urzeiten der Webserver stammt die HTTP-Authentifizierung mit der man sich im Browser gegenüber dem Webserver als jemand Berechtigter ausweisen kann. Das Verfahren mag ein wenig angestaubt wirken und die Fenster könnten sie auch mal schöner Designen aber solange es keinen Nachfolger für die RFC 2617 gibt hat sich etwas an der Art wie man die Passwörter speichert geändert. Fast alle Tutorials zur Absicherung des Indianers erklären wie ihr mithilfe von htpasswd eine Datei erzeugen und für den Ordner mit den Partyfotos das man an eine Handvoll Leute weitergibt reicht das ja auch vollkommen aus. Aber wenn man ein paar Subversion Repos und Trac Installationen mit einem haufen Usern hat wünscht man sich eine Lösung bei der die User in einer Datenbank liegen und man das ganze über ein Webinterface verwalten kann. Und genau das ist mit dem Apache Modul mod-auth-mysql.

Datenbank

User und Datenbank anlegen
Du kannst einen eigenen Benutzer für mod-auth-mysql anlegen, musst es aber nicht.

CREATE USER 'mysqlauth'@'localhost' IDENTIFIED BY 'passwort'
GRANT USAGE ON * . * TO 'mysqlauth'@'localhost' IDENTIFIED BY 'passwort';
CREATE DATABASE IF NOT EXISTS `mysqlauth` ;
GRANT ALL PRIVILEGES ON `mysqlauth` . * TO 'mysqlauth'@'localhost';

Tabellen anlegen
Die Tabellenstruktur basiert auf der von http://www.arune.se/tech:svnwithmysqlauth mit der Erweitung um die Virtuellen Gruppen und die Views für den .htpasswd Ersatz.

CREATE TABLE IF NOT EXISTS `groups` (
`groupid` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT,
`groupname` VARCHAR(50) NOT NULL,
`groupvirtual` VARCHAR(150) NOT NULL,
PRIMARY KEY (`groupid`),
UNIQUE KEY `name` (`groupname`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE IF NOT EXISTS `usergroup` (
`userid` INT(10) UNSIGNED NOT NULL DEFAULT '0',
`groupid` INT(10) UNSIGNED NOT NULL DEFAULT '0',
PRIMARY KEY (`userid`,`groupid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE IF NOT EXISTS `users` (
`userid` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT,
`username` VARCHAR(50) NOT NULL,
`password` VARCHAR(60) NOT NULL,
`firstname` VARCHAR(255) NOT NULL,
`lastname` VARCHAR(255) NOT NULL,
`email` VARCHAR(255) NOT NULL,
PRIMARY KEY (`userid`),
UNIQUE KEY `login` (`username`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE VIEW `mysqlauth` AS SELECT `users`.*,`groups`.*
FROM ((`users` JOIN `groups`) JOIN `usergroup`)
WHERE ((`usergroup`.`userid` = `users`.`userid`)
AND (`groups`.`groupid` = `usergroup`.`groupid`));

Apache 2 mit mod-auth-mysql unter Debian/Ubuntu

mod-auth-mysql
Die Installation des Moduls geht recht einfach über apt:

sudo apt-get install libapache2-mod-auth-mysql

Es gibt auch ein “mod_auth_mysql” Modul für Fedora, RHEL bzw. CentOS das soweit ich das in Erfahrung bringen konnte auf modauthmysql.sourceforge.net basiert, während man bei Debian ein eigenes Repository pflegt. Wenn deine Distribution das Modul nicht mitliefert kannst du dir auch das mod_auth_mysql Modul von WordPress.org übersetzen. All diese Module unterscheiden sich aber durch die Syntax die man in die httpd.conf von Apache verwenden muss. Bedenke das wenn du dieses Howto auf eine andere Distribution bzw ein anderes mod-auth-mysql Modul anwenden möchtest.

Folgender Code ist für den Teil deiner httpd.conf:

DAV svn
AuthType Basic
AuthName "lala"
AuthUserFile /dev/null
require valid-user
AuthMYSQL on
AuthBasicAuthoritative off
AuthMySQL_Authoritative on
AuthMySQL_Host localhost
AuthMySQL_User mysqlauth
AuthMySQL_Password ******
AuthMySQL_DB svnauth
AuthMySQL_Password_Table mysqlauth_user
AuthMySQL_Username_Field username
AuthMySQL_Password_Field password
AuthMySQL_Empty_Passwords off
AuthMySQL_Encryption_Types Crypt_DES PHP_MD5

Nginx mit nginx_auth_mysql

Das ganze geht natürlich auch mit Nginx. Der Vorteil ist, das man einen Request schon am Reverse Proxy ablehnen kann und gar nicht erst den Apache im Hintergrund belästigen muss. Jedoch gibt es kein eingebautes Modul um gegen mySQL zu authentifizieren aber du kannst dir nginx recht einfach zusammen mit dem nginx_auth_mysql Modul selber übersetzen:

1. nginx runterladen und entpacken

wget http://nginx.org/download/nginx-0.7.65.tar.gz
tar -xzvf nginx-0.7.65.tar.gz

2. nginx_auth_mysql auschecken

svn export http://code.svn.wordpress.org/nginx_auth_mysql/

3. nginx mit nginx_auth_mysql bauen
Wenn du unter Debian bist und willst das dein selbstgebauter nginx aus den Standard nginx Verzeichnissen ließt aber selbst an einem anderen Ort liegt (damit beim nächsten Update des Debian Paketes dein eigenbau Binary nicht überschrieben wird) kannst du die Zeile kopieren mit der auch das Debian Paket von nginx gebaut wird. Das auth_mysql Modul wird auch gleich mitgebaut.

./configure --prefix=/usr/local/nginx \
--conf-path=/etc/nginx/nginx.conf \
--error-log-path=/var/log/nginx/error.log \
--pid-path=/var/run/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--http-log-path=/var/log/nginx/access.log \
--http-client-body-temp-path=/var/lib/nginx/body \
--http-proxy-temp-path=/var/lib/nginx/proxy \
--http-fastcgi-temp-path=/var/lib/nginx/fastcgi \
--with-debug \
--with-http_stub_status_module \
--with-http_flv_module \
--with-http_ssl_module \
--with-http_dav_module \
--add-module=../nginx_auth_mysql/

4. nging nginx.conf
Der folgende Code gehört in deine nginx.conf innerhalb eines location { … } Teils:

auth_mysql_realm "lerl";
auth_mysql_host "localhost";
auth_mysql_user "mysqlauth";
auth_mysql_password "******";
auth_mysql_database "mysqlauth_priv";
auth_mysql_table "users";
auth_mysql_password_column "password";
auth_mysql_user_column "username";
auth_mysql_encryption_type "md5";

Kaputte Berkeley DB’s wiederherstellen

andi — Tue, 20 Apr 2010 19:54:32 +0000

Weil ich mir nach den paar Zeilen gerade den A*sch abgegooglet habe wie man eine (möglicherweiße) kaputte Berkeley DBs wiederherstellt, poste ich sie hier damit ich beim nächsten mal nicht wieder suchen muss. Und immer daran denken: Sicherungskopie anlegen

db_verify $DBNAME
db_recover -v
db_dump -f $DBNAME.out $DBNAME
mv $DBNAME $DBNAME.old
db_load -f $DBNAME.out $DBNAME
db_verify $DBNAME

Quelle: net.sunsource.gridengine.users

OpenTTD wird 1.0

andi — Wed, 07 Apr 2010 12:01:48 +0000

Nach 6 Jahren Arbeit hat OpenTTD, der Open Source Clon des bekannten Wirtschaftssimulationsspiels die Version 1.0 erreicht. Im Gegensatz zum leicht angestaubten Vorbild kann man OpenTTD auch unter Linux sowie diversen Unixen (sogar am iphone) nativ spielen, kann Karten erstellen die 64 mal größer sind als im Original, hat eine etwas verfeinertes UI und kann eine Tonne ans Mods und Maps aus dem Internet runterladen. Um das Spiel zu spielen benötigt man auch nicht mehr zwingend die Original CD von Transport Tycoon Deluxe sondern kann auch hier auf offene Alternativen für Sounds und Grafik zurückgreifen.

Quelle: Golem.de

Quake II auf HTML5 portiert

andi — Mon, 05 Apr 2010 21:33:02 +0000

Ein paar Google Entwickler haben auf Basis von Jake2 (dem Java-Port von Quake 2) mithilfe von GWT, HTML5, WebGL und WebSockets die Engine des Oldschool Killerspiels auf den Browser portiert. Es gibt auch ein Video wie das ganze aussieht:

www.youtube.com/watch?v=XhMN0wlITLk

Derzeit funktioniert das ganze nur im Safari oder Chromium, im Firefox ist laut der FAQ die Performance derzeit nicht gut genug. Runterladen kann man den Sourcecode auf der Projektseite von quake2-gwt-port.

Grub nach Windows Installation wiederherstellen

andi — Mon, 22 Mar 2010 20:31:24 +0000

Für den (ganz sicherern) Fall das ich es wieder brauche: Wie stell ich Grub nach einer Windows Installation wieder her

Garstige Hotlinker mit mod_rewrite ärgern

andi — Tue, 16 Mar 2010 17:21:37 +0000

Kennt ihr das auch? Da macht man sich die Mühe, den Content den man aus dem Interwebs klaut kopiert auf den eigenen Webspace zu laden und da kommt so jemand daher und verlinkt einfach das Bild von deinem Webspace aus. In meinem Fall haben ein paar Warez Foren einen hochaufgelösten Covershot von Quake 1 in ein paar Posts gelinked und das 156KB große Bild wurde seit Juni 2009 satte 156.893 mal aufgerufen, was mir einen Traffic von 23.901MB beschert hat. Das ist natürlich alles andere als leiwand und so hab ich mir gedacht ich kann doch eigentlich mit ein paar Zeilen in der .htaccess im DocumentRoot von andi.priv.at dafür sorgen das das Bild recht schnell aus deren Forum verschwindet.

Die normale .htaccess einer WordPress installation sieht so aus:

# BEGIN WordPress

RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]

# END WordPress

Über dem ganzen fügst du einen weiteren Block dazu:

RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http://www.bösehotlinkerseite.com/ [NC]
RewriteCond %{REQUEST_URI} !^/hotlinkpic.jpg$
RewriteRule .(jpe?g|gif|bmp|png)$ /hotlinkpic.jpg [L]

Jetzt wird jeder Requests auf ein Bild der von der Seite www.bösehotlinkerseite.com kommt auf das Bild das unter /hotlinkpic.jpg liegt weitergeleitet. Du kannst auch bei der Condition mit dem Referer statt der Seite die du aussperren willst die URLs zu deiner Seite mit einem Rufzeichen davor eintragen um alle Requests die nicht von deiner Seite aus gehen das Hotlinkbild anzuzeigen:

RewriteCond %{HTTP_REFERER} !^http://andi.priv.at/ [NC]
RewriteCond %{HTTP_REFERER} !^https://andi.priv.at/ [NC]
RewriteCond %{HTTP_REFERER} !^http://www.andi.priv.at/ [NC]

Ich hoffe damit konnt ich dem ein oder anderen helfen der so wie ich “Opfer” von Hotlinking geworden ist.

Hingabe zur (Admin)Pflicht

andi — Mon, 01 Mar 2010 21:42:17 +0000

Warum denk ich mir bei dem Comic “Das würd ich auch machen…”?

Quelle: xkcd