andi.priv.at » misc

Shell One-Liner: Base64 Dateien in der Shell encoden

andi — Mon, 13 Feb 2012 10:27:11 +0000

perl -MMIME::Base64 -ne 'print decode_base64($_)' < file.txt > out

via snipplr

Quelle: snipplr

Shell One-Liner: Alle .csv.bz2 Dateien die älter als eine Woche sind löschen

andi — Thu, 22 Dec 2011 23:00:46 +0000

find . -type f -name "*.csv.bz2" -mtime +7 -exec rm -rf {} \;

Shell One-Liner: Alle .csv Dateien die älter als einen Tag sind bzipen

andi — Tue, 20 Dec 2011 23:00:42 +0000

find . -type f -name "*.csv" -mtime +0 -exec bzip2 {} \;

Shell One-Liner: Alle .done Dateien umbenennen und das .done entfernen

andi — Sun, 18 Dec 2011 23:00:39 +0000

find . -type f -name "*.done" | \
sort | while read donefile; do \
undonefile=`echo $donefile | sed 's/.done//'`; \
mv -v "$donefile" "$undonefile"; \
done

Shell One-Liner: Alle .gz Dateien entpacken und mit bzip2 neu komprimieren

andi — Fri, 16 Dec 2011 23:00:31 +0000

find . -type f -name "*.gz" | \
sort | while read gzipfile; do \
uncompressedfile=`echo $gzipfile | sed 's/\.gz//'`; \
gunzip -v $gzipfile && \
bzip2 -v $uncompressedfile; \
done

Könnt ihr alle erraten?

andi — Thu, 01 Sep 2011 21:00:47 +0000

via: fun.drno.de

Debian Squeeze + DRBD + Pacemaker Tutorial

andi — Wed, 27 Jul 2011 18:51:37 +0000

Vorwort

Dieses Tutorial ist eine aktualisierte Fassung meines Debian Squeeze + DRBD + Pacemaker Tutorials bei dem ich (fast) nur Lenny durch Squeeze ersetzt habe und den Teil mit dem drbd8-source rausgelöscht habe, weil das nicht mehr notwendig ist. Sonst ist alles wie gehabt

Vorbereitung

Ich benutze 2 Debian Systeme (phobos und deimos) für diese Installation. Die Systeme sind mit einer Netboot-CD mit einem Minimalsystem installiert und bis auf das LVM (das es später um einiges leichter macht neue Platten in das System oder ins DRBD einzubinden) habe ich nicht viel abweichend installiert.

Jedes System hat 2 Netzwerkinterfaces (eines für den “normalen” Netzwerktraffic und eines für die direkte übertragung der DRBD-Daten. Alternativ könnte man die beiden Interfaces auch als bond redundant ans Netzwerk anbinden und die DRBD Kommunikation über ein seperates VLAN laufen lassen, aber das heb ich mir vielleicht für ein anderes Tuturial auf

In meinem Setup hat jeder Server auch 2 Festplatten (eine für das System und eine für die DRBD-Daten). Durch das LVM ist das zwar nicht notwendig, aber aus Performancegründen empfiehlt es sich die Systemdaten von den DRBD Daten zu trennen.

Die Systeme

+------------------------+ +------------------------+
| phobos | | deimos |
+------------------------+ +------------------------+
| eth0: 192.168.1.244/24 |--||--| eth0: 192.168.1.245/24 |
| eth1: 10.11.12.1/24 |------| eth1: 10.11.12.2/24 |
+------------------------+ +------------------------+

Es empfiehlt sich, die internen (die 10.11.12.* IP-Adressen und Hostnames in die /etc/hosts auf den beiden Servern einzutragen, um DNS Abfragen für die beiden Hosts zu vermeiden. Sobald das Minimalsystem steht und die IP-Adressen konfiguriert sind können wir mit der eigentlich Installation unseres HA-Clusters beginnen.

Debian Sources erweitern

Bevor wir mit der Installation beginnen können, müssen wir noch unsere Packetquellen abändern damit wir die Pakete bekommen die wir brauchen. Weiters empfiehlt es sich wenn du es nicht eh schon gemacht hast, das Debian Backports Repository zu aktivieren, um frische Packete zu bekommen, was nie schaden kann.

Meine /etc/apt/sources.list sieht so aus:

deb http://debian.inode.at/debian/ squeeze main contrib non-free
deb-src http://debian.inode.at/debian/ squeeze main contrib non-free

deb http://security.debian.org/ squeeze/updates main contrib non-free
deb-src http://security.debian.org/ squeeze/updates main contrib non-free

deb http://ftp.at.debian.org/debian-backports/ squeeze-backports main contrib non-free
deb-src http://ftp.at.debian.org/debian-backports/ squeeze-backports main contrib non-free

Um die Paketlisten zu aktualisieren führen wir danach noch ein apt-get update aus.

DRBD installieren

Das wichtigste bei einem HA-Cluster ist Zeit. Da beide Server genau die selbe Uhrzeit haben sollen installieren wir ntp auf beiden Servern, um die lokale Uhrzeit mit Zeitservern im Internet abzugleichen.

# apt-get install ntp ntpdate

Nachdem wir uns um die Zeit gekümmert haben, kommen als nächstes das DRBD Paket und der Cluster Manager Pacemaker.

# apt-get install drbd8-utils pacemaker

Wenn die Pakte installiert sind, laden wir als nächstes das DRBD Kernel Modul und probieren es gleich aus:

# modprobe drbd
# lsmod | grep drbd

Beim letzten Befehl solltest du in der Auflistung das DRBD Modul sehen, wenn nicht dann hat es bei den vorigen Schritten ein Problem gegeben. Du solltest auch mit cat /proc/drbd schon ein paar Infos zur DRBD Installation sehen können:

phobos:~# cat /proc/drbd
version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757

Bearbeite als nächstes auf beiden Servern die Datei /etc/drbd.d/mars.res und passe die Config an dein Setup an:

resource mars {
disk {
on-io-error detach;
}
on phobos {
device /dev/drbd0;
disk /dev/mapper/data-drbd;
address 10.11.12.1:7788;
meta-disk internal;
}
on deimos {
device /dev/drbd0;
disk /dev/mapper/data-drbd;
address 10.11.12.2:7788;
meta-disk internal;
}
}

Als nächstes erstellen wir (wie schon die ganze Zeit auf beiden Servern) die DRBD Metadaten.

# drbdadm create-md mars
# drbdadm up all

Wenn du jetzt cat /proc/drbd eingibst, sieht du das beide Nodes im Secondary Mode sind und auch beide Inkonsistent sind.

phobos:~# cat /proc/drbd
version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757
0: cs:Connected st:Secondary/Secondary ds:Inconsistent/Inconsistent C r---
ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0
resync: used:0/61 hits:0 misses:0 starving:0 dirty:0 changed:0
act_log: used:0/257 hits:0 misses:0 starving:0 dirty:0 changed:0

Das ist aber eh klar weil wir ja noch einstellen müssen, welcher Node der Primäre sein soll und wir auch noch kein Filesystem und nichts auf unserer Virutellen DRBD Platte haben. Dazu führen wir auf einem Server, in meinem fall phobos die folgenden Befehle aus:

# drbdsetup /dev/drbd0 primary -o
# mkfs.ext3 /dev/drbd0
# mkdir /mnt/data # den Ordner solltest du auf beiden Nodes erstellen
# mount /dev/drbd0 /mnt/data

Damit ist unser DRBD Setup grundsätzlich fertig. Wenn du jetzt df -h eingibst, solltest du deine Hochverfügbare Partition sehen können.

phobos:~# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/phobos-root
7.3G 829M 6.1G 12% /
tmpfs 379M 0 379M 0% /lib/init/rw
udev 10M 640K 9.4M 7% /dev
tmpfs 379M 0 379M 0% /dev/shm
/dev/sda1 228M 9.4M 207M 5% /boot
/dev/drbd0 2.0G 35M 1.8G 2% /mnt/data

cat /proc/drbd zeigt nun auf beiden Nodes wer in welchem Modus ist und das die Daten überall aktuell und konsistent sind.

phobos:~# cat /proc/drbd
version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757
0: cs:Connected st:Primary/Secondary ds:UpToDate/UpToDate C r---
ns:2050468 nr:0 dw:65608 dr:1984973 al:25 bm:125 lo:0 pe:0 ua:0 ap:0
resync: used:0/61 hits:0 misses:0 starving:0 dirty:0 changed:0
act_log: used:0/257 hits:16377 misses:40 starving:0 dirty:15 changed:25

deimos:~# cat /proc/drbd
version: 8.3.7 (api:88/proto:86-91)
srcversion: EE47D8BF18AC166BE219757
0: cs:Connected st:Secondary/Primary ds:UpToDate/UpToDate C r---
ns:0 nr:2050468 dw:2050468 dr:0 al:0 bm:125 lo:0 pe:0 ua:0 ap:0
resync: used:0/61 hits:0 misses:0 starving:0 dirty:0 changed:0
act_log: used:0/257 hits:0 misses:0 starving:0 dirty:0 changed:0

Pacemaker installieren

Eigentlich haben wir ja schon einen voll funktionierenden DRBD-Cluster. Das einzige Manko ist, das wenn unser Primärknoten jetzt ausfällt wir uns erst händisch am Sekundärknoten per SSH (oder Console) anmelden müssen um ihm zu sagen das er jetzt für das DRBD Zuständig ist und dann noch das Volume mounten und Dienste starten müssten. Damit wir das nicht müssen verwenden wir Pacemaker, das unsren Cluster managen wird.

Zuerst müssen wir auf den Primären Knoten einen Authorisations Key für Corosync erzeugen und diesen auf den anderen Knoten kopieren:

phobos:~# corosync-keygen
phobos:~# scp /etc/corosync/authkey deimos:/etc/corosync/authkey

Als nächstes müssen wir ein paar Einstellungen von Corosync bearbeiten damit beide Knoten miteinander reden können. Bearbeite in der interface Sektion von totem den Wert von bindnetaddr:

...
interface {
ringnumber: 0
bindnetaddr: 10.11.12.0
mcastaddr: 226.94.1.1
mcastport: 5405
}
...

Wenn du mit den Änderungen an der Config fertig bist, muss Corosync noch aktiviert werden indem du START=no durch START=yes in der Datei /etc/default/corosync ersetzt.

Nachdem Corosync konfiguriert ist, starten wir den Dienst auf beiden Knoten und schauen ob er auch brav startet:

phobos:~# /etc/init.d/corosync start
Starting corosync daemon: corosync.

deimos:~# /etc/init.d/corosync start
Starting corosync daemon: corosync.

phobos:~# crm_mon --one-shot -V
crm_mon[7363]: 2010/11/14_12:34:56 ERROR: unpack_resources: No STONITH resources have been defined
crm_mon[7363]: 2010/11/14_12:34:54 ERROR: unpack_resources: Either configure some or disable STONITH with the stonith-enabled option
crm_mon[7363]: 2010/11/14_12:34:56 ERROR: unpack_resources: NOTE: Clusters with shared data need STONITH to ensure data integrity

============
Last updated: Fri Nov 14 12:34:56 2010
Stack: openais
Current DC: phobos - partition with quorum
Version: 1.0.6-cebe2b6ff49b36b29a3bd7ada1c4701c7470febe
2 Nodes configured, 2 expected votes
0 Resources configured.
============

Online: [ phobos deimos ]

Das schaut ja schon mal (bis auf den STONITH Fehler den wir gleich beheben werden) ja schon mal nicht schlecht aus. Jetzt konfigurieren wir mal ein paar Resourcen, die wir für unseren DRBD-Cluster benötigen werden:

phobos:~# sudo crm
crm(live)# cib new config20101114001
crm(config20101114001)# configure
crm(config20101114001)configure# edit

Meine Pacemaker Config sieht so aus:

node phobos
node deimos
primitive drbd_mars ocf:linbit:drbd params drbd_resource="mars" op monitor interval="15s"
ms ms_drbd_mars drbd_mars meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"
primitive fs_mars ocf:heartbeat:Filesystem params device="/dev/drbd/by-res/mars" directory="/mnt/data" fstype="ext3"
primitive ip_mars ocf:heartbeat:IPaddr2 params ip="192.168.1.243" nic="eth0"
group mars fs_mars ip_mars
colocation mars_on_drbd inf: mars ms_drbd_mars:Master
property $id="cib-bootstrap-options" \
dc-version="1.0.6-cebe2b6ff49b36b29a3bd7ada1c4701c7470febe" \
stonith-enabled=false \
cluster-infrastructure="openais" \
expected-quorum-votes="2"

Wenn du mit dem bearbeiten der Config fertig bist verifiziere deine Änderungen und wenn alles OK ist aktiviere die Config.

crm(config20101114001)configure# verify
crm(config20101114001)configure# end
There are changes pending. Do you want to commit them? y
crm(config20101114001)#
crm(config20101114001)# cib use live
crm(live)# cib commit config20101114001
INFO: commited 'config20101114001' shadow CIB to the cluster
crm(live)# quit
bye

Sources (Linkz)

Einen Haufen Dateien zusammenpacken und gleichzeitig auf eine andere Maschine schieben mit tar und netcat

andi — Fri, 08 Jul 2011 13:13:38 +0000

Du musst ein Backup von einem Verzeichnis auf einem Linux/Unix Server anlegen, willst jedoch die Backupdaten (nicht einmal temporär) auf der Maschine ablegen (weil der Platz nicht ausreicht oder der einzige freie Space auf der Kiste eine DRBD Partition ist die zwar dein Backup redundant auf dem 2. Knoten verfügbar macht aber damit den ganzen Prozess ausbremst)?

Kein Problem, alles was du dazu brauchst ist TAR und Netcat das heutzutage in jeder Linux/Unix Distribution enthalten ist oder sich recht einfach nachinstallieren lässt (zur not per Hand von Source).

Und dann geht alles ganz einfach:

besn@target:~# nc -l -p 1234 > meinbackup.tar.bz2
besn@source:~# tar -cjf - wasichsichernwill | nc 192.168.0.27 1234 -q 10

Du kannst die beiden Befehle natürlich noch erweitern, ich verwende gerne Pipe Viewer um zu sehen wie weit der Transfer schon ist bzw. wie schnell er ablauft bzw. wie viel mir die Komprimierung on the fly bringt.

Debian Lenny + DRBD + Pacemaker Tutorial

andi — Sat, 05 Mar 2011 11:36:16 +0000

Vorbereitung

Die Systeme

Debian Sources erweitern

Meine /etc/apt/sources.list sieht so aus:

deb http://debian.inode.at/debian/ lenny main contrib non-free
deb-src http://debian.inode.at/debian/ lenny main contrib non-free

deb http://security.debian.org/ lenny/updates main contrib non-free
deb-src http://security.debian.org/ lenny/updates main contrib non-free

deb http://volatile.debian.org/debian-volatile lenny/volatile main contrib non-free
deb-src http://volatile.debian.org/debian-volatile lenny/volatile main contrib non-free

deb http://ftp.at.debian.org/debian-backports/ lenny-backports main contrib non-free
deb-src http://ftp.at.debian.org/debian-backports/ lenny-backports main contrib non-free

Wenn du das Debian Packports Repo noch nicht eingerichtet hast, musst du den Release Key einspielen, um nervige Abfragen später zu vermeiden:

gpg --keyserver hkp://subkeys.pgp.net --recv-keys 16BA136C && gpg --export 16BA136C | apt-key add -

Um die Paketlisten zu aktualisieren führen wir danach noch ein apt-get update aus.

DRBD installieren

# apt-get install ntp ntpdate

Nachdem wir uns um die Zeit gekümmert haben, kommen als nächstes die DRBD Pakete.

# apt-get -t lenny-backports install \
linux-headers-`uname -r` drbd8-utils \
drbd8-source pacemaker

Wenn die Pakte installier sind, übersetzen wir als nächstes das DRBD Kernel Modul und probieren es gleich aus:

# m-a a-i drbd8-source
# modprobe drbd
# lsmod | grep drbd

phobos:~# cat /proc/drbd
version: 8.0.14 (api:86/proto:86)
GIT-hash: bb447522fc9a87d0069b7e14f0234911ebdab0f7 build by phil@fat-tyre, 2008-11-12 16:40:33

Bearbeite als nächstes auf beiden Servern die Datei /etc/drbd.d/mars.res und passe die Config an dein Setup an:

Als nächstes erstellen wir (wie schon die ganze Zeit auf beiden Servern) die DRBD Metadaten.

# drbdadm create-md mars
# drbdadm up all

Wenn du jetzt cat /proc/drbd eingibst, sieht du das beide Nodes im Secondary Mode sind und auch beide Inkonsistent sind.

phobos:~# cat /proc/drbd
version: 8.0.14 (api:86/proto:86)
GIT-hash: bb447522fc9a87d0069b7e14f0234911ebdab0f7 build by phil@fat-tyre, 2008-11-12 16:40:33
0: cs:Connected st:Secondary/Secondary ds:Inconsistent/Inconsistent C r---
ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0
resync: used:0/61 hits:0 misses:0 starving:0 dirty:0 changed:0
act_log: used:0/257 hits:0 misses:0 starving:0 dirty:0 changed:0

# drbdsetup /dev/drbd0 primary -o
# mkfs.ext3 /dev/drbd0
# mkdir /mnt/data # den Ordner solltest du auf beiden Nodes erstellen
# mount /dev/drbd0 /mnt/data

Damit ist unser DRBD Setup grundsätzlich fertig. Wenn du jetzt df -h eingibst, solltest du deine Hochverfügbare Partition sehen können.

cat /proc/drbd zeigt nun auf beiden Nodes wer in welchem Modus ist und das die Daten überall aktuell und konsistent sind.

phobos:~# cat /proc/drbd
version: 8.0.14 (api:86/proto:86)
GIT-hash: bb447522fc9a87d0069b7e14f0234911ebdab0f7 build by phil@fat-tyre, 2008-11-12 16:40:33
0: cs:Connected st:Primary/Secondary ds:UpToDate/UpToDate C r---
ns:2050468 nr:0 dw:65608 dr:1984973 al:25 bm:125 lo:0 pe:0 ua:0 ap:0
resync: used:0/61 hits:0 misses:0 starving:0 dirty:0 changed:0
act_log: used:0/257 hits:16377 misses:40 starving:0 dirty:15 changed:25

deimos:~# cat /proc/drbd
version: 8.0.14 (api:86/proto:86)
GIT-hash: bb447522fc9a87d0069b7e14f0234911ebdab0f7 build by phil@fat-tyre, 2008-11-12 16:40:33
0: cs:Connected st:Secondary/Primary ds:UpToDate/UpToDate C r---
ns:0 nr:2050468 dw:2050468 dr:0 al:0 bm:125 lo:0 pe:0 ua:0 ap:0
resync: used:0/61 hits:0 misses:0 starving:0 dirty:0 changed:0
act_log: used:0/257 hits:0 misses:0 starving:0 dirty:0 changed:0

Pacemaker installieren

Zuerst müssen wir auf den Primären Knoten einen Authorisations Key für Corosync erzeugen und diesen auf den anderen Knoten kopieren:

phobos:~# corosync-keygen
phobos:~# scp /etc/corosync/authkey deimos:/etc/corosync/authkey

Als nächstes müssen wir ein paar Einstellungen von Corosync auf beiden Knoten bearbeiten. Zum einen die interface Sektion von totem:

...
interface {
ringnumber: 0
bindnetaddr: 10.11.12.0
mcastaddr: 226.94.1.1
mcastport: 5405
}
...

Zum andern (falls sich Corosync darüber aufregt) muss die den consensus Wert unter totem auf 3600 setzen.

...
# How long to wait for consensus to be achieved before starting a new round of membership configuration (ms)
consensus: 3600
# Turn off the virtual synchrony filter
vsftype: none
...

Wenn du mit den Änderungen an der Config fertig bist, muss Corosync noch aktiviert werden indem du START=no durch START=yes in der Datei /etc/default/corosync ersetzt.

Nachdem Corosync konfiguriert ist, starten wir den Dienst auf beiden Knoten und schauen ob er auch brav startet:

phobos:~# /etc/init.d/corosync start
Starting corosync daemon: corosync.

deimos:~# /etc/init.d/corosync start
Starting corosync daemon: corosync.

phobos:~# sudo crm
crm(live)# cib new config20101114001
crm(config20101114001)# configure
crm(config20101114001)configure# edit

Meine Pacemaker Config sieht so aus:

Wenn du mit dem bearbeiten der Config fertig bist verifiziere deine Änderungen und wenn alles OK ist aktiviere die Config.

Sources (Linkz)

Streifen für Wurstsalat

andi — Sun, 01 Aug 2010 13:16:36 +0000

Ich wär eigentlich genau die Zielgruppe für so ein Produkt aber selbst ich frag mich ob das nicht ein wenig zuu weit geht.

Aber wenn ich mal wieder Wurstsalat mache und zu Faul bin mir an halben Kilo Extrawurst zu kaufen und zu schneiden dann weiß ich genau was ich mir stattdessen kaufen kann

Selbst signierte Zertifikate erzeugen

andi — Mon, 07 Jun 2010 10:12:21 +0000

Das ist wiedermal mehr ein Gedächtnisstützenpost für mich, damit ich nicht immer googlen muss wenn ich ein SSL Zertifikat für eine Webseite erzeugen will:

# Zertifikats Key erzeugen
openssl genrsa -des3 -out domainname.at.key 2048
# Passwortgeschützten Key kopieren
cp domainname.at.key domainname.at.key.orig
# Key ohne Passwort erzeugen
openssl rsa -in domainname.at.key.orig -out domainname.at.key
# Zertifikat erzeugen
openssl req -new -x509 -key domainname.at.key -out domainname.at.crt -days 3650

Damit ist in ein paar einfachen Schritten ein selbst signiertes SSL Zertifikat erzeugt das für 10 Jahre gültig ist und für die meisten privaten Aufgaben vollkommen ausreicht.

Hau weg die .htpasswd: Apache Authentifizierung mit mod-auth-mysql

andi — Sat, 15 May 2010 13:52:43 +0000

Noch aus den Urzeiten der Webserver stammt die HTTP-Authentifizierung mit der man sich im Browser gegenüber dem Webserver als jemand Berechtigter ausweisen kann. Das Verfahren mag ein wenig angestaubt wirken und die Fenster könnten sie auch mal schöner Designen aber solange es keinen Nachfolger für die RFC 2617 gibt hat sich etwas an der Art wie man die Passwörter speichert geändert. Fast alle Tutorials zur Absicherung des Indianers erklären wie ihr mithilfe von htpasswd eine Datei erzeugen und für den Ordner mit den Partyfotos das man an eine Handvoll Leute weitergibt reicht das ja auch vollkommen aus. Aber wenn man ein paar Subversion Repos und Trac Installationen mit einem haufen Usern hat wünscht man sich eine Lösung bei der die User in einer Datenbank liegen und man das ganze über ein Webinterface verwalten kann. Und genau das ist mit dem Apache Modul mod-auth-mysql.

Datenbank

User und Datenbank anlegen
Du kannst einen eigenen Benutzer für mod-auth-mysql anlegen, musst es aber nicht.

CREATE USER 'mysqlauth'@'localhost' IDENTIFIED BY 'passwort'
GRANT USAGE ON * . * TO 'mysqlauth'@'localhost' IDENTIFIED BY 'passwort';
CREATE DATABASE IF NOT EXISTS `mysqlauth` ;
GRANT ALL PRIVILEGES ON `mysqlauth` . * TO 'mysqlauth'@'localhost';

Tabellen anlegen
Die Tabellenstruktur basiert auf der von http://www.arune.se/tech:svnwithmysqlauth mit der Erweitung um die Virtuellen Gruppen und die Views für den .htpasswd Ersatz.

CREATE TABLE IF NOT EXISTS `groups` (
`groupid` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT,
`groupname` VARCHAR(50) NOT NULL,
`groupvirtual` VARCHAR(150) NOT NULL,
PRIMARY KEY (`groupid`),
UNIQUE KEY `name` (`groupname`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE IF NOT EXISTS `usergroup` (
`userid` INT(10) UNSIGNED NOT NULL DEFAULT '0',
`groupid` INT(10) UNSIGNED NOT NULL DEFAULT '0',
PRIMARY KEY (`userid`,`groupid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE IF NOT EXISTS `users` (
`userid` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT,
`username` VARCHAR(50) NOT NULL,
`password` VARCHAR(60) NOT NULL,
`firstname` VARCHAR(255) NOT NULL,
`lastname` VARCHAR(255) NOT NULL,
`email` VARCHAR(255) NOT NULL,
PRIMARY KEY (`userid`),
UNIQUE KEY `login` (`username`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE VIEW `mysqlauth` AS SELECT `users`.*,`groups`.*
FROM ((`users` JOIN `groups`) JOIN `usergroup`)
WHERE ((`usergroup`.`userid` = `users`.`userid`)
AND (`groups`.`groupid` = `usergroup`.`groupid`));

Apache 2 mit mod-auth-mysql unter Debian/Ubuntu

mod-auth-mysql
Die Installation des Moduls geht recht einfach über apt:

sudo apt-get install libapache2-mod-auth-mysql

Es gibt auch ein “mod_auth_mysql” Modul für Fedora, RHEL bzw. CentOS das soweit ich das in Erfahrung bringen konnte auf modauthmysql.sourceforge.net basiert, während man bei Debian ein eigenes Repository pflegt. Wenn deine Distribution das Modul nicht mitliefert kannst du dir auch das mod_auth_mysql Modul von WordPress.org übersetzen. All diese Module unterscheiden sich aber durch die Syntax die man in die httpd.conf von Apache verwenden muss. Bedenke das wenn du dieses Howto auf eine andere Distribution bzw ein anderes mod-auth-mysql Modul anwenden möchtest.

Folgender Code ist für den Teil deiner httpd.conf:

DAV svn
AuthType Basic
AuthName "lala"
AuthUserFile /dev/null
require valid-user
AuthMYSQL on
AuthBasicAuthoritative off
AuthMySQL_Authoritative on
AuthMySQL_Host localhost
AuthMySQL_User mysqlauth
AuthMySQL_Password ******
AuthMySQL_DB svnauth
AuthMySQL_Password_Table mysqlauth_user
AuthMySQL_Username_Field username
AuthMySQL_Password_Field password
AuthMySQL_Empty_Passwords off
AuthMySQL_Encryption_Types Crypt_DES PHP_MD5

Nginx mit nginx_auth_mysql

Das ganze geht natürlich auch mit Nginx. Der Vorteil ist, das man einen Request schon am Reverse Proxy ablehnen kann und gar nicht erst den Apache im Hintergrund belästigen muss. Jedoch gibt es kein eingebautes Modul um gegen mySQL zu authentifizieren aber du kannst dir nginx recht einfach zusammen mit dem nginx_auth_mysql Modul selber übersetzen:

1. nginx runterladen und entpacken

wget http://nginx.org/download/nginx-0.7.65.tar.gz
tar -xzvf nginx-0.7.65.tar.gz

2. nginx_auth_mysql auschecken

svn export http://code.svn.wordpress.org/nginx_auth_mysql/

3. nginx mit nginx_auth_mysql bauen
Wenn du unter Debian bist und willst das dein selbstgebauter nginx aus den Standard nginx Verzeichnissen ließt aber selbst an einem anderen Ort liegt (damit beim nächsten Update des Debian Paketes dein eigenbau Binary nicht überschrieben wird) kannst du die Zeile kopieren mit der auch das Debian Paket von nginx gebaut wird. Das auth_mysql Modul wird auch gleich mitgebaut.

./configure --prefix=/usr/local/nginx \
--conf-path=/etc/nginx/nginx.conf \
--error-log-path=/var/log/nginx/error.log \
--pid-path=/var/run/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--http-log-path=/var/log/nginx/access.log \
--http-client-body-temp-path=/var/lib/nginx/body \
--http-proxy-temp-path=/var/lib/nginx/proxy \
--http-fastcgi-temp-path=/var/lib/nginx/fastcgi \
--with-debug \
--with-http_stub_status_module \
--with-http_flv_module \
--with-http_ssl_module \
--with-http_dav_module \
--add-module=../nginx_auth_mysql/

4. nging nginx.conf
Der folgende Code gehört in deine nginx.conf innerhalb eines location { … } Teils:

auth_mysql_realm "lerl";
auth_mysql_host "localhost";
auth_mysql_user "mysqlauth";
auth_mysql_password "******";
auth_mysql_database "mysqlauth_priv";
auth_mysql_table "users";
auth_mysql_password_column "password";
auth_mysql_user_column "username";
auth_mysql_encryption_type "md5";

Kaputte Berkeley DB’s wiederherstellen

andi — Tue, 20 Apr 2010 19:54:32 +0000

Weil ich mir nach den paar Zeilen gerade den A*sch abgegooglet habe wie man eine (möglicherweiße) kaputte Berkeley DBs wiederherstellt, poste ich sie hier damit ich beim nächsten mal nicht wieder suchen muss. Und immer daran denken: Sicherungskopie anlegen

db_verify $DBNAME
db_recover -v
db_dump -f $DBNAME.out $DBNAME
mv $DBNAME $DBNAME.old
db_load -f $DBNAME.out $DBNAME
db_verify $DBNAME

Quelle: net.sunsource.gridengine.users

Grub nach Windows Installation wiederherstellen

andi — Mon, 22 Mar 2010 20:31:24 +0000

Für den (ganz sicherern) Fall das ich es wieder brauche: Wie stell ich Grub nach einer Windows Installation wieder her

Garstige Hotlinker mit mod_rewrite ärgern

andi — Tue, 16 Mar 2010 17:21:37 +0000

Kennt ihr das auch? Da macht man sich die Mühe, den Content den man aus dem Interwebs klaut kopiert auf den eigenen Webspace zu laden und da kommt so jemand daher und verlinkt einfach das Bild von deinem Webspace aus. In meinem Fall haben ein paar Warez Foren einen hochaufgelösten Covershot von Quake 1 in ein paar Posts gelinked und das 156KB große Bild wurde seit Juni 2009 satte 156.893 mal aufgerufen, was mir einen Traffic von 23.901MB beschert hat. Das ist natürlich alles andere als leiwand und so hab ich mir gedacht ich kann doch eigentlich mit ein paar Zeilen in der .htaccess im DocumentRoot von andi.priv.at dafür sorgen das das Bild recht schnell aus deren Forum verschwindet.

Die normale .htaccess einer WordPress installation sieht so aus:

# BEGIN WordPress

RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]

# END WordPress

Über dem ganzen fügst du einen weiteren Block dazu:

RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http://www.bösehotlinkerseite.com/ [NC]
RewriteCond %{REQUEST_URI} !^/hotlinkpic.jpg$
RewriteRule .(jpe?g|gif|bmp|png)$ /hotlinkpic.jpg [L]

Jetzt wird jeder Requests auf ein Bild der von der Seite www.bösehotlinkerseite.com kommt auf das Bild das unter /hotlinkpic.jpg liegt weitergeleitet. Du kannst auch bei der Condition mit dem Referer statt der Seite die du aussperren willst die URLs zu deiner Seite mit einem Rufzeichen davor eintragen um alle Requests die nicht von deiner Seite aus gehen das Hotlinkbild anzuzeigen:

RewriteCond %{HTTP_REFERER} !^http://andi.priv.at/ [NC]
RewriteCond %{HTTP_REFERER} !^https://andi.priv.at/ [NC]
RewriteCond %{HTTP_REFERER} !^http://www.andi.priv.at/ [NC]

Ich hoffe damit konnt ich dem ein oder anderen helfen der so wie ich “Opfer” von Hotlinking geworden ist.

Hingabe zur (Admin)Pflicht

andi — Mon, 01 Mar 2010 21:42:17 +0000

Warum denk ich mir bei dem Comic “Das würd ich auch machen…”?

Quelle: xkcd

Synaptics Touchpad Tapping unter Linux deaktivieren

andi — Tue, 16 Feb 2010 07:00:40 +0000

Als Laptopuser unter Linux habe ich das altbekannte Problem das wenn ich etwas auf der Tastatur tippe und am Touchpad ankomme ein Klick ausgelöst wird. Aber es gibt eine recht einfache Lösung um das Tapping zu deaktivieren wenn man auf der Tastatur tippt.

Mach zuerst eine Sicherungskopie von /etc/X11/xorg.conf, danach öffne die Datei mit einem Editor:

sudo cp /etc/X11/xorg.conf /etc/X11/xorg.conf.backup
sudo editor /etc/X11/xorg.conf

Such nach Section “InputDevice” und füge die Folgende Zeile zwischen dem Section “InputDevice” und End Section:

Option "SHMConfig" "true"

Damit kann syndaemon, den wir im nächsten Schritt beim starten von GNOME laden, auf die Einstellungen des Synaptic Treibers zugreifen. Bevor das aber funktioniert musst du aber gdm neustarten. Schließe vorher alle Programme die du offen hast und gib dann in einem Terminal sudo /etc/init.d/gdm restart ein. Damit wird der X-Server neugestartet und die Änderungen die du an der xorg.conf vorgenommen hast sind aktiv.

Um das ganze zu testen öffne nach dem Relogin ein Terminal und führe /usr/bin/syndaemon aus. Öffne als nächstes gedit und tippe ein wenig herum. Tipp dann kurz danach auf das Touchpad. Wenn alles funktioniert sollte das Touchpad erst 2 Sekunden nachdem du eine Taste gedrückt wieder funktionieren.

Damit syndaemon bei jedem Login automatisch gestartet wird, trag als Befehl /usr/bin/syndaemon -i 2 -t -d unter System => Einstellungen => Startprogramme ein.

Bei der Recherche zu dem Post ist mir ein Wiki Eintrag im Ubuntuusers Wiki aufgefallen der erklärt wie man automatisch das Touchpad deaktivieren kann wenn eine Maus angesteckt ist. Ich hab das selbst noch nicht ausprobiert, poste aber mal den Link.

Microsoft machen krasse Scheiße mit Augmented Reality in ihrer Maps App

andi — Mon, 15 Feb 2010 07:11:07 +0000

via: techflash.com

TCP Window Scaling unter Linux deaktivieren

andi — Mon, 15 Feb 2010 06:57:46 +0000

Weil ich vor kurzem mal wieder danach suchen musste wie man das TCP Window Scaling unter Linux deaktiviert, habe ich mir gedacht ich könnte die Lösung auch gleich hier posten.

Wie zeigt sich das?

Also wenn du auch das Problem hast das Webseiten wie Facebook (wobei da eigentlich eher der Static Server oder allgemein das CDN) oder DAUjones nicht vollständig laden (also die Seite nicht fertig läd und eventuelle nach ein paar Minuten der Timeout vom Browser kommt) dann sitzt du wahrscheinlich auch hinter einem Router der ein Problem mit “zu großen” Paketen hat.

Status des Window Scalings

Um herauszufinden ob das Window Scaling bei dir aktiv ist oder nicht gib in einem Terminal

sysctl -a | grep tcp_window_scaling

ein. In der Ausgabe halte ausschau nach

net.ipv4.tcp_window_scaling

. Wenn bei dir

net.ipv4.tcp_window_scaling = 0

steht, ist bei das Window Scaling schon deaktiviert.

Ausprobieren

Wenn du zuerst mal ausprobieren möchtest ob überhaupt das Window Scaling dein Problem ist kannst du das als root mit dem Befehl

sysctl -w net.ipv4.tcp_window_scaling=0

tun. Probier als nächstes, die problematischen Webseiten aufzurufen. Wenn das geholfen hat, kannst du zum nächsten Schritt weitergehen und diese Einstellung permament machen.

Permament Window Scaling deaktivieren

Das geht, wie bei Linux üblich, über ein Configfile. Öffne als root mit einem Editor deines Geschmacks die Datei

/etc/sysctrl.conf

und füge die Zeile

net.ipv4.tcp_window_scaling=0

in die Datei ein und speichere sie wieder und schon wird das Window Scaling beim nächsten start erst gar nicht aktiviert.

Und was mach ich mit einem Mac oder Windows?

Auf dieser netten Seite wird erklärt wie man das Window Scaling unter Mac OS und Windows abdrehn kann.

Weiteres Lesenswertes

TCP window scale option in der englischen Wikipedia
RWin in der deutschen Wikipedia
Der Artikel “TCP window scaling and broken routers” erklärt wie es überhaupt zu den ganzen kaputten Routern kommt

Sixt’s hint an Ulla Schmidt: Uns gibts doch auch in Alicante!

andi — Mon, 27 Jul 2009 18:16:33 +0000

Natürlich konnten die Leute von sixt (die immer wieder recht genial Werbesujets hier in Wien hängen haben) die Geschichte der deutschen Gesundheitsministerin Ulla Schmidt (ich glaub ich muss hier die Story von ihrem Dienstauto das man ihrem Fahrer in Spanien g’stessn hat nicht nacherzählen, die Medien ham Geschichte denk ich mal zur genüge erzählt) nicht einfach so liegen lassen und haben auf die Startseite von sixt.de ein Bild der Ministerin mit dem Subtext “Mit dem Dienstwagen in Urlaub? Es gibt Sixt doch auch in Alicante!” und dem Hinweiß auf die Dienstahlsicherung die ab 29 € am Tag dabei ist gepackt. Herrlich

via: Basic Thinking Blog