Cross-Compiling isn Krampf.
Ich persönlich probiere schon länger, was komfortables zu haben, um mir ein paar Pakete mit der uClibc zu bauen. Am meisten Erfolg hatte ich bisher nur mit einem Gentoo-Chroot-System (ist Chroot, ob der Host also Debian oder sonst was ist, spielt keine Rolle, siehe:
TinyGentoo - Gentoo Linux Wiki), ist allerdings immer noch ein elendes Gefrickel.
Eine andere Möglichkeit ist
Buildroot, das ist ebenfalls dazu gedacht ist, sich kleine kreuzkompilierte Linux zu basteln. Es sieht ganz nett aus, ist es vermutlich auch (kannst alles über ein "make menuconfig" machen). Bei mir allerdings an inkonsistenten Makefiles gescheitert.