Wie wär's so:
Mach eine extra Platine für die Matrix, etwas größer, so daß da noch zwei Pfostenstecker für den Anschluß an die Elektronik Platz finden und Befestigungslöcher, um die Platine samt Matrix mit der Front zu verschrauben.
Die Matrix-Pins brauchst Du nicht durch die Platine stecken, da Du sie einfach auf die Löt- (Kupfer-) Seite auflötest. Kommt man ja gut von außen dran.
Bei der Menge an Pins sollte das auch stabil genug sein, kannst ja trotzdem kleine Löcher bohren, damit die Pins eine Arretierung haben.
Die Pfostenstecker lötest Du dann ganz normal auf die Bestückungsseite, die dann auch zum Innern des Moduls zeigt.
Musst halt beim Entwurf der Platine darauf achten, daß die Matrix seitenverkehrt ist.