Von meiner 80 GB Platte sind 63 Belegt, 10 frei und 6 noch nie dagewesen. 
Du bist mutig. ich würde mal ans Aufräumen denken. Noch ist Platz, aber wenn kein Speicherplatz merh da ist, können viele Programme (z.B. Mail) beim Beenden die Preferences nicht mehr schreiben und die gehen dann kaputt.
Die CPU Last habe ich immer im Auge, und es ist nicht so, daß sich die dauerhaft bei 100 % festfrisst. Wenn ich dann nachschaue, fällt mir immer nur der große Swap auf. Ist nur manchmal, aber um NeoOffice, TV Browser und Dashboard mache ich bereits einen Bogen.
Ja, NeoOffice frißt jede Menge Speicher. Trotzdem habe ich das immer laufen und beende es nie.
Wenn ich die Programme dann schließe kommt es sogar vor das der RAM halb leer ist, die Auslagerungsdatei immer noch mehrere GB hat und der Rechner immer noch verzögert reagiert.
Die Größe der Swap-Dateien hat nichts damit zu tun, wieviel aktuell gebraucht wird. Da hatten wir mal einen interessanten thread zu mit Beiträgen von mbs.
D.h. wenn jetzt plötzlich RAM frei wird, wird nicht sofort etwas aus dem Swap zurückgeholt. Was denn auch. Draußen liegt ja nur, was aktuell nicht benutzt wird. Wenn das System irgendwas davon zurückholen würde, wäre es bestimmt das falsche.

Erst wenn etwas wieder aktiviert wird, kommt es zurück.
Außerdem "fragmentiert" der Inhalt der Swap-Datei natürlich auch. Es wird ja nicht immer komplett rein- oder rausgebracht. D.h. wenn die Swap-Datei xMB groß ist sind aber vielleicht aktuell nur yMB davon in Benutzung. Ab und zu räumt das System dort auf. Ich habe das mal 'ne Weile beobachtet (unter 10.3) und erst wenn der Bedarf deutlich kleiner als die aktuelle Größe war, wurde aufgeräumt. Ist auch im Prinzip egal, wenn man nicht extrem wenig Festplattenplatz hat.
Die Verzögerungen habe ich immer dann, wenn ich ein Programm, das läuft, schon lange Zeit nicht mehr verwendet habe und es sich daher nicht mehr im RAM befindet.