Hier kannst du das verallgemeinerte Liouville-Theorem benutzen. Du hast
\(\begin{pmatrix} x'\\y' \end{pmatrix} = \begin{pmatrix} F_1(x,y)\\ F_2(x,y) \end{pmatrix} = F(x,y)\)
Sei nun \(A(0)= 2\) die Fläche des gegebenen Rechteck. Dann gilt für die zeitliche Entwicklung \(A(t)\)
\(A(t) = A(0) e^{\int_0^t\operatorname{div}_{x,y}F(x,y) \, d\tau}\)
Nun ist \(\operatorname{div}_{x,y}F(x,y) = \log(t^2+1)-2\log(t^2+1)=-\log(t^2+1)\)
Dies gilt übrigens auch für das inhomogene System. Es wird nur die Divergenz bzgl. \(x, y\) gebildet.
Jetzt musst du nur noch \(-\int_0^{t}\log(\tau^2+1)\,d\tau\) ausrechnen und einsetzen. Das überlass ich dir.
Zur Überprüfung des Integrals siehe zum Beipiel hier.