Sim é possivel, se a ligação for directa basta os dois meterem um ip fixo na mesma gama com a mesma mascara de rede, no ubuntu pode gerir as ligaçoes através do nm-connection-editor
Ex Ubuntu: IP: 192.168.1.2
Mascara: 255.255.255.0
Ex Windows IP: 192.168.1.3
Mascara: 255.255.255.0