Роутер - самое разумное решение. Со стороны провайдера все будет выглядеть так, будто к интернету подключен один компьютер.
Купите какой-нибудь dir-100, для ваших нужд его хватит. Прописываете ему настройки от провайдера, а на своих ПК ставите получение IP автоматически.