Fui procurar para responder tanto aqui no blog quanto no fórum em que li e aqui está o que eu aprendi:
Um arquivo de instalação é um conjunto ou um único arquivo que possui informações para a instalação de um programa. As informações referem-se a como ele irá abrir, qual a entrada, qual a cor que o programa vai ter, etc... o arquivo .exe contém como será o programa.
Ele poderá vir descompactado, quando você baixa só o instalador e lá, você já contém todos os arquivos necessários ou compactado, pois estes geralmente contém não somente o instalador como subpastas que vão auxiliar a instalação e depois relocadas para serem as informações do programa, tal como a informação das músicas que irão tocar durante um... jogo por exemplo.
Claro que ainda temos mais, temos os arquivos que podem começar um download, e ele contém só as informações do que precisam baixar, aonde irão encontrar, e aonde irão instalar elas.
