Примечание по пакетам MSI - закачивал напрямую с офсайта апача через программку wget (ОС ALT Linux2.4), потом переносил в Windows. Пакеты оказывались битыми. На форуме сказано, что нужно использовать Internet Explorer.
Далее Apache 2.1.6 у меня стоит в связке с PHP 4.4.0 и MySQL 4.1. Все работает ок