凯里爬香炉山应该从南门出发。

因为南门是香炉山主要的入口，有完善的交通条件和丰富的旅游资源，游客可以方便地前往香炉山的各个景点，并且南门的路况较好，爬山起点相对较低，更适合初次前往香炉山的游客。

此外，从南门出发还可以欣赏到香炉山的美景和风景，增加旅游的乐趣。

如果游客想要体验不同的路线，在香炉山还有其他几个入口可供选择，如西门、东门等，但是出发前最好提前了解路线状况和安全情况，确保安全顺利。