小公爷是小时候和明兰投壶的。这在小说《红楼梦》中有明确的描述。在小说的第三十五回中，小说中的主人公贾宝玉回忆起自己和表妹林黛玉一起玩耍的时光，其中提到了小公爷和明兰投壶的场景。此外，在小说中还有多处描述小公爷和明兰的交往，如他们一起放风筝、弹琴等。可以看出，小公爷和明兰的友谊是小说中较为重要的情节之一，也是贾宝玉的回忆中的重要组成部分。