La differenza più evidente tra pony e cavallo è ovviamente l’altezza. Convenzionalmente, con il termine di pony, si indica un soggetto che non supera i 147 cm al garrese; nel dettaglio poi si distingue tra taglia piccola (fino a 130 cm), media (da 131 a 140 cm) e grossa (da 141 a 147 cm).
Questa dell’altezza si tratta però di una distinzione arbitraria e che varia di paese in paese, stabilita quasi unicamente per comodità durante l’esibizione dei soggetti in show e competizioni. Ci sono infatti eccezioni, come quella della razza Morgan, che pur avendo un altezza intorno ai 140 cm, non ha le caratteristiche morfologiche di un pony.

La differenza sostanziale tra pony e cavallo sta infatti nella conformazione fisica, cioè nella differente struttura ossea e muscolare e in generale nelle diverse proporzioni della corporatura. Il pony tende ad essere più massiccio, ha maggiore resistenza fisica allo sforzo e tollera meglio il clima freddo. Fisicamente ha poi gambe più corte e un petto più ampio, un collo più tozzo e una testa più corta; i crini più folti e spessi per proteggerlo dal freddo invernale e gli zoccoli più duri.
Altra grande differenza sta nel temperamento. Il pony è generalmente più intelligente e astuto del cavallo, che si traduce in un suo essere più testardo e insofferente; quindi mai credere che il pony sia più docile solo perché più piccolo!
Un’ultima differenza sta nell’alimentazione: un pony può trovare sostentamento in un pascolo dove un cavallo morirebbe di fame. Per questo il pony è più incline ad ingrassare rendendolo maggiormente esposto al rischio di laminiti e problemi agli zoccoli. E’ necessario perciò che il pony segua un’alimentazione ad hoc.