Nuo pat vaikystės Pitagoras nemokėjo skaičiuoti. Tiksliau mokėjo, bet tik iki vieno. Bet užtat skaičiuoti iki vieno išmoko vos tik gimęs. Vos kelių mėnesių būdamas, žmonėms paklausus kiek jam metų, dar nekalbantis Pitagoras iškeldavo vieną pirštuką. Tačiau metai bėgo, o iki daugiau jis skaičiuoti taip ir neišmoko. Jau ūgtelėjusio tėvai jo vis klausdavo: „Kiek tau metų“, o bamblys Pitagoras nė nemirktelėjęs atsakydavo: „Vienas“.
Smarkiai kentėjo jaunasis Pitagoras mokykloje. Štai padeda jo matematikos mokytojas prieš jį du obuolius ir klausia: „Kiek čia obuolių?“. „Vienas“, atsako Pitagoras. Mokytojas, kad šers jam delnu per ausį. „Čia vienas, obuolys“, sako mokytojas. Po to tękšt Pitagorui per kitą ausį: “O čia antras obuolys. Taigi iš viso prieš tave yra du obuoliai. Du, supratai?“, moko mokytojas. Pitagoras tik linksi galva, neva supratęs, o iš tiesų galvoja sau „vienas“. Ilgus metus taip vargo su juo mokytojas ir vis veltui.
Užtat kumštynes Pitagoras mėgo neišpasakytai. Jau vaikystėje gerokai vyresnius už save galingais kumščių smūgiais iš koto versdavo. O kai užaugo, tai kumštynėse jam visoje Graikijoje lygių nebuvo. Ir štai ateina vieną dieną Pitagoras pas savo buvusį matematikos mokytoją ir klausia: „Kiek tau metų?“. „Aštuoniasdešimt šeši“, sako tas. Pitagoras, kad liuobs jam į dantis! O po to vėl klausia „kiek tau metų?“. „Vienas“, švepluoja dantų nuolaužomis ir kruvinomis seilėmis springdamas mokytojas. Nuo to įvykio visi jo mokiniai perėjo pas Pitagorą, o tas įkūrė savo mokyklą ir tapo filosofu. Tapęs filosofu Pitagoras visiems savo mokiniams ir pasekėjams skelbė, kad pasaulio pagrindas yra vienetas.