Считалось, что наиболее древние известные бесчелюстные животные, напоминающие рыб, известны из раннего ордовика (около 450—470 миллионов лет назад). Однако в 1999 году в китайской провинции Юньнань были найдены окаменелости рыбообразного существа Haikouichthys из группы бесчелюстных возрастом около 530 миллионов лет (ранний кембрий). Возможно, подобные формы были предками всех позвоночных.С развитием челюстей из одной из жаберных дуг появились первые рыбы. Кроме челюстей, рыбы имеют парные плавники, внутреннее ухо с тремя полукруглыми каналами и жаберные дуги. Несмотря на появление первых челюстноротых рыб еще вордовике, они занимали подчиненное положение вплоть до девона. Таким образом, рыбы и бесчелюстные существовали больше 100 миллионов лет в условиях преобладания бесчелюстных, в отличие от настоящего времени. Хрящевые рыбы появились на рубеже силура и девона, около 420 миллионов лет назад, и достигли расцвета в карбоне. Костные рыбы водятся в мировых океанах как минимум с девона; не исключено, что они существовали уже в силуре.Более половины всех живущих ныне видов позвоночных, а именно, согласно базе данных FishBase, около 31 тысячи видов, относятся к рыбам. Число признанных видов продолжает меняться вследствие открытий новых видов, а также таксономических ревизий отдельных групп рыб. Ныне живущие рыбы представлены двумя классами: хрящевые рыбы (Chondrichthyes) и костные рыбы(Osteichthyes).
Современных хрящевых рыб делят на две большие группы — Holocephali (илицельноголовые), и Elasmobranchii, куда входят акулы и скаты. Ныне существует 900—1000 видов хрящевых рыб. В свою очередь, костные рыбы делятся на два подкласса: лопастепёрые и лучепёрые. 