Σύμφωνα με το μύθο, η Λήδα, από την ένωσή της με τον Δία, γέννησε δυο αβγά. Από το πρώτο γεννήθηκε η Ελένη, ενώ από το δεύτερο δύο δίδυμα αγόρια, οι Διόσκουροι, ο Κάστορας και ο Πολυδεύκης. Οι Σπαρτιάτες τους είχαν σε περίοπτη θέση όσον αφορά τη λατρεία. Επίσης, όταν βαδίζανε να συναντήσουν τον εχθρό τραγουδούσαν έναν παιάνα προς τιμή των Διοσκούρων.

Όταν ο Θησέας, με την βοήθεια του Πειρίθου, απήγαγε την αδελφή τους Ελένη με σκοπό να την παντρευτεί, όταν εκείνη μεγαλώσει, οι Διόσκουροι εισέβαλαν στην Αττική. Εκεί, αφού ελευθέρωσαν την αδελφή τους, απήγαγαν τη μητέρα του βασιλιά της Αθήνας, την Αίθρα και βοήθησαν να ανέβει στον θρόνο της Αθήνας ο Μενεσθέας, εκμεταλλευόμενοι και την απουσία του Θησέα ο οποίος ήταν φυλακισμένος στον Άδη.

Τα δύο αδέλφια έτρεφαν μεγάλη αγάπη ο ένας για τον άλλον. Ο Κάστωρ σε μία σύγκρουση έχασε τη ζωή του και τότε ο Δίας πρόσφερε στον Πολυδεύκη την αθανασία. Έτσι λοιπόν, όταν αυτός δέχθηκε, ζήτησε από το Δία να μοιραστεί αυτήν την αθανασία με τον αδελφό του. Δεχόμενος ο Δίας όρισε τότε τη μία ημέρα ο ένας να είναι στον Κάτω Κόσμο του Άδη και ο άλλος στον Όλυμποκαι την άλλη αντίστροφα.

Για το θάνατο του Κάστορα υπάρχουν δύο εκδοχές, αλλά και οι δύο βασίζονται στη σύγκρουσή τους με τα ξαδέλφια τους Ίδα και Λυγκέα, γιους του Αφαρέως. Η μια εκδοχή έχει να κάνει με μια ζωοκλοπή, που οργάνωσαν τα τέσσερα ξαδέλφια, αλλά ο Ίδας και ο Λυγκέας κατάφεραν να ξεγελάσουν τους Διόσκουρους και να πάρουν όλη τη λεία. Αργότερα σε σύγκρουση μεταξύ των δύο πλευρών ο Ίδας σκότωσε τον Κάστορα και ο Πολυδεύκης τον Λυγκέα.

Με βάση τη δεύτερη εκδοχή του μύθου, οι Διόσκουροι επιχείρησαν να πάρουν για συζύγους τους τις κόρες του Λεύκιππου, τις ξαδέλφες τουςΦοίβη και Ιλάειρα. Τα δύο αδέλφια απήγαγαν τις Λευκιππίδες, οι οποίες όμως προορίζονταν για σύζυγοι των δύο γιων του Αφαρέως (ο οποίος ήταν αδελφός του πατέρα τους Λεύκιππου). Ο Ίδας και ο Λυγκέας επιτέθηκαν στους Διόσκουρους και κατά τη διάρκεια της σύγκρουσης έχασαν τη ζωή τους και εδώ, ο Κάστορας και ο Λυγκέας.

Οι λατρεία των Διόσκουρων μεταφέρθηκε στην Ιταλία. Οι Ρωμαίοι πίστευαν πως τα δύο αδέλφια προστάτευαν το στρατό τους κατά τη διάρκεια της μάχης, ενώ είχε κατασκευαστεί και ναός προς τιμήν τους (Tempio dei Dioscuri) στην περοχή της Ρωμαϊκής Αγοράς, στη Ρώμη, μετά τη νίκη των Ρωμαίων στη Μάχη της Λίμνης Ρηγίλλης κατά των Ετρούσκων, το 498 π.Χ..