Историята на Олимпия и нейното светилище води своето начало още от 3000 г. пр. н. е. До началото на второто хилядолетие пр. н. е. в областта биват почитани богинята на плодородието Деметра, както и божествата Рея и Кронос.
Древните гърци вярвали, че олимпийските богове са дали началото на Олимпийските игри в Олимпия - Зевс надвил Кронос в състезание по борба, а Аполон победил Арес в юмручен бой и надбягал Хермес.
Според легендата първите атлетически състезания били организирани от Херкулес. Той определил мястото и размерите на първия стадион, дал началото на първото състезание по бягане и коронясал победителя с венец от дива маслина. Клонките на венеца били откъснати от дърво, засадено в Олимпия от самия Херкулес.
Олимпийското светилище бързо получило признание в цяла Гърция като основен център за провеждане на състезания и религиозни обреди и било поставено под закрилата на Зевс. А за да се гарантира безопасното придвижване на атлетите и зрителите-поклонници до светилището, както и спокойното провеждане на игрите, се обявявало Свещено примирие, по чиято сила за срок от един месец прекъсвали всякакви вражди между гръцките градове-държави.
Първоначално игрите включват предимно атлетически дисциплини. Впоследствие към тях се добавят и надбягвания с колесници и състезания по конна езда.
Първите Олимпийски игри, за които има писмени данни, се провеждат през 776 г. пр. н. е. Игрите се устройват на всеки четири години в продължение на пет дни. Четиригодишният период между две игри се нарича олимпиада. Макар че не се знаят точните дати на провеждане на игрите, известно е, че те са се състояли по време на лятното пълнолуние, т. е. между последната седмица на юли и първата половина на август. Олимпийските игри заемали толкова важно място в живота на древните гърци, че не след дълго датите на всички събития от дългата и забележителна история на Елада започнали да се определят с оглед на тях.
Година преди началото на поредната Олимпиада отговорни лица изпращали вестоносци до всички краища на Гърция и до всички нейни колонии в Средиземноморието. Вестоносците били натоварени със задачата да оповестят датата на откриването на игрите. Те трябвало да обявят и началото на Свещеното примирие, което се изразявало в прекъсване на войните и враждата между гръцките градове-държави, както и в отлагане на изпълнението на всички смъртни присъди.
Многобройните градове-държави били представлявани на тези празнични събирания в Олимпия не само от атлети, но и от официални пратеници. По време на игрите се организират и събития, на които оратори, историци и философи произнасяли речи по важни въпроси.
В продължение на няколко века игрите продължават да се провеждат на четири години. До 146 г. пр. н. е., годината, в която римляните стъпват на гръцка земя, неколкократно биват нарушавани и примирието, и светостта на Олимпия. Променя се и духът на игрите.
По време на управлението на император Адриан, когато светилището бива обновено и разширено, игрите отново бележат подем.
Макар че впоследствие отново загубват своята значимост, игрите продължават да се провеждат до 393 г., когато император Теодосий I ги забранява с указ. През 426 г. император Теодосий II утвърждава формално тяхната отмяна. През VI в. Олимпия бива разтърсена от земетресения, които довършват разрухата, причинена от хората и времето.
Духът на Олимпийските игри бива възкресен през 1896 г. от барон Дьо Кубертен с вдъхновената и решаваща роля на Деметриос Викелас.
Като се изключат прекъсванията по време на двете световни войни, игрите се провеждат на всеки четири години в предварително определен град на света с участието на състезатели от всички страни.
Следващите Олимпийски игри ще се състоят в Атина.