Segredos de um Escândalo conta a história de Gracie (Julianne Moore) e seu marido Joe (Charles Melton), que é 23 anos mais novo que ela. O relacionamento dos dois começou quando Joe ainda tinha 13 anos, causando um escândalo nos jornais. Vinte anos depois de seu romance ter chegado às manchetes, o casal está se preparando para que seus gêmeos comecem o ensino médio. No entanto, suas vidas viram de cabeça para baixo quando a atriz Elizabeth Berry (Natalie Portman) vem estudar Gracie para um papel no cinema. A dinâmica familiar se desenrola quando Joe percebe que perdeu sua juventude.