El hermano mayor de Olsen, Chris Jr., jugó como mariscal de campo de la Universidad de Virginia en Charlottesville, Virginia. Su hermano también trató de conseguir un lugar en la lista de los Bears durante su minicampamento de novatos en mayo de 2007, pero no le dieron un contrato. Su hermano menor Kevin fue reclutado en gran medida por varias escuelas de D1 antes de decidir tocar en el alma mater de Greg en Miami. Después de los incidentes durante su primer y segundo año, Kevin fue despedido del equipo y de la universidad. Kevin firmó con los Charlotte 49ers en 2015 para vivir y jugar en la misma ciudad que su hermano Greg. El 19 de febrero de 2017, Kevin fue arrestado por múltiples cargos. Kevin fue declarado inocente en octubre de 2018.