Se supone que MathJax esta soportado en Github. A ver si sirve.
Este es un seno cuadrado: \( sin(x^2) \).