Dans cet article, nous proposons un nouveau descripteur spatio-temporel appelé ST-SURF pour l'analyse et la reconnaissance d'actions dans des flux vidéo. L'idée principale est d'enrichir le descripteur Speed Up Robust Feature (SURF) en intégrant l'information de mouvement issue du flot optique. Seuls les points d'intérêts qui ont subi un déplacement sont pris en compte pour générer un dictionnaire de mots visuels (DMV) robuste basé sur l'algorithme des k-moyennes (K-means). Le dictionnaire est utilisé lors du processus d'apprentissage et de reconnaissance d'actions basé sur la méthode des machines à vecteurs supports (SVM). Les résultats obtenus confirment l'intérêt du descripteur proposé ST-SURF pour l'analyse de scènes et en particulier pour la reconnaissance d'actions. La méthode atteind une précision de reconnaissance de l'ordre de 80.7%, équivalente aux performances des descripteurs spatio-temporels de l'état de l'art.