Чтобы не было путаницы с F, дам определение для движения некоторой точки x(t)
(разумеется, это не обязательно точка на прямой, она может принадлежать любому пространству, просто тогда вместо модуля нужно использовать норму).
Итак, если я правильно помню теорию динамических систем, то движение устойчиво по Ляпунову, если для всех траекторий 
выполняется
.
(Если при достаточно малых 
из 
следует 
, то движение называется асимтотически устойчивым по Ляпунову.)
Иными словами (и менее строго), система устойчива, если меняя начальные условия мы можем получить траекторию, сколь угодно близкую к исходной.
Дельта - сколь угодно малое расстояние,
- от которого зависит точка a;
Точка a не зависит от дельты. Это дельта выбирается в зависимости от a.
В рамках обозначения F(a,t) не совсем понятно, что оно означает. То ли точка a движется, и функция отражает движение точки, то ли точка a неподвижна, а функция сбоку пришита.
F(a,t) -- это в объяснениях, как я понял, положение точки a в момент t. a -- это, фактически, начало траектории.
Вообще, обычно пишут 
, где a -- параметр системы. Это имеет следующий смысл:
- для непрерывной системы: 
,
- для дискретной системы: 
.
Это можно выразить как F(a,t) = k*sin(w*(t-t0)).
Ясно, что такая система никогда не выйдет за пределы интервала [-k, k].
И в случае, если интервал [-k,k] полностью входит в множество M, система устойчива.
Заметь, что все неравенства записываются для одного момента времени. Даже для орбитальной устойчивости моменты времени "связаны". Так что принадлежность области значений множеству ни о чем не говорит.
upd. Забыл пояснение, которое, возможно, объяснит ситуацию с F.
Что есть динамическая система? Это некоторое (фазовое) пространство плюс [s]электрификация всей страны[/s] некий закон эволюции, который и обозначается буквой F.
То есть, если мы берем какую-то точку и "включаем" время, то каждый раз эволюция будет происходить одинаково (параметры-то те же).
Отсюда, например, следует тот факт, что траектории фазового пространства не пересекаются.
Если эволюция является канонической, т.е. подчиняется уравнениям Гамильтона, то система называется канонической.
Если представлять траекторию как нитку в пространстве, то эволюция системы будет представлять собой некий "клубок". Как еще говорят, "каплю фазовой жидкости". Вот поведением этой "капли" и занимается теория динамических систем -- очень интересная, кстати, наука.
Например, по теореме Лиувилля в канонических системах фазовый объем ("объем капли") всегда сохраняется. Отсюда следует теорема Пуанкаре, которая говорит о том, что какую бы малую мы не брали окрестность вокруг начальной точки, система всегда пройдет через нее. То есть, если в безвоздушной камере находится газ в форме кубика, то он, конечно, распределиться по всей камере. Но не навсегда. По теореме Пуанкаре он обязательно соберется обратно в кубик. Другое дело, что ждать придется долго... 
Теперь про устойчивость. Мы из одной точки "выпускаем" некоторую траекторию.
- Если при малом смещении начальной точки траектория "ляжет" вплотную к начальной, то система устойчива по Ляпунову.
- Если при малом смещении начальной точки траектория будет "плясать" как хочет, но в итоге где-то далеко будет почти совпадать с начальной (т.е. малое изменение начальных условий практически не влияет на эволюцию) и чем дальше, тем ближе, то система асимптотически устойчива по Ляпунову.
- Если новая траектория будет лежать рядом со старой геометрически, но соседним точкам старой и новой траекторий соответствуют разные моменты времени -- это орбитальная устойчивость.
Есть еще структурная устойчивость (вроде ее Понтрягин ввел), но она, имхо, сложно формализуется.
Про экспоненциальную устойчивость не помню -- надо в книжке посмотреть. Вроде это связано в показателями Ляпунова -- мерой "разбегания" траекторий.
Вот так вотъ.