Tyto metody jsou většinou iterační a založeny na následujícím algoritmickém schématu: Sestrojíme nejprve výchozí přípustné řešení (tj. bod z množinyM). Potom se postupně pohybujeme k dalším přípustným bodům, ve kterých je hodnota účelové funkce nižší. Takto pokračujeme, dokud je patrná změna účelové funkce, pokud již patrná není, tak výsledný bod prohlásíme za kandidáta na optimum. Tyto metody konvergují pouze k lokálnímu minimu. Proto je nutné celý proces opakovat s různými volbami výchozích přípustných řešení. Velkou výhodou proto je úloha tzv. konvexního programování, neboť tam je každé lokální minimum zároveň minimem globálním.