comparaison test between JuMP and OptimalControl Models

[Nico77310]

No description provided.

[ocots]

@Nico77310 Il faut avoir comme tests:

• le solveur avec le modèle JuMP converge
• le solveur avec le modèle OptimalControl converge
• les deux solutions donnent le même objectif
• les deux solutions donnent la même init (tester avec max_iter=0)
• les deux solutions sont identiques en norme $L^2$ sur chaque composante

Important

De plus, il faudra modifier les modèles OptimalControl pour pouvoir utiliser ExaModels >pour modéliser le NLP obtenu après discrétisation. Dans ce cas, la dynamique doit être donnée par composante. Voir ce problème par exemple. Ajouter un argument nommé (exa::Bool=false) pour choisir si la dynamique est donnée de manière vectorielle ou par composante:

OptimalControlProblems.jl/ext/OptimalControlModels/beam.jl

Lines 5 to 17 in 538d8eb

	function OptimalControlProblems.beam(::OptimalControlBackend; nh::Int=100)
	# Model
	ocp = @def begin
	t ∈ [0, 1], time
	x ∈ R², state
	u ∈ R, control
	x(0) == [0, 1]
	x(1) == [0, -1]
	ẋ(t) == [x₂(t), u(t)]
	0 ≤ x₁(t) ≤ 0.1
	-10 ≤ u(t) ≤ 10
	∫(u(t)^2) → min
	end

[ocots]

@Nico77310 Il faut aussi :

• ajouter une fonction available_problems() qui renvoie la liste des problèmes disponibles
• utiliser cette fonction dans la documentation au lieu du tableau pour indiquer la liste des problèmes dispos
• ajouter un test à la fin du runtests :

@test list_of_problems_final == available_problems()

pour vérifier que la fonction available_problems est toujours à jour.

[antoinepichon03]

@Nico77310 Il faut aussi :

• ajouter une fonction available_problems() qui renvoie la liste des problèmes disponibles
• utiliser cette fonction dans la documentation au lieu du tableau pour indiquer la liste des problèmes dispos
• ajouter un test à la fin du runtests :

@test list_of_problems_final == available_problems()

pour vérifier que la fonction available_problems est toujours à jour.

Hello @ocots ! For the available_problems function, I implemented a solution using a text file cache that gets written every time you run the tests. This way, you can access the list of available/working problems without having to recompile or re-run the entire test suite. The function reads from this cached file to return the last known working problems list. What do you think about this approach? Do you see any potential improvements or issues with this caching strategy?

[antoinepichon03]

I can't push in the branch, can you send me the permission please ? @ocots

[Nico77310]

Hello @ocots, could you review comparison tests between JuMP and OC ? Thank you by advance.

[ocots]

@Nico77310 Je fais une relecture. Je vais faire quelques modifications. Il faut que tu merges la PR #80

[ocots]

@Nico77310 @antoinepichon03 Voici mes remarques, je fais en fonction du code sur la PR #80.

• La comparaison sur l'objectif peut se faire en même temps que celle sur la solution.
• La comparaison sur l'init doit pouvoir partager le même code que celle sur la solution. Juste le max_iter qui change. Factoriser le code.
• La fonction available_problems doit se trouver dans le module OptimalControlProblems et être exportée.

Note

Il faudrait faire ces petits changements pour passer ensuite à l'ajout des modèles avec la dynamique donnée par composante (ce qui est un gros boulot).

[ocots]

@Nico77310 @antoinepichon03 Avez-vous vu mes messages plus haut ?

[antoinepichon03]

@Nico77310 @antoinepichon03 Avez-vous vu mes messages plus haut ?

Pardon je n'avais pas vu, je regarde ça de suite.

[ocots]

@Nico77310 Attention, il y a pleins de problèmes sans init ou avec une init partielle (c'est-à-dire parfois seul le contrôle est initialisé, parfois la variable n'est pas initialisé). Il faut que tous les problèmes aient une init. Mettre 0.1 par défaut.

[ocots]

Todo :

• Tests en relatif (voir optinum) : 1%
• Ne pas afficher dans les tests ceux qui passent
• Comparaison init sur grille et solution en norme L2 : "init (L2 norm), sol (L2 norm)"

Attention, pour les problèmes sous forme de Lagrange, il faut le pas dans le critère discrétisé :

OptimalControlProblems.jl/ext/JuMPModels/beam.jl

Line 42 in 5ba5fe7

@objective(model, Min, sum(u[t]^2 for t in 0:nh))

step * sum(u[t]^2 for t in 0:nh)

[PierreMartinon]

Attention, pour les problèmes sous forme de Lagrange, il faut le pas dans le critère discrétisé :

OptimalControlProblems.jl/ext/JuMPModels/beam.jl

Line 42 in 5ba5fe7

@objective(model, Min, sum(u[t]^2 for t in 0:nh))

step * sum(u[t]^2 for t in 0:nh)

Hello a tous,

D'ailleurs il faudrait plutot sommer de 0 a nh-1 seulement non (euler), ou bien re-ecrire la somme pour trapeze (faire fonction annexe pour ca ?).

Autre chose, tous les problemes de maximization ratent le test d'objectif car dans OC ils sont transformes en minimization. Le signe est retabli a la construction de la solution, mais si on prend l'objectif de la solution du NLP, c'est l'oppose. Il faut tester l'objectif de la solution OCP au lieu de la solution NLP, ie obj_oc = objective(sol) au lieu de obj_oc = nlp_sol.objective.

https://github.com/control-toolbox/OptimalControlProblems.jl/blob/5ba5fe753b588f84e109ee3f168fd410dd3f56d9/test/test_Comparison.jl#L180C1-L180C39

[PierreMartinon]

See #81 also for some updates / fixes.

Suggestions for the main comparison tests

• use relative error for the Lp norm tests
• disable costate init tests entirely since we have no control over this part

The figures are great to check whether the trajectories match or not !

[PierreMartinon]

Some minor fixes for the Jump tests:

• in the metadata, the control variables names must be given as a list even if there is only one, otherwise the test script will try to get the symbol for the first letter only. This will work for 1-letter names such as "u", but not in the general case :D ex: cart_pendulum, glider
• moonlander: use tf as variable instead of step, with expression for step
• space shuttle: Dt being a vector causes an error at test_Comparison:89

[PierreMartinon]

@Nico77310 I synchronised with branch problems_update, don't forget to pull

[ocots]

@Nico77310 Can you please push your updates and make a point on what you have done since last meeting and what you have to do?

[ocots]

@Nico77310 English please.