nm2

import%20marimo%0A%0A__generated_with%20%3D%20%220.11.20%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20sympy%20as%20sm%0A%0A%20%20%20%20import%20os%0A%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20os.chdir(%22assets%2Farticles%2Fnotebooks%22)%0A%20%20%20%20except%3A%0A%20%20%20%20%20%20%20%20pass%0A%0A%20%20%20%20def%20display_iframe(path%3Astr)%3A%0A%20%20%20%20%20%20%20%20%23%20Read%20the%20saved%20Plotly%20HTML%20file%0A%20%20%20%20%20%20%20%20with%20open(path%2C%20%22r%22)%20as%20f%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20html_content%20%3D%20f.read()%0A%0A%20%20%20%20%20%20%20%20%23%20Display%20it%20in%20Jupyter%20Notebook%0A%20%20%20%20%20%20%20%20return%20mo.iframe(html_content%2Cheight%3D'500px')%0A%20%20%20%20return%20display_iframe%2C%20go%2C%20mo%2C%20np%2C%20os%2C%20plt%2C%20sm%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%20Optimization%2C%20Newton's%20Method%2C%20%26%20Profit%20Maximization%3A%20Part%202%20-%20Constrained%20Optimization%20Theory%0A%20%20%20%20%20%20%20%20%3Ccenter%3E%20**Learn%20how%20to%20solve%20constrained%20optimization%20problems**%20%3C%2Fcenter%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Introduction%0A%0A%20%20%20%20%20%20%20%20%3E%20This%20article%20is%20the%20**2nd**%20in%20a%203%20part%20series.%20In%20the%20%3Ca%20href%3D%22%2Farticles%2Fnm1%22%20target%3D%22_blank%22%20rel%3D%22noopener%20noreferrer%22%3E1st%20part%3C%2Fa%3E%2C%20we%20studied%20basic%20optimization%20theory.%20Now%2C%20in%20pt.%202%2C%20we%20will%20extend%20this%20theory%20to%20constrained%20optimization%20problems.%20Lastly%2C%20in%20%3Ca%20href%3D%22%2Farticles%2Fnm3%22%20target%3D%22_blank%22%20rel%3D%22noopener%20noreferrer%22%3Ept.%203%3C%2Fa%3E%2C%20we%20will%20apply%20the%20optimization%20theory%20covered%2C%20as%20well%20as%20econometric%20and%20economic%20theory%2C%20to%20solve%20a%20profit%20maximization%20problem%0A%0A%20%20%20%20%20%20%20%20Consider%20the%20following%20problem%3A%20You%20want%20to%20determine%20how%20much%20money%20to%20invest%20in%20specific%20financial%20instruments%20to%20maximize%20your%20return%20on%20investment.%20However%2C%20the%20problem%20of%20simply%20maximizing%20your%20return%20on%20investment%20is%20too%20broad%20and%20simple%20of%20an%20optimization%20question%20to%20ask.%20By%20virtue%20of%20the%20simplicity%2C%20the%20solution%20is%20to%20just%20invest%20all%20of%20your%20money%20in%20the%20financial%20instrument%20has%20the%20highest%20probability%20for%20the%20highest%20return.%20Clearly%20this%20is%20not%20a%20good%20investment%20strategy%3B%20so%2C%20how%20can%20we%20improve%20this%3F%20By%20putting%20constraints%20on%20the%20investment%20decisions%2C%20our%20choice%20variables.%20For%20example%2C%20we%20can%20specify%20constraints%20that%2C%20to%20name%20a%20couple%2C%201)%20limit%20the%20amount%20of%20financial%20risk%20we%20are%20willing%20to%20entertain%20(see%20%5Bmodern%20portfolio%20theory%5D(https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FModern_portfolio_theory))%20or%202)%20specify%20the%20amount%20of%20our%20portfolio%20to%20be%20allocated%20towards%20each%20category%20of%20financial%20instruments%20(equity%2C%20bonds%2C%20derivatives%2C%20etc.)%20%E2%80%94%20the%20possibilities%20are%20endless.%20Notice%20how%20this%20problem%20becomes%20significantly%20more%20tractable%20as%20we%20add%20constraints.%20Despite%20this%20simple%20example%2C%20it%20helps%20to%20capture%20a%20fundamental%20motivation%20of%20constrained%20optimization%3A%0A%0A%20%20%20%20%20%20%20%20%3E%20The%20essence%20of%20constrained%20optimization%20is%20to%20provide%20unconstrained%20optimization%20problems%20a%20sense%20of%20tractability%20and%20applicability%20to%20complex%20real%20world%20problems.%0A%0A%0A%20%20%20%20%20%20%20%20Constrained%20optimization%20is%20defined%20as%20%E2%80%9Cthe%20process%20of%20optimizing%20an%20objective%20function%20with%20respect%20to%20some%20variables%20in%20the%20presence%20of%20constraints%20on%20those%20variables.%E2%80%9D%5B1%5D%20The%20process%20of%20adding%20constraints%20on%20the%20variables%20transforms%20an%20unconstrained%20and%2C%20perhaps%2C%20intractable%20optimization%20problem%20into%20one%20which%20can%20help%20model%20and%20solve%20a%20real%20world%20problem.%20However%2C%20the%20addition%20of%20constraints%20can%20turn%20a%20simple%20optimization%20problem%20into%20a%20problem%20that%20is%20no%20longer%20trivial.%20In%20this%20post%2C%20we%20will%20dive%20into%20some%20of%20the%20techniques%20that%20we%20can%20add%20to%20our%20toolbox%20to%20extend%20the%20unconstrained%20optimization%20theory%2C%20learned%20in%20part%201%20of%20this%20series%2C%20to%20now%20solve%20constrained%20optimization%20problems.%0A%0A%20%20%20%20%20%20%20%20%3E%20In%20%3Ca%20href%3D%22%2Farticles%2Fnm1%22%20target%3D%22_blank%22%20rel%3D%22noopener%20noreferrer%22%3Epart%201%3C%2Fa%3E%2C%20we%20covered%20basic%20optimization%20theory%20%E2%80%94%20including%201)%20setting%20up%20and%20solving%20a%20simple%20single%20variable%20optimization%20problem%20analytically%2C%202)%20iterative%20optimization%20schemes%20%E2%80%94%20namely%2C%20gradient%20descent%20%26%20Newton%E2%80%99s%20Method%2C%20and%203)%20implementing%20Newton%E2%80%99s%20method%20by%20hand%20and%20in%20python%20for%20a%20multi-dimensional%20optimization%20problem.%20This%20article%20is%20designed%20to%20be%20accessible%20for%20those%20who%20are%20already%20familiar%20with%20the%20content%20covered%20in%20part%201.%0A%0A%20%20%20%20%20%20%20%20%23%23%20Optimization%20Basics%20-%20Part%201%20Recap%0A%0A%20%20%20%20%20%20%20%20A%20mathematical%20optimization%20problem%20can%20be%20formulated%20abstractly%20as%20such%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Cbegin%7Bequation%7D%0A%20%20%20%20%20%20%20%20%5Cbegin%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Cmin_%7B%5Cmathbf%7Bx%7D%7D%20%5Cquad%26%20f(%5Cmathbf%7Bx%7D)%2C%20%5Cmathbf%7Bx%7D%3D%5Bx_1%2Cx_2%2C%5Cdots%2Cx_n%5D%5ET%20%5Cin%20%5Cmathbb%7BR%7D%5En%20%5C%5C%0A%20%20%20%20%20%20%20%20%5Ctext%7Bsubject%20to%7D%20%5Cquad%20%26%20g_j(%5Cmathbf%7Bx%7D)%20%5Cle%200%2C%20j%3D1%2C2%2C%5Cdots%2Cm%20%5C%5C%0A%20%20%20%20%20%20%20%20%26%20h_j(%5Cmathbf%7Bx%7D)%20%3D%200%2C%20j%3D1%2C2%2C%5Cdots%2Cr%20%0A%20%20%20%20%20%20%20%20%5Cend%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Ctag%7B1%7D%0A%20%20%20%20%20%20%20%20%5Cend%7Bequation%7D%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20where%20we%20choose%20real%20values%20of%20the%20vector%20%24%5Cmathbf%7Bx%7D%24%20that%20minimize%20the%20objective%20function%20%24f(%5Cmathbf%7Bx%7D)%24%20(or%20maximize%20-%24f(%5Cmathbf%7Bx%7D)%24)%20subject%20to%20the%20inequality%20constraints%20%24g(x)%24%20and%20equality%20constraints%20%24h(x)%24.%20In%20part%201%2C%20we%20discussed%20how%20to%20solve%20these%20problems%20in%20the%20absence%20of%20%24g(x)%24%20and%20%24h(x)%24%20and%20now%20we%20will%20introduce%20these%20back%20into%20our%20optimization%20problem.%20First%2C%20let%E2%80%99s%20succinctly%20recap%20how%20to%20implement%20Newton%E2%80%99s%20method%20for%20unconstrained%20problems.%0A%0A%20%20%20%20%20%20%20%20Recall%20that%20we%20can%20approximate%20the%20first%20order%20necessary%20condition%20of%20a%20minimum%20using%20a%20Taylor%20Series%20expansion%3A%0A%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Cbegin%7Bequation%7D%0A%20%20%20%20%20%20%20%200%20%3D%20%5Cnabla%20f(%5Cmathbf%7Bx%7D%5E*)%3D%5Cnabla%20f(%5Cmathbf%7Bx%7D_k%20%2B%20%5CDelta)%20%3D%20%5Cnabla%20f(%5Cmathbf%7Bx%7D_k)%20%2B%20%5Cmathbf%7BH%7D(%5Cmathbf%7Bx%7D_k)%5CDelta%5CRightarrow%20%5CDelta%20%3D%20-%5Cmathbf%7BH%7D%5E%7B-1%7D(%5Cmathbf%7Bx%7D_k)%5Cnabla%20f(%5Cmathbf%7Bx%7D_k)%0A%20%20%20%20%20%20%20%20%5Ctag%7B2%7D%0A%20%20%20%20%20%20%20%20%5Cend%7Bequation%7D%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20where%20%24%5Cmathbf%7BH%7D(%5Cmathbf%7Bx%7D)%24%20and%20%24%5Cnabla%20f(%5Cmathbf%7Bx%7D)%24%20denote%20the%20Hessian%20and%20gradient%20of%20%24f(%5Cmathbf%7Bx%7D)%24%2C%20respectively.%20Each%20iterative%20addition%20of%20delta%2C%20%24%5CDelta%24%2C%20is%20an%20expected%20better%20approximation%20of%20the%20optimal%20values%20%24%5Cmathbf%7Bx%7D%5E*%24.%20Thus%2C%20each%20iterative%20step%20using%20the%20NM%20can%20be%20represented%20as%20follows%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Cbegin%7Bequation%7D%0A%20%20%20%20%20%20%20%20%5Cmathbf%7Bx%7D_%7Bk%2B1%7D%20%3D%20%5Cmathbf%7Bx%7D_k%20-%5Cmathbf%7BH%7D%5E%7B-1%7D(%5Cmathbf%7Bx%7D_k)%5Cnabla%20f(%5Cmathbf%7Bx%7D_k)%0A%20%20%20%20%20%20%20%20%5Ctag%7B3%7D%0A%20%20%20%20%20%20%20%20%5Cend%7Bequation%7D%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20We%20do%20this%20scheme%20until%20we%20reach%20convergence%20across%20one%20or%20more%20of%20the%20following%20criteria%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Cbegin%7Bequation%7D%0A%20%20%20%20%20%20%20%20%5Cbegin%7Baligned%7D%0A%20%20%20%20%20%20%20%20%26%5Ctext%7BCriteria%201%3A%20%7D%20%5ClVert%20%5Cmathbf%7Bx%7D_k%20-%20%5Cmathbf%7Bx%7D_%7Bk-1%7D%20%5CrVert%20%3C%20%5Cepsilon_1%20%5C%5C%5B6pt%5D%0A%20%20%20%20%20%20%20%20%26%5Ctext%7BCriteria%202%3A%20%7D%20%5Clvert%20f(%5Cmathbf%7Bx%7D_k)%20-%20f(%5Cmathbf%7Bx%7D_%7Bk-1%7D)%20%5Crvert%20%3C%20%5Cepsilon_2%0A%20%20%20%20%20%20%20%20%5Cend%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Ctag%7B4%7D%0A%20%20%20%20%20%20%20%20%5Cend%7Bequation%7D%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20Putting%20this%20into%20python%20code%2C%20we%20make%20use%20of%20%5BSymPy%5D(https%3A%2F%2Fwww.sympy.org%2Fen%2Findex.html)%20%E2%80%94%20a%20python%20library%20for%20symbolic%20mathematics%20%E2%80%94%20and%20create%20generalizable%20functions%20to%20compute%20the%20gradient%2C%20compute%20the%20Hessian%2C%20and%20implement%20Newton%E2%80%99s%20method%20for%20an%20n-dimensional%20function%20(see%20%3Ca%20href%3D%22%2Farticles%2Fnm1%22%20target%3D%22_blank%22%20rel%3D%22noopener%20noreferrer%22%3Epart%201%3C%2Fa%3E%20for%20full%20recap)%20and%2C%20leveraging%20these%20functions%2C%20we%20can%20solve%20an%20unconstrained%20optimization%20problem%20as%20follows%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(np%2C%20sm)%3A%0A%20%20%20%20%23%20Functions%20constructed%20in%20Part%201%0A%0A%20%20%20%20def%20get_gradient(%0A%20%20%20%20%20%20%20%20function%3A%20sm.Expr%2C%0A%20%20%20%20%20%20%20%20symbols%3A%20list%5Bsm.Symbol%5D%2C%0A%20%20%20%20%20%20%20%20x0%3A%20dict%5Bsm.Symbol%2C%20float%5D%2C%20%20%23%20Add%20x0%20as%20argument%0A%20%20%20%20)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Calculate%20the%20gradient%20of%20a%20function%20at%20a%20given%20point.%0A%0A%20%20%20%20%20%20%20%20Args%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20function%20(sm.Expr)%3A%20The%20function%20to%20calculate%20the%20gradient%20of.%0A%20%20%20%20%20%20%20%20%20%20%20%20symbols%20(list%5Bsm.Symbol%5D)%3A%20The%20symbols%20representing%20the%20variables%20in%20the%20function.%0A%20%20%20%20%20%20%20%20%20%20%20%20x0%20(dict%5Bsm.Symbol%2C%20float%5D)%3A%20The%20point%20at%20which%20to%20calculate%20the%20gradient.%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20numpy.ndarray%3A%20The%20gradient%20of%20the%20function%20at%20the%20given%20point.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20d1%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20gradient%20%3D%20np.array(%5B%5D)%0A%0A%20%20%20%20%20%20%20%20for%20i%20in%20symbols%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20d1%5Bi%5D%20%3D%20sm.diff(function%2C%20i%2C%201).evalf(subs%3Dx0)%20%20%23%20add%20evalf%20method%0A%20%20%20%20%20%20%20%20%20%20%20%20gradient%20%3D%20np.append(gradient%2C%20d1%5Bi%5D)%0A%0A%20%20%20%20%20%20%20%20return%20gradient.astype(np.float64)%20%20%23%20Change%20data%20type%20to%20float%0A%0A%20%20%20%20def%20get_hessian(%0A%20%20%20%20%20%20%20%20function%3A%20sm.Expr%2C%0A%20%20%20%20%20%20%20%20symbols%3A%20list%5Bsm.Symbol%5D%2C%0A%20%20%20%20%20%20%20%20x0%3A%20dict%5Bsm.Symbol%2C%20float%5D%2C%0A%20%20%20%20)%20-%3E%20np.ndarray%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Calculate%20the%20Hessian%20matrix%20of%20a%20function%20at%20a%20given%20point.%0A%0A%20%20%20%20%20%20%20%20Args%3A%0A%20%20%20%20%20%20%20%20function%20(sm.Expr)%3A%20The%20function%20for%20which%20the%20Hessian%20matrix%20is%20calculated.%0A%20%20%20%20%20%20%20%20symbols%20(list%5Bsm.Symbol%5D)%3A%20The%20list%20of%20symbols%20used%20in%20the%20function.%0A%20%20%20%20%20%20%20%20x0%20(dict%5Bsm.Symbol%2C%20float%5D)%3A%20The%20point%20at%20which%20the%20Hessian%20matrix%20is%20evaluated.%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20numpy.ndarray%3A%20The%20Hessian%20matrix%20of%20the%20function%20at%20the%20given%20point.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20d2%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20hessian%20%3D%20np.array(%5B%5D)%0A%0A%20%20%20%20%20%20%20%20for%20i%20in%20symbols%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20j%20in%20symbols%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20d2%5Bf%22%7Bi%7D%7Bj%7D%22%5D%20%3D%20sm.diff(function%2C%20i%2C%20j).evalf(subs%3Dx0)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hessian%20%3D%20np.append(hessian%2C%20d2%5Bf%22%7Bi%7D%7Bj%7D%22%5D)%0A%0A%20%20%20%20%20%20%20%20hessian%20%3D%20np.array(np.array_split(hessian%2C%20len(symbols)))%0A%0A%20%20%20%20%20%20%20%20return%20hessian.astype(np.float64)%0A%0A%20%20%20%20def%20newtons_method(%0A%20%20%20%20%20%20%20%20function%3A%20sm.Expr%2C%0A%20%20%20%20%20%20%20%20symbols%3A%20list%5Bsm.Symbol%5D%2C%0A%20%20%20%20%20%20%20%20x0%3A%20dict%5Bsm.Symbol%2C%20float%5D%2C%0A%20%20%20%20%20%20%20%20iterations%3A%20int%20%3D%20100%2C%0A%20%20%20%20%20%20%20%20tolerance%3A%20float%20%3D%2010e-5%2C%0A%20%20%20%20%20%20%20%20verbose%3A%20int%20%3D%201%2C%0A%20%20%20%20)%20-%3E%20dict%5Bsm.Symbol%2C%20float%5D%20or%20None%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Perform%20Newton's%20method%20to%20find%20the%20solution%20to%20the%20optimization%20problem.%0A%0A%20%20%20%20%20%20%20%20Args%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20function%20(sm.Expr)%3A%20The%20objective%20function%20to%20be%20optimized.%0A%20%20%20%20%20%20%20%20%20%20%20%20symbols%20(list%5Bsm.Symbol%5D)%3A%20The%20symbols%20used%20in%20the%20objective%20function.%0A%20%20%20%20%20%20%20%20%20%20%20%20x0%20(dict%5Bsm.Symbol%2C%20float%5D)%3A%20The%20initial%20values%20for%20the%20symbols.%0A%20%20%20%20%20%20%20%20%20%20%20%20iterations%20(int%2C%20optional)%3A%20The%20maximum%20number%20of%20iterations.%20Defaults%20to%20100.%0A%20%20%20%20%20%20%20%20%20%20%20%20tolerance%20(float%2C%20optional)%3A%20Threshold%20for%20determining%20convergence.%0A%20%20%20%20%20%20%20%20%20%20%20%20verbose%20(int%2C%20optional)%3A%20Control%20verbosity%20of%20output.%200%20is%20no%20output%2C%201%20is%20full%20output.%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20dict%5Bsm.Symbol%2C%20float%5D%20or%20None%3A%20The%20solution%20to%20the%20optimization%20problem%2C%20or%20None%20if%20no%20solution%20is%20found.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%0A%20%20%20%20%20%20%20%20x_star%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20x_star%5B0%5D%20%3D%20np.array(list(x0.values()))%0A%0A%20%20%20%20%20%20%20%20if%20verbose%20!%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Starting%20Values%3A%20%7Bx_star%5B0%5D%7D%22)%0A%0A%20%20%20%20%20%20%20%20for%20i%20in%20range(iterations)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20gradient%20%3D%20get_gradient(function%2C%20symbols%2C%20dict(zip(x0.keys()%2C%20x_star%5Bi%5D)))%0A%20%20%20%20%20%20%20%20%20%20%20%20hessian%20%3D%20get_hessian(function%2C%20symbols%2C%20dict(zip(x0.keys()%2C%20x_star%5Bi%5D)))%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20x_star%5Bi%20%2B%201%5D%20%3D%20x_star%5Bi%5D.T%20-%20np.linalg.inv(hessian)%20%40%20gradient.T%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20np.linalg.norm(x_star%5Bi%20%2B%201%5D%20-%20x_star%5Bi%5D)%20%3C%20tolerance%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20solution%20%3D%20dict(zip(x0.keys()%2C%20%5Bfloat(x)%20for%20x%20in%20x_star%5Bi%20%2B%201%5D%5D))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20verbose%20!%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%5CnConvergence%20Achieved%20(%7Bi%2B1%7D%20iterations)%3A%20Solution%20%3D%20%7Bsolution%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20solution%20%3D%20None%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20verbose%20!%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Step%20%7Bi%2B1%7D%3A%20%7Bx_star%5Bi%2B1%5D%7D%22)%0A%0A%20%20%20%20%20%20%20%20return%20solution%0A%20%20%20%20return%20get_gradient%2C%20get_hessian%2C%20newtons_method%0A%0A%0A%40app.cell%0Adef%20_(newtons_method%2C%20sm)%3A%0A%20%20%20%20def%20unconstrained_rosenbrocks()%3A%0A%20%20%20%20%20%20%20%20x%2C%20y%20%3D%20sm.symbols(%22x%20y%22)%0A%20%20%20%20%20%20%20%20Gamma%20%3D%20%5Bx%2C%20y%5D%0A%20%20%20%20%20%20%20%20objective%20%3D%20100%20*%20(y%20-%20x**2)%20**%202%20%2B%20(1%20-%20x)%20**%202%20%20%23%20Objective%20function%0A%20%20%20%20%20%20%20%20Gamma0%20%3D%20%7Bx%3A%20-1.2%2C%20y%3A%201%7D%20%20%23%20Initial%20Guess%0A%0A%20%20%20%20%20%20%20%20return%20newtons_method(objective%2C%20Gamma%2C%20Gamma0)%0A%0A%20%20%20%20_%20%3D%20unconstrained_rosenbrocks()%0A%20%20%20%20return%20(unconstrained_rosenbrocks%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20If%20all%20of%20the%20material%20reviewed%20above%20feels%20extremely%20foreign%2C%20then%20I%20recommend%20taking%20a%20look%20at%20%3Ca%20href%3D%22%2Farticles%2Fnm1%22%20target%3D%22_blank%22%20rel%3D%22noopener%20noreferrer%22%3Epart%201%3C%2Fa%3E%20for%20a%20full%20recap.%20Without%20further%20ado%2C%20let%E2%80%99s%20dive%20into%20implementing%20constraints%20in%20our%20optimization%20problems.%0A%0A%20%20%20%20%20%20%20%20%23%23%20Solving%20Constrained%20Optimization%20Problems%0A%0A%20%20%20%20%20%20%20%20%3E%20Note%3A%20All%20of%20the%20following%20constrained%20optimization%20techniques%20can%20and%20should%20be%20incorporated%20w%2F%20gradient%20descent%20algorithms%20when%20applicable!%0A%0A%20%20%20%20%20%20%20%20As%20we%20discussed%20above%20there%20are%20two%20possible%20constraints%20on%20an%20objective%20function%20%E2%80%94%20equality%20and%20inequality%20constraints.%20Note%20that%20there%20are%20varying%20methodologies%20out%20there%20for%20dealing%20with%20each%20type%20of%20constraint%20with%20varying%20pros%20and%20cons.%20See%20%5B2%5D%20for%20a%20further%20discussion%20of%20different%20methodologies.%20Nevertheless%2C%20we%20will%20hone%20our%20focus%20in%20on%20two%20methodologies%2C%20one%20for%20equality%20and%20one%20for%20inequality%20constraints%2C%20that%20I%20believe%20are%20robust%20in%20their%20performance%2C%20easy%20to%20grasp%20for%20newcomers%2C%20and%20easily%20integrated%20together%20into%20one%20cohesive%20problem.%0A%0A%20%20%20%20%20%20%20%20%23%23%23%20Equality%20Constraints%20-%20The%20Langrangian%0A%0A%20%20%20%20%20%20%20%20First%2C%20we%20will%20address%20optimization%20problems%20with%20equality%20constraints%20in%20our%20optimization%20problem.%20That%20is%2C%20optimization%20problems%20that%20take%20the%20form%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Cbegin%7Bequation%7D%0A%20%20%20%20%20%20%20%20%5Cbegin%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Cmin_%7B%5Cmathbf%7Bx%7D%7D%20%5Cquad%26%20f(%5Cmathbf%7Bx%7D)%2C%20%5Cmathbf%7Bx%7D%3D%5Bx_1%2Cx_2%2C%5Cdots%2Cx_n%5D%5ET%20%5Cin%20%5Cmathbb%7BR%7D%5En%20%5C%5C%0A%20%20%20%20%20%20%20%20%5Ctext%7Bsubject%20to%7D%20%5Cquad%26%20h_j(%5Cmathbf%7Bx%7D)%20%3D%200%2C%20j%3D1%2C2%2C%5Cdots%2Cr%20%0A%20%20%20%20%20%20%20%20%5Cend%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Ctag%7B5%7D%0A%20%20%20%20%20%20%20%20%5Cend%7Bequation%7D%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20Suppose%20we%20are%20working%20with%20the%20Rosenbrock%E2%80%99s%20Parabolic%20Valley%2C%20as%20in%20part%201%2C%20but%20now%20with%20the%20equality%20constraint%20that%20%24x%5E2%20-%20y%20%3D%202%24%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Cbegin%7Bequation%7D%0A%20%20%20%20%20%20%20%20%5Cbegin%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Cmin_%7B%5CGamma%7D%20%5Cquad%26%20100(y-x%5E2)%5E2%2B(1-x)%5E2%2C%20%5CGamma%20%3D%20%5Cbegin%7Bbmatrix%7D%20x%20%5C%5C%20y%20%5Cend%7Bbmatrix%7D%20%5Cin%20%5Cmathbb%7BR%7D%5E2%20%5C%5C%0A%20%20%20%20%20%20%20%20%5Ctext%7Bsubject%20to%7D%20%5Cquad%26%20x%5E2-y%20%3D2%20%5CLeftrightarrow%20x%5E2-y-2%3D0%0A%20%20%20%20%20%20%20%20%5Cend%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Ctag%7B6%7D%0A%20%20%20%20%20%20%20%20%5Cend%7Bequation%7D%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20Note%20that%2C%20for%20simplicity%20and%20consistency%2C%20the%20equality%20constraints%20should%20be%20written%20such%20that%20they%20are%20equal%20to%20zero.%20Now%20our%20optimization%20problem%20looks%20like%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(go%2C%20mo%2C%20np)%3A%0A%20%20%20%20def%20eqc_rosenbrocks_viz_3d()%3A%0A%20%20%20%20%20%20%20%20%23%20Define%20the%20Rosenbrock%20function%0A%20%20%20%20%20%20%20%20def%20rosenbrock(x%2C%20y)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20100%20*%20(y%20-%20x**2)%20**%202%20%2B%20(1%20-%20x)%20**%202%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20the%20grid%0A%20%20%20%20%20%20%20%20x%20%3D%20np.linspace(-4%2C%204%2C%20100)%0A%20%20%20%20%20%20%20%20y%20%3D%20np.linspace(-4%2C%204%2C%20100)%0A%20%20%20%20%20%20%20%20X%2C%20Y%20%3D%20np.meshgrid(x%2C%20y)%0A%20%20%20%20%20%20%20%20Z%20%3D%20rosenbrock(X%2C%20Y)%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20constraint%20curve%20points%0A%20%20%20%20%20%20%20%20x_constraint%20%3D%20np.linspace(-np.sqrt(6)%2C%20np.sqrt(6)%2C%20500)%0A%20%20%20%20%20%20%20%20y_constraint%20%3D%20x_constraint**2%20-%202%0A%20%20%20%20%20%20%20%20z_constraint%20%3D%20rosenbrock(x_constraint%2C%20y_constraint)%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20the%20figure%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%0A%20%20%20%20%20%20%20%20%23%20Add%20the%20Rosenbrock%20surface%0A%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Surface(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3DX%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3DY%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20z%3DZ%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20colorscale%3D'plasma'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D0.8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D'Rosenbrocks%20Surface'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20colorbar%3Ddict(x%3D-0.15)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DTrue%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Add%20the%20constraint%20curve%0A%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter3d(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx_constraint%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dy_constraint%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20z%3Dz_constraint%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'lines'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D'green'%2C%20width%3D5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D'Constraint%3A%20y%20%3D%20x%5E2%20-%202%3B%20feasible%20region'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Add%20the%20unconstrained%20optimum%20point%0A%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter3d(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B1%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B1%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20z%3D%5Brosenbrock(1%2C%201)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D6%2C%20color%3D'red'%2C%20symbol%3D'cross')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D'Unconstrained%20Optimum%20(1%2C1)'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Add%20the%20constrained%20optimum%20point%0A%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter3d(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B1%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B-1%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20z%3D%5Brosenbrock(1%2C%20-1)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D6%2C%20color%3D'green')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D'Constrained%20Optimum%20(1%2C-1)'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Update%20the%20layout%0A%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D'Rosenbrocks%20Parabolic%20Valley%20with%20Equality%20Constraints'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20scene%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D'X'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D'Y'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20zaxis_title%3D'Z'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20camera%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20eye%3Ddict(x%3D1.5%2C%20y%3D1.5%2C%20z%3D1.5)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20fig.write_image('data%2Feqc_rosenbrocks_viz_3d.webp'%2C%20format%3D'webp'%2C%20scale%3D5)%0A%20%20%20%20%20%20%20%20fig.write_html(%22data%2Feqc_rosenbrocks_viz_3d.html%22)%0A%0A%20%20%20%20eqc_rosenbrocks_viz_3d()%0A%20%20%20%20mo.image(%22data%2Feqc_rosenbrocks_viz_3d.webp%22%2C%20height%3D500).center()%0A%20%20%20%20%23%20display_iframe(%22data%2Feqc_rosenbrocks_viz_3d.html%22)%0A%20%20%20%20return%20(eqc_rosenbrocks_viz_3d%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%5BView%20Interactive%20Plotly%20Graph%5D(%2Farticles%2Fnotebooks%2Fdata%2Feqc_rosenbrocks_viz_3d.html)%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20def%20eqc_rosenbrocks_viz_contour()%3A%0A%20%20%20%20%20%20%20%20%23%20Define%20the%20Rosenbrock%20function%0A%20%20%20%20%20%20%20%20def%20rosenbrock(x%2C%20y)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20100%20*%20(y%20-%20x**2)%20**%202%20%2B%20(1%20-%20x)%20**%202%0A%0A%20%20%20%20%20%20%20%20%23%20Compute%20gradient%0A%20%20%20%20%20%20%20%20def%20grad_rosenbrock(x%2C%20y)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20df_dx%20%3D%20-400%20*%20x%20*%20(y%20-%20x**2)%20-%202%20*%20(1%20-%20x)%0A%20%20%20%20%20%20%20%20%20%20%20%20df_dy%20%3D%20200%20*%20(y%20-%20x**2)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20df_dx%2C%20df_dy%0A%0A%20%20%20%20%20%20%20%20%23%20Define%20the%20grid%0A%20%20%20%20%20%20%20%20x_vals%20%3D%20np.linspace(-4%2C%204%2C%20100)%0A%20%20%20%20%20%20%20%20y_vals%20%3D%20np.linspace(-4%2C%204%2C%20100)%0A%20%20%20%20%20%20%20%20X%2C%20Y%20%3D%20np.meshgrid(x_vals%2C%20y_vals)%0A%20%20%20%20%20%20%20%20Z%20%3D%20rosenbrock(X%2C%20Y)%0A%0A%20%20%20%20%20%20%20%20%23%20Compute%20gradients%20for%20quiver%20plot%0A%20%20%20%20%20%20%20%20dX%2C%20dY%20%3D%20grad_rosenbrock(X%2C%20Y)%0A%0A%20%20%20%20%20%20%20%20%23%20Define%20constraint%3A%20y%20%3D%20x%5E2%20-%202%0A%20%20%20%20%20%20%20%20x_constraint%20%3D%20np.linspace(-np.sqrt(6)%2C%20np.sqrt(6)%2C%20500)%0A%20%20%20%20%20%20%20%20y_constraint%20%3D%20x_constraint**2%20-%202%0A%0A%20%20%20%20%20%20%20%20%23%20Plot%20contours%20of%20Rosenbrock%20function%0A%20%20%20%20%20%20%20%20plt.figure(dpi%3D125)%0A%20%20%20%20%20%20%20%20contour%20%3D%20plt.contour(X%2C%20Y%2C%20Z%2C%20levels%3D50%2C%20cmap%3D%22plasma%22)%0A%20%20%20%20%20%20%20%20plt.colorbar(contour)%0A%0A%20%20%20%20%20%20%20%20%23%20Overlay%20gradient%20field%0A%20%20%20%20%20%20%20%20plt.quiver(X%2C%20Y%2C%20dX%2C%20dY%2C%20color%3D%22red%22%2C%20alpha%3D0.6)%0A%0A%20%20%20%20%20%20%20%20%23%20Mark%20the%20optimization%20point%20(theoretical%20minimum%20at%20(1%2C1))%0A%20%20%20%20%20%20%20%20plt.scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22red%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3D%22x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20s%3D100%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Unconstrained%20Optimum%20(1%2C1)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20zorder%3D3%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20plt.scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20-1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22green%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3D%22o%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20s%3D100%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Constrained%20Optimum%20(1%2C-1)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20zorder%3D3%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Plot%20constraint%20curve%0A%20%20%20%20%20%20%20%20plt.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20x_constraint%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y_constraint%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22green%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Constraint%3A%20%24y%20%3D%20x%5E2%20-%202%24%3B%20Feasible%20Region%22%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Labels%20and%20legend%0A%20%20%20%20%20%20%20%20plt.xlabel(%22X%22)%0A%20%20%20%20%20%20%20%20plt.ylabel(%22Y%22)%0A%20%20%20%20%20%20%20%20plt.title(%22Contour%20Representation%22)%0A%20%20%20%20%20%20%20%20plt.legend(loc%3D%22lower%20center%22%2C%20bbox_to_anchor%3D(0.5%2C%20-0.4))%0A%20%20%20%20%20%20%20%20plt.savefig(%22data%2Feqc_rosenbrocks_viz_contour.webp%22%2C%20format%3D%22webp%22%2C%20dpi%3D300%2C%20bbox_inches%3D'tight')%0A%0A%20%20%20%20eqc_rosenbrocks_viz_contour()%0A%20%20%20%20mo.image(%22data%2Feqc_rosenbrocks_viz_contour.webp%22%2C%20height%3D600).center()%0A%20%20%20%20return%20(eqc_rosenbrocks_viz_contour%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20where%20the%20**feasible%20region**%20of%20the%20optimal%20values%20lie%20along%20the%20intersection%20of%20the%20equality%20constraint%20curve%20and%20our%20objective%20function%20above.%0A%0A%20%20%20%20%20%20%20%20Joseph-Louis%20Lagrange%20developed%20a%20method%20for%20incorporating%20an%20equality%20constraint%20directly%20into%20the%20objective%20function%20%E2%80%94%20creating%20the%20Lagrangian%20function%20%E2%80%94%20so%20that%20traditional%20approaches%20using%20first%20and%20second%20derivates%20can%20still%20be%20applied.%5B2%5D%5B3%5D%20Formally%2C%20the%20Lagrangian%20function%20takes%20the%20following%20form%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Cbegin%7Bequation%7D%0A%20%20%20%20%20%20%20%20%5Cbegin%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Cmathcal%7BL%7D%0A%20%20%20%20%20%20%20%20(%5Cmathbf%7Bx%7D%2C%5CLambda)%20%26%3D%20f(%5Cmathbf%7Bx%7D)%2B%5Csum%5Er_%7Bj%3D1%7D%5Clambda_jh_j(%5Cmathbf%7Bx%7D)%2C%20%5C%5C%0A%20%20%20%20%20%20%20%20%5Cmathbf%7Bx%7D%26%3D%5Bx_1%2Cx_2%2C%5Cdots%2Cx_n%5D%20%5C%5C%0A%20%20%20%20%20%20%20%20%5CLambda%20%26%3D%20%5B%20%5Clambda_1%2C%20%5Clambda_2%2C%20%5Cdots%2C%5Clambda_r%5D%0A%20%20%20%20%20%20%20%20%5Cend%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Ctag%7B7%7D%0A%20%20%20%20%20%20%20%20%5Cend%7Bequation%7D%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20where%20%24f(%5Cmathbf%7Bx%7D)%24%20and%20%24h(%5Cmathbf(%7Bx%7D)%24%20are%20the%20objective%20function%20and%20equality%20constraints%2C%20respectively.%20%24%5CLambda%24%20are%20the%20Lagrange%20multipliers%20that%20correspond%20to%20each%20equality%20constraint%20%24h_j%24.%20The%20Lagrange%20multipliers%20are%20treated%20as%20new%20choice%20variables%20in%20the%20Lagrangian%20function.%20It%20just%20so%20happens%20that%20the%20necessary%20conditions%20for%20%24%5Cmathbf%7Bx%7D%5E*%24%20to%20be%20a%20minimum%20of%20the%20equality%20constrained%20problem%20is%20that%20%24%5Cmathbf%7Bx%7D%5E*%24%20corresponds%20to%20the%20stationarity%20points%20of%20the%20Lagrangian%20%24(%5Cmathbf%7Bx%7D%5E*%2C%20%5CLambda%5E*)%24.%20That%20is%2C%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Cbegin%7Bequation%7D%0A%20%20%20%20%20%20%20%20%5Cbegin%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Cfrac%7B%5Cpartial%7B%5Cmathcal%7BL%7D%7D%7D%7B%5Cpartial%7Bx_i%7D%7D(%5Cmathbf%7Bx%7D%5E*%2C%20%5CLambda%5E*)%3D0%2C%20i%3D1%2C2%2C%5Cdots%2Cn%20%5C%5C%5B8pt%5D%0A%20%20%20%20%20%20%20%20%5Cfrac%7B%5Cpartial%7B%5Cmathcal%7BL%7D%7D%7D%7B%5Cpartial%7B%5Clambda_i%7D%7D(%5Cmathbf%7Bx%7D%5E*%2C%20%5CLambda%5E*)%3D0%2C%20i%3D1%2C2%2C%5Cdots%2Cn%0A%20%20%20%20%20%20%20%20%5Cend%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Ctag%7B8%7D%0A%20%20%20%20%20%20%20%20%5Cend%7Bequation%7D%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20For%20our%20above%20example%20%E2%80%94%20eq.%206%20%E2%80%94%20we%20can%20write%20our%20Lagrangian%20function%20as%20follows%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Cbegin%7Bequation%7D%0A%20%20%20%20%20%20%20%20%5Cmathcal%7BL%7D(%5CGamma%2C%5Clambda)%20%3D%20100(y-x%5E2)%5E2%2B(1-x)%5E2%2B%5Clambda(x%5E2-y-2)%0A%20%20%20%20%20%20%20%20%5Ctag%7B9%7D%0A%20%20%20%20%20%20%20%20%5Cend%7Bequation%7D%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20We%20can%20then%20solve%20this%20Lagrangian%20using%20Newton%E2%80%99s%20method%20(or%20gradient%20descent!)%2C%20but%20now%20including%20the%20Lagrange%20multipliers%20as%20additional%20choice%20variables.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(newtons_method%2C%20sm)%3A%0A%20%20%20%20def%20eqc_rosenbrocks()%3A%0A%20%20%20%20%20%20%20%20x%2C%20y%2C%20%CE%BB%20%3D%20sm.symbols(%22x%20y%20%CE%BB%22)%0A%0A%20%20%20%20%20%20%20%20lagrangian%20%3D%20100%20*%20(y%20-%20x**2)%20**%202%20%2B%20(1%20-%20x)%20**%202%20%2B%20%CE%BB%20*%20(x**2%20-%20y%20-%202)%0A%20%20%20%20%20%20%20%20Gamma%20%3D%20%5Bx%2C%20y%2C%20%CE%BB%5D%0A%20%20%20%20%20%20%20%20Gamma0%20%3D%20%7Bx%3A%20-1.2%2C%20y%3A%201%2C%20%CE%BB%3A%201%7D%0A%0A%20%20%20%20%20%20%20%20return%20newtons_method(lagrangian%2C%20Gamma%2C%20Gamma0)%0A%0A%20%20%20%20_%20%3D%20eqc_rosenbrocks()%0A%20%20%20%20return%20(eqc_rosenbrocks%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20One%20can%20easily%20verify%20that%20the%20solution%20satisfies%20our%20equality%20constraint.%20And%20there%20you%20have%20it!%20That%20wasn%E2%80%99t%20too%20bad%2C%20right%3F%20This%20method%20can%20be%20extended%20to%20add%20any%20number%20of%20equality%20constraints%20%E2%80%94%20just%20add%20another%20Lagrange%20multiplier.%20Let%E2%80%99s%20move%20on%20now%20to%20the%20incorporation%20of%20inequality%20constraints.%0A%0A%20%20%20%20%20%20%20%20%23%23%23%20Inequality%20Constraints%20-%20The%20Logarithmic%20Barrier%20Function%0A%0A%20%20%20%20%20%20%20%20Now%20we%20will%20address%20optimization%20problems%20with%20inequality%20constraints%20in%20our%20optimization%20problem.%20That%20is%2C%20optimization%20problems%20that%20take%20the%20form%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Cbegin%7Bequation%7D%0A%20%20%20%20%20%20%20%20%5Cbegin%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Cmin_%7B%5Cmathbf%7Bx%7D%7D%20%5Cquad%26%20f(%5Cmathbf%7Bx%7D)%2C%20%5Cmathbf%7Bx%7D%3D%5Bx_1%2Cx_2%2C%5Cdots%2Cx_n%5D%5ET%20%5Cin%20%5Cmathbb%7BR%7D%5En%20%5C%5C%0A%20%20%20%20%20%20%20%20%5Ctext%7Bsubject%20to%7D%20%5Cquad%26%20g_j(%5Cmathbf%7Bx%7D)%20%5Cle%200%2C%20j%3D1%2C2%2C%5Cdots%2Cm%0A%20%20%20%20%20%20%20%20%5Cend%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Ctag%7B10%7D%0A%20%20%20%20%20%20%20%20%5Cend%7Bequation%7D%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%0A%20%20%20%20%20%20%20%20Suppose%2C%20again%2C%20we%20are%20working%20with%20Rosenbrock%E2%80%99s%20Parabolic%20Valley%20but%20now%20with%20the%20inequality%20constraints%20%24x%20%5Cle%200%24%20and%20%24y%20%5Cge%203%24%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Cbegin%7Bequation%7D%0A%20%20%20%20%20%20%20%20%5Cbegin%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Cmin_%7B%5CGamma%7D%20%5Cquad%26%20100(y-x%5E2)%5E2%2B(1-x)%5E2%2C%20%5CGamma%20%3D%20%5Cbegin%7Bbmatrix%7D%20x%20%5C%5C%20y%20%5Cend%7Bbmatrix%7D%20%5Cin%20%5Cmathbb%7BR%7D%5E2%20%5C%5C%0A%20%20%20%20%20%20%20%20%5Ctext%7Bsubject%20to%7D%20%5Cquad%26%20x%20%5Cle%200%2C%20%5Cquad%20y%20%5Cge%203%0A%20%20%20%20%20%20%20%20%5Cend%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Ctag%7B11%7D%0A%20%20%20%20%20%20%20%20%5Cend%7Bequation%7D%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20Now%20our%20optimization%20problem%20looks%20like%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(go%2C%20mo%2C%20np)%3A%0A%20%20%20%20def%20ineqc_rosenbrocks_viz_3d()%3A%0A%20%20%20%20%20%20%20%20%23%20Define%20the%20Rosenbrock%20function%0A%20%20%20%20%20%20%20%20def%20rosenbrock(x%2C%20y)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20100%20*%20(y%20-%20x**2)%20**%202%20%2B%20(1%20-%20x)%20**%202%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20the%20grid%0A%20%20%20%20%20%20%20%20x%20%3D%20np.linspace(-4%2C%204%2C%20100)%0A%20%20%20%20%20%20%20%20y%20%3D%20np.linspace(-4%2C%208%2C%20100)%0A%20%20%20%20%20%20%20%20X%2C%20Y%20%3D%20np.meshgrid(x%2C%20y)%0A%20%20%20%20%20%20%20%20Z%20%3D%20rosenbrock(X%2C%20Y)%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20the%20figure%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%0A%20%20%20%20%20%20%20%20%23%20Add%20the%20Rosenbrock%20surface%0A%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Surface(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3DX%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3DY%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20z%3DZ%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20colorscale%3D'plasma'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D0.8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D'Rosenbrocks%20Parabolic%20Valley'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20colorbar%3Ddict(x%3D-0.15)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DTrue%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20constraint%20planes%0A%20%20%20%20%20%20%20%20%23%20For%20x%20%3C%3D%200%20constraint%0A%20%20%20%20%20%20%20%20yc%20%3D%20np.linspace(-4%2C%208%2C%2050)%0A%20%20%20%20%20%20%20%20zc%20%3D%20np.linspace(0%2C%20np.max(Z)%2C%2050)%0A%20%20%20%20%20%20%20%20YC%2C%20ZC%20%3D%20np.meshgrid(yc%2C%20zc)%0A%20%20%20%20%20%20%20%20XC%20%3D%20np.zeros_like(YC)%20%20%23%20x%20%3D%200%20plane%0A%0A%20%20%20%20%20%20%20%20%23%20For%20y%20%3E%3D%203%20constraint%0A%20%20%20%20%20%20%20%20xc%20%3D%20np.linspace(-4%2C%204%2C%2050)%0A%20%20%20%20%20%20%20%20zc%20%3D%20np.linspace(0%2C%20np.max(Z)%2C%2050)%0A%20%20%20%20%20%20%20%20XC2%2C%20ZC2%20%3D%20np.meshgrid(xc%2C%20zc)%0A%20%20%20%20%20%20%20%20YC2%20%3D%203%20*%20np.ones_like(XC2)%20%20%23%20y%20%3D%203%20plane%0A%0A%20%20%20%20%20%20%20%20%23%20Add%20constraint%20planes%0A%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Surface(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3DXC%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3DYC%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20z%3DZC%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20colorscale%3D%5B%5B0%2C%20'black'%5D%2C%20%5B1%2C%20'black'%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D0.3%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D'Constraint%3A%20x%20%E2%89%A4%200'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showscale%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Surface(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3DXC2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3DYC2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20z%3DZC2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20colorscale%3D%5B%5B0%2C%20'black'%5D%2C%20%5B1%2C%20'black'%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D0.6%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D'Constraint%3A%20y%20%E2%89%A5%203'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showscale%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Add%20the%20unconstrained%20optimum%20point%0A%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter3d(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B1%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B1%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20z%3D%5Brosenbrock(1%2C%201)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D6%2C%20color%3D'red'%2C%20symbol%3D'cross')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D'Unconstrained%20Optimum%20(1%2C1)'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Add%20the%20constrained%20optimum%20point%20(approximately%20at%20-1.73%2C%203)%0A%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter3d(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D%5B-1.73%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5B3%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20z%3D%5Brosenbrock(-1.73%2C%203)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D'markers'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D6%2C%20color%3D'green')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D'Constrained%20Optimum%20(-1.73%2C3)'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Define%20box%20edges%20for%20feasible%20region%0A%20%20%20%20%20%20%20%20box_edges%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B-4%2C%203%2C%200%5D%2C%20%5B-4%2C%203%2C%20np.max(Z)%5D%2C%20%5B0%2C%203%2C%20np.max(Z)%5D%2C%20%5B0%2C%203%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B-4%2C%208%2C%200%5D%2C%20%5B-4%2C%208%2C%20np.max(Z)%5D%2C%20%5B0%2C%208%2C%20np.max(Z)%5D%2C%20%5B0%2C%208%2C%200%5D%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20box_faces%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(0%2C%201%2C%202%2C%203)%2C%20(4%2C%205%2C%206%2C%207)%2C%20(0%2C%201%2C%205%2C%204)%2C%20(2%2C%203%2C%207%2C%206)%2C%20(0%2C%203%2C%207%2C%204)%2C%20(1%2C%202%2C%206%2C%205)%0A%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%20%20%20%20for%20i%2C%20face%20in%20enumerate(box_faces)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20x%20%3D%20%5Bbox_edges%5Bi%5D%5B0%5D%20for%20i%20in%20face%5D%20%2B%20%5Bbox_edges%5Bface%5B0%5D%5D%5B0%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%20%5Bbox_edges%5Bi%5D%5B1%5D%20for%20i%20in%20face%5D%20%2B%20%5Bbox_edges%5Bface%5B0%5D%5D%5B1%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20z%20%3D%20%5Bbox_edges%5Bi%5D%5B2%5D%20for%20i%20in%20face%5D%20%2B%20%5Bbox_edges%5Bface%5B0%5D%5D%5B2%5D%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20i%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_legend%3DTrue%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_legend%3DFalse%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter3d(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx%2C%20y%3Dy%2C%20z%3Dz%2C%20mode%3D'lines'%2C%20name%3D%22Feasible%20Region%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D'lightgreen'%2C%20width%3D4)%2C%20showlegend%3Dshow_legend%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Update%20the%20layout%0A%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D'Rosenbrocks%20Parabolic%20Valley%20with%20Inequality%20Constraints'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20scene%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D'X'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D'Y'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20zaxis_title%3D'Z'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20camera%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20eye%3Ddict(x%3D1.5%2C%20y%3D1.5%2C%20z%3D1.5)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DTrue%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20fig.write_html(%22data%2Fineqc_rosenbrocks_viz_3d.html%22)%0A%20%20%20%20%20%20%20%20fig.write_image('data%2Fineqc_rosenbrocks_viz_3d.webp'%2C%20format%3D'webp'%2C%20scale%3D5)%0A%0A%20%20%20%20ineqc_rosenbrocks_viz_3d()%0A%20%20%20%20mo.image(%22data%2Fineqc_rosenbrocks_viz_3d.webp%22%2C%20height%3D500).center()%0A%20%20%20%20%23%20display_iframe(%22data%2Fineqc_rosenbrocks_viz_3d.html%22)%0A%20%20%20%20return%20(ineqc_rosenbrocks_viz_3d%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%5BView%20Interactive%20Plotly%20Graph%5D(%2Farticles%2Fnotebooks%2Fdata%2Fineqc_rosenbrocks_viz_3d.html)%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20def%20ineqc_rosenbrocks_viz_contour()%3A%0A%20%20%20%20%20%20%20%20%23%20Define%20the%20Rosenbrock%20function%0A%20%20%20%20%20%20%20%20def%20rosenbrock(x%2C%20y)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20100%20*%20(y%20-%20x**2)%20**%202%20%2B%20(1%20-%20x)%20**%202%0A%0A%20%20%20%20%20%20%20%20%23%20Compute%20gradient%0A%20%20%20%20%20%20%20%20def%20grad_rosenbrock(x%2C%20y)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20df_dx%20%3D%20-400%20*%20x%20*%20(y%20-%20x**2)%20-%202%20*%20(1%20-%20x)%0A%20%20%20%20%20%20%20%20%20%20%20%20df_dy%20%3D%20200%20*%20(y%20-%20x**2)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20df_dx%2C%20df_dy%0A%0A%20%20%20%20%20%20%20%20%23%20Define%20the%20grid%0A%20%20%20%20%20%20%20%20x_vals%20%3D%20np.linspace(-4%2C%204%2C%20100)%0A%20%20%20%20%20%20%20%20y_vals%20%3D%20np.linspace(-4%2C%208%2C%20100)%0A%20%20%20%20%20%20%20%20X%2C%20Y%20%3D%20np.meshgrid(x_vals%2C%20y_vals)%0A%20%20%20%20%20%20%20%20Z%20%3D%20rosenbrock(X%2C%20Y)%0A%0A%20%20%20%20%20%20%20%20%23%20Compute%20gradients%20for%20quiver%20plot%0A%20%20%20%20%20%20%20%20dX%2C%20dY%20%3D%20grad_rosenbrock(X%2C%20Y)%0A%0A%20%20%20%20%20%20%20%20%23%20Plot%20contours%20of%20Rosenbrock%20function%0A%20%20%20%20%20%20%20%20plt.figure(dpi%3D125)%0A%20%20%20%20%20%20%20%20contour%20%3D%20plt.contour(X%2C%20Y%2C%20Z%2C%20levels%3D50%2C%20cmap%3D%22plasma%22)%0A%20%20%20%20%20%20%20%20plt.colorbar(contour)%0A%0A%20%20%20%20%20%20%20%20%23%20Overlay%20gradient%20field%0A%20%20%20%20%20%20%20%20plt.quiver(X%2C%20Y%2C%20dX%2C%20dY%2C%20color%3D%22red%22%2C%20alpha%3D0.6)%0A%0A%20%20%20%20%20%20%20%20%23%20Mark%20the%20optimization%20points%0A%20%20%20%20%20%20%20%20plt.scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22red%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3D%22x%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20s%3D100%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Unconstrained%20Optimum%20(1%2C1)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20zorder%3D3%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20plt.scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20-1.73%2C%0A%20%20%20%20%20%20%20%20%20%20%20%203%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22green%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3D%22o%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20s%3D100%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Constrained%20Optimum%20(-1.73%2C3)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20zorder%3D3%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Plot%20constraint%20lines%0A%20%20%20%20%20%20%20%20plt.axvline(%0A%20%20%20%20%20%20%20%20%20%20%20%200%2C%20color%3D%22black%22%2C%20linestyle%3D%22-%22%2C%20linewidth%3D2%2C%20label%3D%22Constraint%3A%20%24x%20%5Cleq%200%24%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20plt.axhline(%0A%20%20%20%20%20%20%20%20%20%20%20%203%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22black%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Constraint%3A%20%24y%20%5Cgeq%203%24%22%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Shade%20infeasible%20regions%20in%20gray%0A%20%20%20%20%20%20%20%20plt.fill_betweenx(%0A%20%20%20%20%20%20%20%20%20%20%20%20y_vals%2C%200%2C%204%2C%20color%3D%22gray%22%2C%20alpha%3D0.5%0A%20%20%20%20%20%20%20%20)%20%20%23%20Shade%20region%20where%20x%20%3E%200%0A%20%20%20%20%20%20%20%20plt.fill_between(%0A%20%20%20%20%20%20%20%20%20%20%20%20x_vals%2C%20-4%2C%203%2C%20color%3D%22gray%22%2C%20alpha%3D0.5%0A%20%20%20%20%20%20%20%20)%20%20%23%20Shade%20region%20where%20y%20%3C%203%0A%0A%20%20%20%20%20%20%20%20%23%20Labels%20and%20legend%0A%20%20%20%20%20%20%20%20plt.xlabel(%22X%22)%0A%20%20%20%20%20%20%20%20plt.ylabel(%22Y%22)%0A%20%20%20%20%20%20%20%20plt.title(%22Contour%20Representation%22)%0A%20%20%20%20%20%20%20%20plt.legend(loc%3D%22lower%20center%22%2C%20bbox_to_anchor%3D(0.5%2C%20-0.4))%0A%20%20%20%20%20%20%20%20plt.savefig(%22data%2Fineqc_rosenbrocks_viz_contour.webp%22%2C%20format%3D%22webp%22%2C%20dpi%3D300%2C%20bbox_inches%3D'tight')%0A%0A%20%20%20%20ineqc_rosenbrocks_viz_contour()%0A%20%20%20%20mo.image(%22data%2Fineqc_rosenbrocks_viz_contour.webp%22%2C%20height%3D600).center()%0A%20%20%20%20return%20(ineqc_rosenbrocks_viz_contour%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20where%20the%20**feasible%20region**%20lies%20in%20the%20quadrant%20bounded%20by%20the%20constraints%20that%20is%20marked%20by%20the%20green%20box%20in%20the%203D%20plot%20or%20the%20unshaded%20region%20in%20the%20contour%20plot.%0A%0A%20%20%20%20%20%20%20%20Because%20these%20constraints%20do%20not%20have%20a%20strict%20equality%2C%20our%20ability%20to%20directly%20include%20them%20into%20the%20objective%20function%20is%20not%20as%20straightforward.%20However%2C%20we%20can%20get%20creative%20%E2%80%94%20what%20we%20can%20do%20is%20augment%20our%20objective%20function%20to%20include%20a%20%E2%80%9Cbarrier%E2%80%9D%20in%20the%20objective%20function%20that%20penalizes%20values%20of%20the%20solution%20that%20approach%20the%20bounds%20of%20the%20inequality%20constraints.%20These%20class%20of%20methods%20are%20known%20as%20%E2%80%9Cinterior-point%20methods%E2%80%9D%20or%20%E2%80%9Cbarrier%20methods.%E2%80%9D%5B4%5D%5B5%5D%20Like%20the%20Lagrangian%20function%2C%20we%20can%20transform%20our%20original%20constrained%20optimization%20problem%20into%20an%20unconstrained%20optimization%20problem%20by%20incorporating%20barrier%20functions%20(the%20logarithmic%20barrier%20function%20in%20our%20case)%20that%20can%20be%20solved%20using%20traditional%20methods%E2%80%94%20thereby%20creating%20the%20**barrier%20function**.%20Formally%2C%20the%20logarithmic%20barrier%20function%20is%20characterized%20by%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Cbegin%7Bequation%7D%0A%20%20%20%20%20%20%20%20%5Cbegin%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Cmathcal%7BB%7D%0A%20%20%20%20%20%20%20%20(%5Cmathbf%7Bx%7D%2C%5Crho)%20%26%3D%20f(%5Cmathbf%7Bx%7D)-%20%5Crho%5Csum%5Em_%7Bj%3D1%7D%5Clog(c_j(%5Cmathbf%7Bx%7D))%2C%20%5C%5C%0A%20%20%20%20%20%20%20%20%5Cmathbf%7Bx%7D%26%3D%5Bx_1%2Cx_2%2C%5Cdots%2Cx_n%5D%20%5C%5C%5B6pt%5D%0A%20%20%20%20%20%20%20%20c_j(%5Cmathbf%7Bx%7D)%20%26%3D%20%5Cbegin%7Bcases%7D%20%0A%20%20%20%20%20%20%20%20g_j(%5Cmathbf%7Bx%7D)%2C%20%26%20g_j(%5Cmathbf%7Bx%7D)%20%5Cgeq%200%20%5C%5C%0A%20%20%20%20%20%20%20%20-g_j(%5Cmathbf%7Bx%7D)%2C%20%26%20g_j(%5Cmathbf%7Bx%7D)%20%3C%200%0A%20%20%20%20%20%20%20%20%5Cend%7Bcases%7D%0A%20%20%20%20%20%20%20%20%5Cend%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Ctag%7B12%7D%0A%20%20%20%20%20%20%20%20%5Cend%7Bequation%7D%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20where%20%24%5Crho%24%20is%20a%20small%20positive%20scalar%20%E2%80%94%20known%20as%20the%20barrier%20parameter.%20As%20%24%5Crho%20%5Crightarrow%200%24%2C%20the%20solution%20of%20the%20barrier%20function%20%24%5Cmathcal%7BB%7D(%5Cmathbf%7BX%7D%2C%5Crho)%24%20should%20converge%20to%20the%20solution%20of%20our%20original%20constrained%20optimization%20function.%20Note%2C%20the%20%24c(x)%24%20states%20that%20depending%20on%20how%20we%20formulate%20our%20inequality%20constraints%20(greater%20than%20or%20less%20than%20zero)%20will%20dictate%20whether%20we%20use%20the%20negative%20or%20positive%20of%20that%20constraint.%20We%20know%20that%20%24y%3D%5Clog(x)%24%20is%20undefined%20for%20%24x%20%5Cle%200%24%2C%20thus%20we%20need%20to%20formulate%20our%20constraint%20to%20always%20be%20%24%5Cge%200%24.%0A%0A%20%20%20%20%20%20%20%20How%20exactly%20does%20the%20barrier%20method%20work%2C%20you%20may%20ask%3F%20To%20begin%20with%2C%20when%20using%20the%20barrier%20method%2C%20we%20must%20choose%20starting%20values%20that%20are%20in%20the%20feasible%20region.%20As%20the%20optimal%20values%20approach%20the%20%E2%80%9Cbarrier%E2%80%9D%20outlined%20by%20the%20constraint%2C%20this%20method%20relies%20on%20the%20fact%20that%20the%20logarithmic%20function%20approaches%20negative%20infinity%20as%20the%20value%20approaches%20zero%2C%20thereby%20penalizing%20the%20objective%20function%20value.%20As%20%24%5Crho%20%5Crightarrow%200%24%2C%20the%20penalization%20decreases%20(see%20figure%20directly%20below)%20and%20we%20converge%20to%20the%20solution.%20However%2C%20it%20is%20necessary%20to%20start%20with%20a%20sufficiently%20large%20%24%5Crho%24%20so%20that%20the%20penalization%20is%20large%20enough%20to%20prevent%20%E2%80%9Cjumping%E2%80%9D%20out%20of%20the%20barriers.%20Therefore%2C%20the%20algorithm%20has%20one%20extra%20loop%20than%20Newton%E2%80%99s%20method%20alone%20%E2%80%94%20namely%2C%20we%20choose%20a%20starting%20value%20%24%5Crho%24%2C%20optimize%20the%20barrier%20function%20using%20Newton%E2%80%99s%20method%2C%20then%20update%20%24%5Crho%24%20by%20slowly%20decreasing%20it%20(%24%5Crho%20%5Crightarrow%200%24)%2C%20and%20repeat%20until%20convergence.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20def%20logarithmic_barrier_function()%3A%0A%20%20%20%20%20%20%20%20%23%20Defining%20surface%20and%20axes%0A%20%20%20%20%20%20%20%20x%20%3D%20np.linspace(0.01%2C%2020%2C%201000)%0A%20%20%20%20%20%20%20%20y%20%3D%20np.log(x)%0A%20%20%20%20%20%20%20%20x2%20%3D%20np.linspace(0.000000000000000000001%2C%2020%2C%201000)%0A%20%20%20%20%20%20%20%20y2%20%3D%200.1%20*%20np.log(x2)%0A%0A%20%20%20%20%20%20%20%20fig%20%3D%20plt.figure(dpi%3D125)%0A%20%20%20%20%20%20%20%20ax%20%3D%20fig.add_subplot(1%2C%201%2C%201)%0A%20%20%20%20%20%20%20%20ax.spines%5B%22left%22%5D.set_position(%22zero%22)%0A%20%20%20%20%20%20%20%20ax.spines%5B%22bottom%22%5D.set_position(%22zero%22)%0A%20%20%20%20%20%20%20%20ax.spines%5B%22right%22%5D.set_color(%22none%22)%0A%20%20%20%20%20%20%20%20ax.spines%5B%22top%22%5D.set_color(%22none%22)%0A%0A%20%20%20%20%20%20%20%20ax.set_yticks(%5B-4%2C%20-3%2C%20-2%2C%20-1%2C%201%2C%202%2C%203%5D)%0A%20%20%20%20%20%20%20%20ax.set_xticks(%5B2%2C%204%2C%206%2C%208%2C%2010%2C%2012%2C%2014%2C%2016%2C%2018%2C%2020%5D)%0A%0A%20%20%20%20%20%20%20%20ax.text(x%3D16%2C%20y%3D3.2%2C%20s%3D%22%CF%81%20%3D%201%22)%0A%20%20%20%20%20%20%20%20ax.text(x%3D16%2C%20y%3D0.6%2C%20s%3D%22%CF%81%20%3D%200.1%22)%0A%0A%20%20%20%20%20%20%20%20%23%20plot%20the%20function%0A%20%20%20%20%20%20%20%20plt.plot(x%2C%20y%2C%20%22r%22)%0A%20%20%20%20%20%20%20%20plt.plot(x%2C%20y2%2C%20%22g%22)%0A%0A%20%20%20%20%20%20%20%20plt.savefig(%22data%2Flogarithmic_barrier_function.webp%22%2C%20format%3D%22webp%22%2C%20dpi%3D300)%0A%0A%20%20%20%20logarithmic_barrier_function()%0A%20%20%20%20mo.image(%22data%2Flogarithmic_barrier_function.webp%22%2C%20height%3D500).center()%0A%20%20%20%20return%20(logarithmic_barrier_function%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20Revisiting%20our%20example%20above%20%E2%80%94%20eq.%2011%20%E2%80%94%20we%20can%20write%20our%20barrier%20function%20as%20follows%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Cbegin%7Bequation%7D%0A%20%20%20%20%20%20%20%20%5Cmathcal%7BB%7D%0A%20%20%20%20%20%20%20%20(%5CGamma%2C%5Crho)%3D100(y-x%5E2)%5E2%2B(1-x)%5E2-%5Crho%5Clog((y-3)(-x))%0A%20%20%20%20%20%20%20%20%5Ctag%7B13%7D%0A%20%20%20%20%20%20%20%20%5Cend%7Bequation%7D%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20Recall%20that%20%24%5Clog(a)%20%2B%20%5Clog(b)%20%3D%20%5Clog(ab)%24%20and%20our%20one%20constraint%20%24x%20%5Cle%200%20%5Crightarrow%20-x%20%5Cge%200%24.%20We%20must%20then%20update%20our%20code%20to%20accommodate%20the%20barrier%20method%20algorithm%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(newtons_method%2C%20np%2C%20sm)%3A%0A%20%20%20%20def%20constrained_newtons_method(%0A%20%20%20%20%20%20%20%20function%3A%20sm.Expr%2C%0A%20%20%20%20%20%20%20%20symbols%3A%20list%5Bsm.Symbol%5D%2C%0A%20%20%20%20%20%20%20%20x0%3A%20dict%5Bsm.Symbol%2C%20float%5D%2C%0A%20%20%20%20%20%20%20%20rho_steps%3A%20int%20%3D%20100%2C%0A%20%20%20%20%20%20%20%20discount_rate%3A%20float%20%3D%200.9%2C%0A%20%20%20%20%20%20%20%20newton_method_iterations%3A%20int%20%3D%20100%2C%0A%20%20%20%20%20%20%20%20tolerance%3A%20float%20%3D%2010e-5%2C%0A%20%20%20%20)%20-%3E%20dict%5Bsm.Symbol%2C%20float%5D%20%7C%20None%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Performs%20constrained%20Newton's%20method%20to%20find%20the%20optimal%20solution%20of%20a%20function%20subject%20to%20constraints.%0A%0A%20%20%20%20%20%20%20%20Args%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20function%20(sm.Expr)%3A%20The%20function%20to%20optimize.%0A%20%20%20%20%20%20%20%20%20%20%20%20symbols%20(list%5Bsm.Symbol%5D)%3A%20The%20symbols%20used%20in%20the%20function.%0A%20%20%20%20%20%20%20%20%20%20%20%20x0%20(dict%5Bsm.Symbol%2C%20float%5D)%3A%20The%20initial%20values%20for%20the%20symbols.%0A%20%20%20%20%20%20%20%20%20%20%20%20rho_steps%20(int%2C%20optional)%3A%20The%20number%20of%20steps%20to%20update%20rho.%20Defaults%20to%20100.%0A%20%20%20%20%20%20%20%20%20%20%20%20discount_rate%20(float%2C%20optional)%3A%20The%20scalar%20to%20discount%20rho%20by%20at%20each%20step.%20Default%20is%200.9.%0A%20%20%20%20%20%20%20%20%20%20%20%20newton_method_iterations%20(int%2C%20optional)%3A%20The%20maximum%20number%20of%20iterations%20in%20Newton%20Method%20internal%20loop.%20Defaults%20to%20100.%0A%20%20%20%20%20%20%20%20%20%20%20%20tolerance%20(float%2C%20optional)%3A%20Threshold%20for%20determining%20convergence.%0A%0A%20%20%20%20%20%20%20%20Returns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20dict%5Bsm.Symbol%2C%20float%5D%20or%20None%3A%20The%20optimal%20solution%20if%20convergence%20is%20achieved%2C%20otherwise%20None.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%0A%20%20%20%20%20%20%20%20rho%20%3D%20list(x0.keys())%5B-1%5D%0A%20%20%20%20%20%20%20%20optimal_solutions%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20optimal_solutions.append(x0)%0A%0A%20%20%20%20%20%20%20%20for%20step%20in%20range(rho_steps)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20step%20%25%2010%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(%22%5Cn%22%20%2B%20%22%3D%3D%3D%22%20*%2020)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Step%20%7Bstep%7D%20w%2F%20rho%3D%7Boptimal_solutions%5Bstep%5D%5Brho%5D%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(%22%3D%3D%3D%22%20*%2020%20%2B%20%22%5Cn%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Current%20solution%3A%20%7Boptimal_solutions%5Bstep%5D%7D%22)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20function_eval%20%3D%20function.evalf(subs%3D%7Brho%3A%20optimal_solutions%5Bstep%5D%5Brho%5D%7D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20values%20%3D%20optimal_solutions%5Bstep%5D.copy()%0A%20%20%20%20%20%20%20%20%20%20%20%20del%20values%5Brho%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20optimal_solution%20%3D%20newtons_method(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20function_eval%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20symbols%5B%3A-1%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20values%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20iterations%3Dnewton_method_iterations%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tolerance%3Dtolerance%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20verbose%3D0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20optimal_solutions.append(optimal_solution)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Check%20for%20overall%20convergence%0A%20%20%20%20%20%20%20%20%20%20%20%20current_solution%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Bv%20for%20k%2C%20v%20in%20optimal_solutions%5Bstep%5D.items()%20if%20k%20!%3D%20rho%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20previous_solution%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Bv%20for%20k%2C%20v%20in%20optimal_solutions%5Bstep%20-%201%5D.items()%20if%20k%20!%3D%20rho%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20np.linalg.norm(current_solution%20-%20previous_solution)%20%3C%20tolerance%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overall_solution%20%3D%20optimal_solutions%5Bstep%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20del%20overall_solution%5Brho%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%5Cn%20Overall%20Convergence%20Achieved%20(%7Bstep%7D%20steps)%3A%20Solution%20%3D%20%7Boverall_solution%7D%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overall_solution%20%3D%20None%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Update%20rho%0A%20%20%20%20%20%20%20%20%20%20%20%20optimal_solutions%5Bstep%20%2B%201%5D%5Brho%5D%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20discount_rate%20*%20optimal_solutions%5Bstep%5D%5Brho%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20return%20overall_solution%0A%20%20%20%20return%20(constrained_newtons_method%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22We%20can%20now%20solve%20the%20Barrier%20function%20with%20the%20code%20above%20(Note%3A%20Make%20sure%20starting%20values%20are%20in%20the%20feasible%20range%20of%20inequality%20constraints%20%26%20you%20may%20have%20to%20increase%20the%20starting%20value%20of%20rho%20if%20you%20jump%20out%20of%20inequality%20constraints)%3A%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(constrained_newtons_method%2C%20sm)%3A%0A%20%20%20%20def%20ineqc_rosenbrocks()%3A%0A%20%20%20%20%20%20%20%20x%2C%20y%2C%20%CF%81%20%3D%20sm.symbols(%22x%20y%20%CF%81%22)%0A%0A%20%20%20%20%20%20%20%20Barrier_objective%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20100%20*%20(y%20-%20x**2)%20**%202%20%2B%20(1%20-%20x)%20**%202%20-%20%CF%81%20*%20sm.log((-x)%20*%20(y%20-%203))%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20Gamma%20%3D%20%5Bx%2C%20y%2C%20%CF%81%5D%20%20%23%20Function%20requires%20last%20symbol%20to%20be%20%CF%81!%0A%20%20%20%20%20%20%20%20Gamma0%20%3D%20%7Bx%3A%20-15%2C%20y%3A%2015%2C%20%CF%81%3A%2010%7D%0A%0A%20%20%20%20%20%20%20%20return%20constrained_newtons_method(Barrier_objective%2C%20Gamma%2C%20Gamma0)%0A%0A%20%20%20%20_%20%3D%20ineqc_rosenbrocks()%0A%20%20%20%20return%20(ineqc_rosenbrocks%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20Again%2C%20one%20can%20verify%20the%20solution%20satisfies%20the%20inequality%20constraints%20specified.%20And%20there%20you%20have%20it.%20We%20have%20now%20tackled%20inequality%20constraints%20in%20our%20optimization%20problems.%20To%20wrap%20up%2C%20let%E2%80%99s%20put%20everything%20together%20and%20move%20on%20to%20tackling%20constrained%20optimization%20problems%20with%20mixed%20constraints%20%E2%80%94%20which%20is%20simply%20the%20combination%20of%20what%20we%20have%20done%20above.%0A%0A%20%20%20%20%20%20%20%20%23%23%23%20Putting%20it%20All%20Together%0A%0A%20%20%20%20%20%20%20%20Let%E2%80%99s%20now%20solve%20our%20optimization%20problem%20by%20combining%20both%20the%20equality%20and%20inequality%20constraints%20from%20above.%20That%20is%2C%20we%20want%20to%20solve%20an%20optimization%20of%20the%20form%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Cbegin%7Bequation%7D%0A%20%20%20%20%20%20%20%20%5Cbegin%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Cmin_%7B%5Cmathbf%7Bx%7D%7D%20%5Cquad%26%20f(%5Cmathbf%7Bx%7D)%2C%20%5Cmathbf%7Bx%7D%3D%5Bx_1%2Cx_2%2C%5Cdots%2Cx_n%5D%5ET%20%5Cin%20%5Cmathbb%7BR%7D%5En%20%5C%5C%0A%20%20%20%20%20%20%20%20%5Ctext%7Bsubject%20to%7D%20%5Cquad%20%26%20g_j(%5Cmathbf%7Bx%7D)%20%5Cle%200%2C%20j%3D1%2C2%2C%5Cdots%2Cm%20%5C%5C%0A%20%20%20%20%20%20%20%20%26%20h_j(%5Cmathbf%7Bx%7D)%20%3D%200%2C%20j%3D1%2C2%2C%5Cdots%2Cr%20%0A%20%20%20%20%20%20%20%20%5Cend%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Ctag%7B14%7D%0A%20%20%20%20%20%20%20%20%5Cend%7Bequation%7D%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20All%20we%20have%20to%20do%20is%20combine%20the%20Lagrangian%20and%20the%20Barrier%20functions%20into%20one%20function.%20Thus%2C%20we%20can%20create%20a%20generalizable%20function%2C%20call%20it%20O%2C%20for%20dealing%20with%20optimization%20problems%20that%20have%20both%20equality%20and%20inequality%20constraints%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Cbegin%7Bequation%7D%0A%20%20%20%20%20%20%20%20%5Cbegin%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Cmathcal%7BO%7D%0A%20%20%20%20%20%20%20%20(%5Cmathbf%7Bx%7D%2C%5CLambda%2C%5Crho)%20%26%3D%20f(%5Cmathbf%7Bx%7D)%20%2B%20%5Csum%5Er_%7Bj%3D1%7D%5Clambda_jh_j(%5Cmathbf%7Bx%7D)-%20%5Crho%5Csum%5Em_%7Bj%3D1%7D%5Clog(c_j(%5Cmathbf%7Bx%7D))%2C%20%5C%5C%0A%20%20%20%20%20%20%20%20%5Cmathbf%7Bx%7D%26%3D%5Bx_1%2Cx_2%2C%5Cdots%2Cx_n%5D%20%5C%5C%5B6pt%5D%0A%20%20%20%20%20%20%20%20%5CLambda%20%26%3D%20%5B%5Clambda_1%2C%5Clambda_2%2C%5Cdots%2C%5Clambda_r%5D%20%5C%5C%5B6pt%5D%0A%20%20%20%20%20%20%20%20c_j(%5Cmathbf%7Bx%7D)%20%26%3D%20%5Cbegin%7Bcases%7D%20%0A%20%20%20%20%20%20%20%20g_j(%5Cmathbf%7Bx%7D)%2C%20%26%20g_j(%5Cmathbf%7Bx%7D)%20%5Cgeq%200%20%5C%5C%0A%20%20%20%20%20%20%20%20-g_j(%5Cmathbf%7Bx%7D)%2C%20%26%20g_j(%5Cmathbf%7Bx%7D)%20%3C%200%0A%20%20%20%20%20%20%20%20%5Cend%7Bcases%7D%0A%20%20%20%20%20%20%20%20%5Cend%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Ctag%7B15%7D%0A%20%20%20%20%20%20%20%20%5Cend%7Bequation%7D%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20where%2C%20as%20before%2C%20%24%5CLambda%24%20is%20the%20vector%20of%20Lagrange%20multipliers%20and%20%24%5Crho%24%20is%20the%20barrier%20parameter.%20Thus%2C%20combining%20our%20constrained%20(Eq.%206)%20and%20unconstrained%20problems%20from%20above%20(Eq.%2011)%2C%20we%20can%20formulate%20our%20mixed%20constrained%20optimization%20problem%20as%20follows%3A%0A%0A%20%20%20%20%20%20%20%20%24%24%0A%20%20%20%20%20%20%20%20%5Cbegin%7Bequation%7D%0A%20%20%20%20%20%20%20%20%5Cbegin%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Cmathcal%7BO%7D%0A%20%20%20%20%20%20%20%20(%5CGamma%2C%5CLambda%2C%5Crho)%20%26%3D%20100(y-x%5E2)%5E2%2B(1-x)%5E2%2B%5Clambda(x%5E2-y-2)-%5Crho%20%5Ctimes%20%5Clog((y-3)(-x))%0A%20%20%20%20%20%20%20%20%5Cend%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Ctag%7B16%7D%0A%20%20%20%20%20%20%20%20%5Cend%7Bequation%7D%0A%20%20%20%20%20%20%20%20%24%24%0A%0A%20%20%20%20%20%20%20%20In%20python%2C%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(constrained_newtons_method%2C%20sm)%3A%0A%20%20%20%20def%20combined_rosenbrocks()%3A%0A%20%20%20%20%20%20%20%20x%2C%20y%2C%20%CE%BB%2C%20%CF%81%20%3D%20sm.symbols(%22x%20y%20%CE%BB%20%CF%81%22)%0A%0A%20%20%20%20%20%20%20%20combined_objective%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20100%20*%20(y%20-%20x**2)%20**%202%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(1%20-%20x)%20**%202%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%CE%BB%20*%20(x**2%20-%20y%20-%202)%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20%CF%81%20*%20sm.log((-x)%20*%20(y%20-%203))%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20Gamma%20%3D%20%5Bx%2C%20y%2C%20%CE%BB%2C%20%CF%81%5D%20%20%23%20Function%20requires%20last%20symbol%20to%20be%20%CF%81!%0A%20%20%20%20%20%20%20%20Gamma0%20%3D%20%7Bx%3A%20-15%2C%20y%3A%2015%2C%20%CE%BB%3A%200%2C%20%CF%81%3A%2010%7D%0A%0A%20%20%20%20%20%20%20%20return%20constrained_newtons_method(combined_objective%2C%20Gamma%2C%20Gamma0)%0A%0A%20%20%20%20_%20%3D%20combined_rosenbrocks()%0A%20%20%20%20return%20(combined_rosenbrocks%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%20%20%20%20And%20we%20can%20again%20verify%20this%20solution%20satisfies%20our%20contraints!%0A%0A%20%20%20%20%20%20%20%20%23%23%20Conclusion%0A%0A%20%20%20%20%20%20%20%20Phew.%20Take%20a%20deep%20breath%20%E2%80%94%20you%20earned%20it.%20Hopefully%20at%20this%20point%20you%20should%20have%20a%20much%20better%20understanding%20of%20the%20techniques%20to%20incorporate%20constraints%20into%20your%20optimization%20problems.%20We%20are%20still%20just%20brushing%20the%20surface%20of%20the%20different%20tools%20and%20techniques%20utilized%20in%20mathematical%20optimization.%0A%0A%20%20%20%20%20%20%20%20Stay%20tuned%20for%20part%203%20of%20this%20series%2C%20the%20final%20part%2C%20where%20we%20will%20apply%20the%20optimization%20material%20learned%20thus%20far%20alongside%20econometric%20%26%20economic%20theory%20to%20solve%20a%20profit%20maximization%20problem.%20It%20is%20my%20goal%20that%20part%203%20will%20bring%20home%20everything%20we%20have%20covered%20and%20show%20a%20practical%20use%20case.%20As%20usual%2C%20I%20hope%20you%20have%20enjoyed%20reading%20this%20much%20as%20much%20I%20have%20enjoyed%20writing%20it!%0A%0A%20%20%20%20%20%20%20%20%23%23%20References%0A%0A%20%20%20%20%20%20%20%20%5B1%5D%20https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FConstrained_optimization%0A%0A%20%20%20%20%20%20%20%20%5B2%5D%20Snyman%2C%20J.%20A.%2C%20%26%20Wilke%2C%20D.%20N.%20(2019).%20Practical%20mathematical%20optimization%3A%20Basic%20optimization%20theory%20and%20gradient-based%20algorithms%20(2nd%20ed.).%20Springer.%0A%0A%20%20%20%20%20%20%20%20%5B3%5D%20https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FLagrange_multiplier%0A%0A%20%20%20%20%20%20%20%20%5B4%5D%20https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FInterior-point_method%0A%0A%20%20%20%20%20%20%20%20%5B5%5D%20https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FBarrier_function%0A%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22text-align%3A%20center%3B%20font-size%3A%2024px%3B%22%3E%E2%9D%96%E2%9D%96%E2%9D%96%3C%2Fdiv%3E%0A%0A%20%20%20%20%20%20%20%20%3Ccenter%3E%0A%20%20%20%20%20%20%20%20Access%20all%20the%20code%20via%20this%20Marimo%20Notebook%20or%20my%20%5BGitHub%20Repo%5D(https%3A%2F%2Fgithub.com%2Fjakepenzak%2Fblog-posts)%0A%0A%20%20%20%20%20%20%20%20I%20appreciate%20you%20reading%20my%20post!%20My%20posts%20primarily%20explore%20real-world%20and%20theoretical%20applications%20of%20econometric%20and%20statistical%2Fmachine%20learning%20techniques%2C%20but%20also%20whatever%20I%20am%20currently%20interested%20in%20or%20learning%20%F0%9F%98%81.%20At%20the%20end%20of%20the%20day%2C%20I%20write%20to%20learn!%20I%20hope%20to%20make%20complex%20topics%20slightly%20more%20accessible%20to%20all.%0A%20%20%20%20%20%20%20%20%3C%2Fcenter%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A