راهنمایی در درک این موضوع

[silver65]

من نمی فهمم این چی می گه شما ببینید ازش چی متوجه میشین (مفهوم)

Why does the minimum have to lie on a tangent of the two level sets? Well, imagine that it didn’t. Then we could pick one of the two level sets (say the l1 surface) and follow it in the direction decreasing the other term, which would make the LASSO objective smaller. So if we’re not sitting on a tangent point, we’re for sure not at the minimum


توضیح:lasso جمع دو تا جمله l1 وl2 هست.

که l1 شبیه لوزی هست و l2 شبیه دایره
می گن مینیمم lasso روی نقطه مماس این دو تا سطح l1 وl2 قرار می گیره و چون l1 لوزیه (در اصل چون گوشه داره و تیزه ) این نقطه مماس روی همین سطح l1 واقع میشه !:blink:

حالا اینجا مثلا دلیل اینکه مینیمم روی مماس این دو شکل میفته رو توضیح داده ببینین چیزی ازش متوجه میشین

اینم لینک اصلیش بین دو تا شکل آخری اینو گفته

[ برای مشاهده لینک ، لطفا با نام کاربری خود وارد شوید یا ثبت نام کنید ]

[silver65]

گفتم شاید بعضی دوستان ف ی ل ت ر شکن نداشته باشن بهتره متن و شکلش رو بذارم همینجا

این l1 هست (که در حالت دوبعدی همون لوزیه )
[ برای مشاهده لینک ، لطفا با نام کاربری خود وارد شوید یا ثبت نام کنید ] ([ برای مشاهده لینک ، لطفا با نام کاربری خود وارد شوید یا ثبت نام کنید ])

اینم l2 (که در حالت دوبعدی دایره هست)
[ برای مشاهده لینک ، لطفا با نام کاربری خود وارد شوید یا ثبت نام کنید ] ([ برای مشاهده لینک ، لطفا با نام کاربری خود وارد شوید یا ثبت نام کنید ])

و اینم دلیل
Why does the minimum have to lie on a tangent of the two level sets? Well, imagine that it didn’t. Then we could pick one of the two level sets (say the l1 surface) and follow it in the direction decreasing the other term, which would make the LASSO objective smaller. So if we’re not sitting on a tangent point, we’re for sure not at the minimum.
All that’s left is to argue that the tangent points are likely to be at axes, and for that we have another picture!
[ برای مشاهده لینک ، لطفا با نام کاربری خود وارد شوید یا ثبت نام کنید ] ([ برای مشاهده لینک ، لطفا با نام کاربری خود وارد شوید یا ثبت نام کنید ])
For this argument we’ve downgraded from 3-space to 2 dimensions. The pretty picture shows you possible configurations of tangent points of l1 and l2 surfaces (keeping their centers fixed). The configurations are split up by the relative sizes of the pointy l1 thingy (cross polytope) and the rounded l2 thingy (hyperellipsoid). When the l1 box is large and the l2 ball is small the box looks like a plane from the perspective of the ball and they tend to be tangent on the side of the box (picture a). As the ball gets bigger relative to the pointy box thing, the point of tangency moves closer to the pointy vertex of the box (pictures b, c, d). When the point of tangency is at a vertex, then we’ve zero’d at least one coefficient.

[silver65]

این جواب یکی از دوستان هست که لطف کردن و پاسخ دادن


سلام

شما فرض کن در نقطه ای مثل x میینیمم رخ داده .حالا فرض کن L1 در نقطه x مقدار a رو داره و L2 در نقطه x مقدار b رو داره.حالا بیا همه نقاطی رو در فضا در نظر بگیر که L1 در اون نقاط میشه a. که خوب اسم این سطحو میزاریم لوزیگون!دقت کنید که در داخل لوزیگون مقدار L1 کمتر از a میشه و روی لوزیگون L1 دقیقا a میشه و بیرون لوزیگون L1 بیشتر از a میشه!
همچنین نقاطی رو در فضا در نظر بگیر که L2 در اون نقاط میشه b که خوب اسم این سطحو میزاریم بیضیگون!دقت کنید که در داخل بیضیگون مقدار L2 کمتر از b میشه و روی بیضیگون L2 دقیقا b میشه و بیرون لوزیگون L2 بیشتر از b میشه!
حالا نکته اینه که شما اگه بتونی از نقطه x روی سطح لوزیگون ، طوری حرکت کنی که همچنان روی لوزیگون بمونی و بری داخل بیضیگون ، چون L1 ثابت میمونه و L2 کم میشه مقدار lasso کم میشه. پس چون x مینیممه ما نباید بتونیم همچین حرکتی انجام بدیم!
خوب حالا میشه با کمی تجسم هندسی فهمید که اگه قسمتی از لوزیگون داخل بیضیگون باشه ، حتما میشه همچین حرکتی انجام داد!
پس هیچ قسمتی از لوزیگون نباید داخل بیضیگون باشه و با توجه به اینکه هر دو از x می گذرن ، باید یه جورایی مماس باشن!

من یه جورایی نمیدونم در ریاضتش یا تصورش مشکل دارم حالا سعی می کنم با شکل بگم چی فهمیدم از توضیحات خوب آقا علی

[ برای مشاهده لینک ، لطفا با نام کاربری خود وارد شوید یا ثبت نام کنید ] arrow&space;min%28lasso%29=a+b

که x نقطه ای در فضا هست aوb مقدار عددی l1 و l2 در آن مختصات

خوب چیزی که من متوجه شدم به این صورت هست

[ برای مشاهده لینک ، لطفا با نام کاربری خود وارد شوید یا ثبت نام کنید ] ([ برای مشاهده لینک ، لطفا با نام کاربری خود وارد شوید یا ثبت نام کنید ])
(البته فک کنم شکل سمت راستی رو بد گذاشتم چون قسمت آخر متن بالا حالتی که نقطه مماس روی محورها (راسها) باشن رو جدا توضیح داده البته متوجه نشدم چرا)
ولی سوال:

1- چیزی که من متوجه شدم اینه که a, b رو کلا سطح رویه l1 وl2 در نظر گرفتن؟درسته؟ اگر اینطورهست ممکنه با توجه به تعاریف l1 و l2 توضیح بدین چجوری؟
چون به نظرم مثلا اگه دو بعدی در نظر بگیریم فقط روی محورها (بالا و پایین و چپ و راست ) میشن aو b
یعنی منظورم اینه که باتوجه به تعاریف:

[ برای مشاهده لینک ، لطفا با نام کاربری خود وارد شوید یا ثبت نام کنید ] C&space;x1&space;%5Cright&space;%7C+%5Cleft&space;%7C&space;x2&space;%5Cright&space;%7C,&space;l2= %5Csqrt%7Bx1%5E%7B2%7D+x2%5E%7B2%7D%7D

همچین شکلی داریم محورها x1,x2 هستن


[ برای مشاهده لینک ، لطفا با نام کاربری خود وارد شوید یا ثبت نام کنید ]

([ برای مشاهده لینک ، لطفا با نام کاربری خود وارد شوید یا ثبت نام کنید ])

[ali_hp]

خوب الان روی همین شکل دو بعدی ، روی کل محیط دایره مقدار l2 میشه b دیگه...روی محیط مربع هم l1 میشه a.مشکل چیه؟ و توی سه بعدی l1 و L2 به ترتیب روی سطح کره و مکعب میشن a و b....
دقت کنید که قرار نیست خود نقاط بشن a و b ....اصلا بی معنیه این!

[silver65]

ممنون آره متوجه شدم یکم خنگ بازی در آورده بودم:31:

حالا یه چیز دیگه اون شکل آخری که اومده نقاط مماس رو کشیده منظورش چی بوده

گفته چون داشتیم lasso تقریبا برابر l2+cl1 هست اگه c بزرگ باشه اونوقت برا مینیمم کردن lasso باید l1 رو نسبت به l2 خیلی کوچیک در نظر بگیریم که در این صورت مماس دو شکل میفته رو محور ولی

سوال: 1-این چه ربطی داره به جواب sparse( درسته روی محور حتما یکی از مختصات صفر هست) ولی نمی دونم

2- جواب اسپارس کدوم معادله؟ این جواب خودم درسته?

ج:با توجه به روابط اصلی

[ برای مشاهده لینک ، لطفا با نام کاربری خود وارد شوید یا ثبت نام کنید ]
و

[ برای مشاهده لینک ، لطفا با نام کاربری خود وارد شوید یا ثبت نام کنید ]
میشه گفت مینیمم کردن l1 (بخش دوم lasso) معادل مینیمم کردن lasso هست و مینیمم کردن lasso معادل مینیمم کردن RSS و مینیمم RSS هم جواب معادله [ برای مشاهده لینک ، لطفا با نام کاربری خود وارد شوید یا ثبت نام کنید ]

سوال اصلی- اصلا این متن می خواست علت اینکه چرا مینیمم کردن l1 منجر به sparsity (یعنی بیشتر جوابها صفر و فقط تعداد کمی مقدار غیر صفر) می شه رو بگه حالا جواب چی شد ؟؟؟؟؟؟؟؟؟؟؟؟؟!


همه چی درهم برهمه
شرمنده نمی دونم شاید چون تا حالا با رگرسیون سروکار نداشتم اینجوری خودم و شما رو گیچ میکنم:sq_3:

ممنون میشم اینا رو هم جواب بدین