درخواست یه راهنمایی برای سینتکس curl

[Ahmad24]

با سلام به همگی
من با استفاده از اسکریپت bash یه لیست بلند بالا از پراکسی های ip:port به دست آوردم.حالا میخوام
با curl صحت این ip:port ها رو چک کنم.پراکسی ها اغلب http هستند.سینتکس دستور فعلی به صورت زیر است :


برای مشاهده محتوا ، لطفا وارد شوید یا ثبت نام کنید

به جای نام دامنه سایت بلوک شده فرضی از ip آن نیز استفاده کرده ام.از آپشنهایی نظیر --proxytunnel و --socks5 نیز استفاده کرده ام اما نتیجه نمیدهد.ضمنا از opendns به جای سرورهای نام دامنه isp استفاده میکنم.
دقیقا باید از چه آپشنهایی استفاده کنم؟


برای مشاهده محتوا ، لطفا وارد شوید یا ثبت نام کنید

[Open-Source]

اگه با موفقیت متصل بشه 200 بر میگردونه.


برای مشاهده محتوا ، لطفا وارد شوید یا ثبت نام کنید

توی پارامتر proxy به جای http میتونی از پروتکل های دیگه مثل socks هم استفاده کنی. بصورت زیر:

برای مشاهده محتوا ، لطفا وارد شوید یا ثبت نام کنید

[Ahmad24]

اسکریپتی که من استفاده میکنم با صرفنظر کردن از پراکسی هایی که در ایران واقع شده بودند(۳۶ تا) مجموعا 1728 پراکسی در یک لیست اراپه داد
این اسکریپت قبلا برای بدست آوردن CGI و PHP پراکسیها جواب خود را به خوبی پس داده بود و با تغییراتی آن را برای parse کردن این نوع پراکسی ها آماده کردم
خروجی پراکسی بر اساس error code دانلودر curl و بررسی HTTP STATUS CODES موجود در فایلهای دانلود شده در ۳ فایل جداگانه قرار میگیرند:
پراکسی هایی که مسلما بلوکه هستند در فایل ip_port_blacklist و پراکسی هایی که مسلما کار میکنند در فایل ip_port_whitelist قرار میگیرند.
پراکسی هایی که وضعیتی غیر از این دارند برای بررسی بیشتر در فایل ip_port_excluded قرار میگیرند.
چند خطی از فایل log
...
Processing 195.161.159.114:3128
>>>>[ برای مشاهده لینک ، لطفا با نام کاربری خود وارد شوید یا ثبت نام کنید ] 403 Forbidden ===>Blacklisted!!! Processing ...

Processing 201.243.193.139:8080
>>>>Connection Refused. ===>Ignoring
===>Info:Operation timeout. The specified time-out period was reached according to the conditions.

Processing 202.124.131.77:80
>>>>Connection Refused. ===>Ignoring
===>Info:Failure in receiving network data.
...

از میان این تعداد انبوه پراکسی ها فقط ۴ پراکسی که از پورت ۴۴۳([ برای مشاهده لینک ، لطفا با نام کاربری خود وارد شوید یا ثبت نام کنید ]) استفاده میکردند به عنوان whitelist شناخته شدند و 430 عدد با عنوان excluded شناخته شدند.
اما فرض من این است که باید تعداد بیشتری بلوکه نشده موجود باشند.تغییر آپشنهای curl بر خروجی تاثیر گذار است.
استفاده از ip به جای URL توسط بسیاری از پراکسی ها به درستی پشتیبانی نمیشود.ضمنا محتویات header ارسالی توسط سیستم مانیتورینگ کشوری برسی میشود و ...
نتیجه googling من این بود که بایستی از یک custom header استفاده کنم.اما چگونه؟