سیستم search engine در مایه هایه گوگل

[DaRiOuShJh]

دوستان خسته نباشید
اگر اطلاعاتی در مورد چگونگی برپایی یه سیستمی در مایه هایه گوگل (البته به مراتب مبتدی تر) و حدوده قیمت و فضا و ... میدونید بدید ممنون میشم

[my friend]

الگوریتمی باید بنویسی که صفحات رو بخونه ، لینک های توش رو شناسایی کنه ، صفحات رو تو پایگاه داده ذخیره کنه ، متاتگ ها رو بخونه و تو دیتابیس بریزه و و و و...
این کار رو برای تک تک لینک های صفحه انجام بده....

این از نظر برنامه نویسی (شاید ساده به نظر بیاد ، اما نوشتن الگوریتم جالب و دقیق برای این کار ، کار خیلی سختی هست...)

از نظر سخت افزاری ، نیاز به یه دیتاسنتر(!) داری که تمامی سرور هاش به صورت 24 ساعته به اینترنت با سرعت بالاتر از بالاتر(یا: هر چی بالاتر بهتر!) متصل باشند...
همچنین سرورها باید با هم در ارتباط باشند (یه اصطلاحی داره که الان یادم نیست)
برای اینکه سرعت بالایی داشته باشیم ، باید اطلاعات دیتابیس روی هارد دیسک های سرورهای مختلف ذخیره و تقسیم بشه (مثلا روی هر کدوم 50 یا 100 مگ ، بستگی به مشخصات سخت افزاری و سرعت مطلوبی که نیاز داری ، داره) و موقع درخواست کاربر ، تمامی سرورها اون چیزی که کاربر درخواست کرده رو تو دیتابیسشون میگردن و نتیجه رو ادغام میکنن (باز هم بستگی به الگوریتمی داره که براش نوشته باشی که به صفحات نمره بده) و نشون کاربر میدن..

این بود شناسنامه ی یک موتور جستجوگر!
باز هم میگم ، ساخت یه موتور جستجوگر مفید سخت تر از اون چیزی هست که من و شما (حداقل ، من!) فکرش رو بکنیم.
اگه میبینی که گوگل ، به چنین عظمتی دست یافته و غول موتورهای جستجوگر شده ، بدون که سرمایه X میلیاردی پشتش خوابیده و صدها و شاید هزاران برنامه نویس زبده دارن روزانه روی الگوریتمش کار میکنن... الگوریتمی که ساختش از حدود 10 سال پیش آغاز شده و هنوز هم کامل نشده!

[DaRiOuShJh]

الگوریتمی باید بنویسی که صفحات رو بخونه ، لینک های توش رو شناسایی کنه ، صفحات رو تو پایگاه داده ذخیره کنه ، متاتگ ها رو بخونه و تو دیتابیس بریزه و و و و...
این کار رو برای تک تک لینک های صفحه انجام بده....

این از نظر برنامه نویسی (شاید ساده به نظر بیاد ، اما نوشتن الگوریتم جالب و دقیق برای این کار ، کار خیلی سختی هست...)

از نظر سخت افزاری ، نیاز به یه دیتاسنتر(!) داری که تمامی سرور هاش به صورت 24 ساعته به اینترنت با سرعت بالاتر از بالاتر(یا: هر چی بالاتر بهتر!) متصل باشند...
همچنین سرورها باید با هم در ارتباط باشند (یه اصطلاحی داره که الان یادم نیست)
برای اینکه سرعت بالایی داشته باشیم ، باید اطلاعات دیتابیس روی هارد دیسک های سرورهای مختلف ذخیره و تقسیم بشه (مثلا روی هر کدوم 50 یا 100 مگ ، بستگی به مشخصات سخت افزاری و سرعت مطلوبی که نیاز داری ، داره) و موقع درخواست کاربر ، تمامی سرورها اون چیزی که کاربر درخواست کرده رو تو دیتابیسشون میگردن و نتیجه رو ادغام میکنن (باز هم بستگی به الگوریتمی داره که براش نوشته باشی که به صفحات نمره بده) و نشون کاربر میدن..

این بود شناسنامه ی یک موتور جستجوگر!
باز هم میگم ، ساخت یه موتور جستجوگر مفید سخت تر از اون چیزی هست که من و شما (حداقل ، من!) فکرش رو بکنیم.
اگه میبینی که گوگل ، به چنین عظمتی دست یافته و غول موتورهای جستجوگر شده ، بدون که سرمایه X میلیاردی پشتش خوابیده و صدها و شاید هزاران برنامه نویس زبده دارن روزانه روی الگوریتمش کار میکنن... الگوریتمی که ساختش از حدود 10 سال پیش آغاز شده و هنوز هم کامل نشده!

WoW
چشام تا 3 دقیقه نخود لوبیا میدید!!!

ممنون مسعود جان خیلی کامل و جامع و سخت!!! توضیح دادی و پی بردم که کاره هر بز نیست خرمن کوفتن! رو الکی نگفتن

واقعا انیطوری خیلی سنگین میشه هم خوده کار و هم سرمایش

ولی من باز میخواستم در مورده یه سیستمی به مراتب مبتدی تر و جمع و جور بدونم که همینا رو یه چیزایی کم کنیم فک کنم جواب بده

واقعا این الگوریتم ها چه میکنن
100 درصد چندین مهندس باهاش کار میکنن و تستش میکنن و آپگریدش میکنن و...

[pmjaberi]

WoW
چشام تا 3 دقیقه نخود لوبیا میدید!!!

ممنون مسعود جان خیلی کامل و جامع و سخت!!! توضیح دادی و پی بردم که کاره هر بز نیست خرمن کوفتن! رو الکی نگفتن

واقعا انیطوری خیلی سنگین میشه هم خوده کار و هم سرمایش

ولی من باز میخواستم در مورده یه سیستمی به مراتب مبتدی تر و جمع و جور بدونم که همینا رو یه چیزایی کم کنیم فک کنم جواب بده

واقعا این الگوریتم ها چه میکنن
100 درصد چندین مهندس باهاش کار میکنن و تستش میکنن و آپگریدش میکنن و...

در تکميل صحبت هايه دوستمون که کاملاً درست هم بودن ميتونم برای کمک به شما اين چند خط هم اضافه کنم.
شما برای اين کار به 2 چيز احتياج داريد:
1- نرم افزار
2- امکانات فنی از نظره سخت افزار

خوب برايه شروع software نياز داريد که اون کار ها که دوستمون گفتن را انجام بده خوب شما ميتونيد از software هايه موجود استفاده کنيد هستن software هايه open سورس که اين عملياته انليز را انجام ميدن.
با کمی search در گوگل ميتونيد پيدا کنيد ، به صورت مجانی و پولی هستن.
البته هيچ کدوم 100% گوگل نميشن ولی در حد کوچيک جواب گو هستند.

در رابطه سخت افزار شما نياز به server ها اي داريد که 2 کار و انجام بدن:
1- جمع آوری اطلاعات از وب : يعنی انکبوت هايه برنامه را در وب کنترل کنن برايه جمع آوری اطلاعاتی که دوستمون گفتن.
2- نياز به سروری داريد که در حقيقت براينده server را در اختيار user ها بزاره.

البته اشتباه نشه اگر من اينجا 2 server گفتم نياز به اين معنی نيست که 2 server کافی هست خير منظور از 2 server 2 مدل server برايه 2 کار مختلف هست شما بر حسبه بزرگی کار در ابتدا کار يا در جريان کار ميتونيد از 1 server تا n تا server نياز داشته باشيد .

البته شما در سطحه بزرگتر اگر بخواين کار کنيد ميتونيد از technology گوگل استفاده کنيد.
که من دقيقا از چگونگی ايش اطلاع ندارم.
نکته اساسی اينجاس که شما ميخواين به چه دليل اين کار را انجام بديد آيا ميخواين دقيقا چيزی شبيه گوگل بسازيد؟ (از نظر کاربرد نه کيفيت) و يا نه ميخواين search engine خاص و در ضمينه خاصی و optimize شده داشته باشيد برای کاره خاصی؟
اگر مسئله دوم هست خوب بد نيست و ميشه روش کار کرد ولی اگر حالته اول هست نتيجه ندارد خيلی از دوستان بودن که اين کار را انجام دادن ولی بد از مدتی به علته هزينه و زمان مجبور شدن بيخيل بشن چون شبيه گوگل بودن با کيفيت پايين دردی و از کسی دوا نميکنه.

مختصر بخوام نحويه کار search engine ها را براتون بگم به اين شکل هست:
search engine يک برنامه هست که بر روی 1 الی n سرو در حال اجرا هست به صورته 24 ساعته.
اين برنامه کار ش اين هست که بر روی وب روبات ها يی را هدايت ميکنه که اين robo ها از سايتی به سايت ديگر در حرکت هستن (از طريقه hyperlink ها) در هر صفحه که وارد ميشن شروع ميکنن انليز کردن اون page و اطلاعاتی مثله keyword و meta tags و کلعمات کيليدی در اون page را به برنامه مادر در search engine ميفرستن و اونجا برنامه کاره طبقه بندی و امتياز دهی به data اسکن توسطه robo ها را انجام ميده .
و بر حصبه درخواسته user در زمان search بر حصبه کمالته کيليدی که از سايت ها به دست اورده در اختيار user ميزاره.
البته اين ابتدای ترين حالته search engine های امروزی هست search engine های مثله گوگل از بسياری از المنت های ديگه برايه دسته بندی وبسايت ها استفاده ميکنن و فقط بر حصبه keywords و meta tags ها نيستن.
در جوابه سؤالی که کرديد در مورده مهندس های که کار ميکنن رو اين سيستم ها بله همينطور هست روزانه و بطور منظم بر روی اين سيستم ها در حال کار هستن و روز به روز ريه الگرتيم اصلی کار ميکنن تا به نتايج بهتر برسن.
راستی يه نکته به ذهنم رسيد الان ديدم بد نيست بگم بر عکس چيزی که اکثر دوستان فکر ميکنن گوگل و الگوريتمش کاره مهندسی کامپيوتر بوده ولی مهندسی نبوده و کاره 100% رياضی هستش و از فرمول های پيچده محاسباتی رياضی درش استفاده شده و بعد با استفاده از علمه مهندسی کامپيوتر تبديل به چيزی شده که الان هست

اميدوارم که کمک کرده باشم

[DaRiOuShJh]

در تکميل صحبت هايه دوستمون که کاملاً درست هم بودن ميتونم برای کمک به شما اين چند خط هم اضافه کنم.
شما برای اين کار به 2 چيز احتياج داريد:
1- نرم افزار
2- امکانات فنی از نظره سخت افزار

خوب برايه شروع software نياز داريد که اون کار ها که دوستمون گفتن را انجام بده خوب شما ميتونيد از software هايه موجود استفاده کنيد هستن software هايه open سورس که اين عملياته انليز را انجام ميدن.
با کمی search در گوگل ميتونيد پيدا کنيد ، به صورت مجانی و پولی هستن.
البته هيچ کدوم 100% گوگل نميشن ولی در حد کوچيک جواب گو هستند.

در رابطه سخت افزار شما نياز به server ها اي داريد که 2 کار و انجام بدن:
1- جمع آوری اطلاعات از وب : يعنی انکبوت هايه برنامه را در وب کنترل کنن برايه جمع آوری اطلاعاتی که دوستمون گفتن.
2- نياز به سروری داريد که در حقيقت براينده server را در اختيار user ها بزاره.

البته اشتباه نشه اگر من اينجا 2 server گفتم نياز به اين معنی نيست که 2 server کافی هست خير منظور از 2 server 2 مدل server برايه 2 کار مختلف هست شما بر حسبه بزرگی کار در ابتدا کار يا در جريان کار ميتونيد از 1 server تا n تا server نياز داشته باشيد .

البته شما در سطحه بزرگتر اگر بخواين کار کنيد ميتونيد از technology گوگل استفاده کنيد.
که من دقيقا از چگونگی ايش اطلاع ندارم.
نکته اساسی اينجاس که شما ميخواين به چه دليل اين کار را انجام بديد آيا ميخواين دقيقا چيزی شبيه گوگل بسازيد؟ (از نظر کاربرد نه کيفيت) و يا نه ميخواين search engine خاص و در ضمينه خاصی و optimize شده داشته باشيد برای کاره خاصی؟
اگر مسئله دوم هست خوب بد نيست و ميشه روش کار کرد ولی اگر حالته اول هست نتيجه ندارد خيلی از دوستان بودن که اين کار را انجام دادن ولی بد از مدتی به علته هزينه و زمان مجبور شدن بيخيل بشن چون شبيه گوگل بودن با کيفيت پايين دردی و از کسی دوا نميکنه.

مختصر بخوام نحويه کار search engine ها را براتون بگم به اين شکل هست:
search engine يک برنامه هست که بر روی 1 الی n سرو در حال اجرا هست به صورته 24 ساعته.
اين برنامه کار ش اين هست که بر روی وب روبات ها يی را هدايت ميکنه که اين robo ها از سايتی به سايت ديگر در حرکت هستن (از طريقه hyperlink ها) در هر صفحه که وارد ميشن شروع ميکنن انليز کردن اون page و اطلاعاتی مثله keyword و meta tags و کلعمات کيليدی در اون page را به برنامه مادر در search engine ميفرستن و اونجا برنامه کاره طبقه بندی و امتياز دهی به data اسکن توسطه robo ها را انجام ميده .
و بر حصبه درخواسته user در زمان search بر حصبه کمالته کيليدی که از سايت ها به دست اورده در اختيار user ميزاره.
البته اين ابتدای ترين حالته search engine های امروزی هست search engine های مثله گوگل از بسياری از المنت های ديگه برايه دسته بندی وبسايت ها استفاده ميکنن و فقط بر حصبه keywords و meta tags ها نيستن.
در جوابه سؤالی که کرديد در مورده مهندس های که کار ميکنن رو اين سيستم ها بله همينطور هست روزانه و بطور منظم بر روی اين سيستم ها در حال کار هستن و روز به روز ريه الگرتيم اصلی کار ميکنن تا به نتايج بهتر برسن.
راستی يه نکته به ذهنم رسيد الان ديدم بد نيست بگم بر عکس چيزی که اکثر دوستان فکر ميکنن گوگل و الگوريتمش کاره مهندسی کامپيوتر بوده ولی مهندسی نبوده و کاره 100% رياضی هستش و از فرمول های پيچده محاسباتی رياضی درش استفاده شده و بعد با استفاده از علمه مهندسی کامپيوتر تبديل به چيزی شده که الان هست

اميدوارم که کمک کرده باشم

مرسی دوسته عزیز

واقعا خیلی جامع و سخت تر!!! توضیح دادید
مقادیره خیلی زیادی روشن شدم

ممنون بابته وقتی که گزاشتید

[pmjaberi]

مرسی دوسته عزیز

واقعا خیلی جامع و سخت تر!!! توضیح دادید
مقادیره خیلی زیادی روشن شدم

ممنون بابته وقتی که گزاشتید

خواهش ميکنم
آره ظاهرش سخته ولی خوب شدنی هست اگر واقعاً بخواين انجام بديد نشد نداره مقداری هزينه و زمان نياز هست و 100 البته خواستن هم مهمه!

[my friend]

آقای جابری،
اگه میشه موارد زیر رو کمی توضیح بده... چون کمی تا قسمتی شبهه ناک هست و فکر میکنم اشتباهه... همچنین اگه برای بعضی هاش بتونی مثال بزنی ممنون میشم.

خوب برايه شروع software نياز داريد که اون کار ها که دوستمون گفتن را انجام بده خوب شما ميتونيد از software هايه موجود استفاده کنيد هستن software هايه open سورس که اين عملياته انليز را انجام ميدن.

البته شما در سطحه بزرگتر اگر بخواين کار کنيد ميتونيد از technology گوگل استفاده کنيد.

search engine يک برنامه هست که بر روی 1 الی n سرو در حال اجرا هست به صورته 24 ساعته.

.... ابه برنامه مادر در search engine ميفرستن ....

راستی يه نکته به ذهنم رسيد الان ديدم بد نيست بگم بر عکس چيزی که اکثر دوستان فکر ميکنن گوگل و الگوريتمش کاره مهندسی کامپيوتر بوده ولی مهندسی نبوده و کاره 100% رياضی هستش و از فرمول های پيچده محاسباتی رياضی درش استفاده شده و بعد با استفاده از علمه مهندسی کامپيوتر تبديل به چيزی شده که الان هست

[pmjaberi]

آقای جابری،
اگه میشه موارد زیر رو کمی توضیح بده... چون کمی تا قسمتی شبهه ناک هست و فکر میکنم اشتباهه... همچنین اگه برای بعضی هاش بتونی مثال بزنی ممنون میشم.

سلام
شما چه همه شبهه داريد!!!
ولی خوب چشم توضيح ميدم.

1- برنامه های open source برای search engine چند تاش اينجا ميتونيد ببينيد ولی خوب بيشتر هم هستن فکر کنم برايه رفع اتهام از من اين چند تا کافی باشه؟

برای مشاهده محتوا ، لطفا وارد شوید یا ثبت نام کنید

2-بله ميشه ، شما ميتونيد از تکنولژی گوگل استفاده کنيد کاری که سايت های زيادی انجام دادن مثله:

برای مشاهده محتوا ، لطفا وارد شوید یا ثبت نام کنید

و يا

برای مشاهده محتوا ، لطفا وارد شوید یا ثبت نام کنید

و ... حتی گوگل امکانات سخت افزاری هم برايه search engine در اختيار ميزار به صورت hardware که من الان هرچی گشتم پيدا نکردم پس ما ميگيم نميزاره!!! شوخی کردم قبلاً ديدم.
3- در مورد server هم من نميدونم منظورتون چی هست؟ کجا حرف من شبهه ناک بود راجب server که search engine نياز به 1 الی n سرور داره؟ خوب هر برنامه اي تحت وب بايد بر روی يک سيستم اکتيو باشه. حالا اگر سؤال و ريز تر کنيد شايد بتونم جواب بدم.
4-در اين مورد بله حق با شماس من بسيار ساده شده و مختصر توضيح دادم که دوستمون مفهوم را درک کنن و گيج نشن خدا نکرده ولی اصول کار همون هست در ادمه دقت کنيد من نوشتم که
... البته اين ابتدای ترين حالته search engine های امروزی هست search engine های مثله گوگل از بسياری از المنت های ديگه برايه دسته بندی وبسايت ها استفاده ميکنن ...
ولی شما ميتونيد مطالب دقيقتر را در اينجا بخونيد:

برای مشاهده محتوا ، لطفا وارد شوید یا ثبت نام کنید

برای مشاهده محتوا ، لطفا وارد شوید یا ثبت نام کنید

5-در مورده الگريتم هم فقط ميتونم بگم که الگرتيم علم رياضيات هست و طراحی الگرتيم search engine ها با مبنا همون اصول رياضی طراحی شده برای اطلاعات بيشتر ميتونم لينک های زير و معرفی کنم :
اصول الگرتيم:

برای مشاهده محتوا ، لطفا وارد شوید یا ثبت نام کنید

نمونه اي از استفاده الگرتيم پيشترفته در گوگل (مبحث pagerank):

برای مشاهده محتوا ، لطفا وارد شوید یا ثبت نام کنید

اميدوارم شبهات شما رفع شده باشه
من سعی کردم تا جای که ميتونم با مثال براتون توضيح بدم ولی اگر باز هم سؤالی بود مطرح کنيد تا بيشتر بازش کنم .

[my friend]

از وقتی که گذاشتید ممنونم.
جواب پست شما:

1. اتهام؟!
فقط دیدم بعضی موارد با اطلاعات ناقص بنده همخوانی نداره ، گفتم یه توضیحی بدید ، بلکه یه چیزی یاد بگیریم!
بهرحال ، من قصد جسارت نداشتم.
بابت جواب این سوال متشکرم.

2. اونموقع منظورتون رو درست متوجه نشده بودم... بهتر بود میگفتید استفاده از دیتابیس گوگل!

3. اشتباه کپی پیست کرده بودم! معذرت میخوام.

4. منظور من "ارسال به برنامه مادر" بود.

5. با اجازه ، یه توضیحی در مورد لغت و کاربرد "الگوریتم" میدم:
به روش حل مسئله ، الگوریتم میگن. یا به عبارت دقیق تر: مجموعه مراحل و قدم های لازم در فرآیند رسیدن از داده های موجود به خروجی مطلوب، الگوریتم نامیده میشود. (منبع: کتاب مبانی علم رایانه ، رشته ریاضی و فیزیک D
مثلا ، شما میخواهید به P30World بیایید و جواب پست من رو بدید:
آ. به اینترنت وصل میشوید.
ب. مرورگر را باز میکنید و به صفحه اول انجمن میایید.
پ. یوزر نیم و پسورد رو وارد میکنید.
ت. به این تاپیک میایید.
ث. جواب خود را بوسیله کیبورد تایپ میکنید و روی ارسال کلیک میکنید.
این الگوریتمی هست که برای حل مسئله ی پاسخ به پست من ، مطرح شد.

[pmjaberi]

از وقتی که گذاشتید ممنونم.
جواب پست شما:

1. اتهام؟!
فقط دیدم بعضی موارد با اطلاعات ناقص بنده همخوانی نداره ، گفتم یه توضیحی بدید ، بلکه یه چیزی یاد بگیریم!
بهرحال ، من قصد جسارت نداشتم.
بابت جواب این سوال متشکرم.

2. اونموقع منظورتون رو درست متوجه نشده بودم... بهتر بود میگفتید استفاده از دیتابیس گوگل!

3. اشتباه کپی پیست کرده بودم! معذرت میخوام.

4. منظور من "ارسال به برنامه مادر" بود.

5. با اجازه ، یه توضیحی در مورد لغت و کاربرد "الگوریتم" میدم:
به روش حل مسئله ، الگوریتم میگن. یا به عبارت دقیق تر: مجموعه مراحل و قدم های لازم در فرآیند رسیدن از داده های موجود به خروجی مطلوب، الگوریتم نامیده میشود. (منبع: کتاب مبانی علم رایانه ، رشته ریاضی و فیزیک D
مثلا ، شما میخواهید به P30World بیایید و جواب پست من رو بدید:
آ. به اینترنت وصل میشوید.
ب. مرورگر را باز میکنید و به صفحه اول انجمن میایید.
پ. یوزر نیم و پسورد رو وارد میکنید.
ت. به این تاپیک میایید.
ث. جواب خود را بوسیله کیبورد تایپ میکنید و روی ارسال کلیک میکنید.
این الگوریتمی هست که برای حل مسئله ی پاسخ به پست من ، مطرح شد.

ممنون،
1- شوخی کردم
2- نه منظور من هموم google technology بود هنوز هم هست، ولی بله ميشه از database گوگل هم استفاده کرد اين هم يک روش هست.
3-خواهش ميکنم مهم نيست.
4- خوب بله همينطور هست همه نتايج از robo ها همون spider ها به برنامه مادر ميره و اونجا آناليز ميشه. فکر کنم شما هم تائيد ميکنيد؟
5- بله توضيح شما کاملاً درست هست . ولی در مورده مسائل پيچيده کمی ساختار پيچيده ميشه و فرمول های حل مسئله به داستان اضافه ميشه در هر صورت مشکلی نيست

تکميلی:
فکر کنم در مورده نقش رياضيات در گوگل اين 2 تا لينک تا حدی منظور من را راجبه مطرح کردن اين مضوع برسونه :

برای مشاهده محتوا ، لطفا وارد شوید یا ثبت نام کنید

برای مشاهده محتوا ، لطفا وارد شوید یا ثبت نام کنید

من نفهميدم من و شما الان در کجا با هم اختلاف نظر داريم؟!؟!