دوستان خسته نباشید
اگر اطلاعاتی در مورد چگونگی برپایی یه سیستمی در مایه هایه گوگل (البته به مراتب مبتدی تر) و حدوده قیمت و فضا و ... میدونید بدید ممنون میشم:10::11:
Printable View
دوستان خسته نباشید
اگر اطلاعاتی در مورد چگونگی برپایی یه سیستمی در مایه هایه گوگل (البته به مراتب مبتدی تر) و حدوده قیمت و فضا و ... میدونید بدید ممنون میشم:10::11:
الگوریتمی باید بنویسی که صفحات رو بخونه ، لینک های توش رو شناسایی کنه ، صفحات رو تو پایگاه داده ذخیره کنه ، متاتگ ها رو بخونه و تو دیتابیس بریزه و و و و...
این کار رو برای تک تک لینک های صفحه انجام بده....
این از نظر برنامه نویسی (شاید ساده به نظر بیاد ، اما نوشتن الگوریتم جالب و دقیق برای این کار ، کار خیلی سختی هست...)
از نظر سخت افزاری ، نیاز به یه دیتاسنتر(!) داری که تمامی سرور هاش به صورت 24 ساعته به اینترنت با سرعت بالاتر از بالاتر(یا: هر چی بالاتر بهتر!) متصل باشند...
همچنین سرورها باید با هم در ارتباط باشند (یه اصطلاحی داره که الان یادم نیست)
برای اینکه سرعت بالایی داشته باشیم ، باید اطلاعات دیتابیس روی هارد دیسک های سرورهای مختلف ذخیره و تقسیم بشه (مثلا روی هر کدوم 50 یا 100 مگ ، بستگی به مشخصات سخت افزاری و سرعت مطلوبی که نیاز داری ، داره) و موقع درخواست کاربر ، تمامی سرورها اون چیزی که کاربر درخواست کرده رو تو دیتابیسشون میگردن و نتیجه رو ادغام میکنن (باز هم بستگی به الگوریتمی داره که براش نوشته باشی که به صفحات نمره بده) و نشون کاربر میدن..
این بود شناسنامه ی یک موتور جستجوگر!
باز هم میگم ، ساخت یه موتور جستجوگر مفید سخت تر از اون چیزی هست که من و شما (حداقل ، من!) فکرش رو بکنیم.
اگه میبینی که گوگل ، به چنین عظمتی دست یافته و غول موتورهای جستجوگر شده ، بدون که سرمایه X میلیاردی پشتش خوابیده و صدها و شاید هزاران برنامه نویس زبده دارن روزانه روی الگوریتمش کار میکنن... الگوریتمی که ساختش از حدود 10 سال پیش آغاز شده و هنوز هم کامل نشده!
:18:WoWنقل قول:
چشام تا 3 دقیقه نخود لوبیا میدید!!!
ممنون مسعود جان خیلی کامل و جامع و سخت!!!:31: توضیح دادی و پی بردم که کاره هر بز نیست خرمن کوفتن!:46: رو الکی نگفتن
واقعا انیطوری خیلی سنگین میشه هم خوده کار و هم سرمایش
ولی من باز میخواستم در مورده یه سیستمی به مراتب مبتدی تر و جمع و جور بدونم:10: که همینا رو یه چیزایی کم کنیم فک کنم جواب بده
واقعا این الگوریتم ها چه میکنن
100 درصد چندین مهندس باهاش کار میکنن و تستش میکنن و آپگریدش میکنن و...:46:
در تکميل صحبت هايه دوستمون که کاملاً درست هم بودن ميتونم برای کمک به شما اين چند خط هم اضافه کنم.نقل قول:
شما برای اين کار به 2 چيز احتياج داريد:
1- نرم افزار
2- امکانات فنی از نظره سخت افزار
خوب برايه شروع software نياز داريد که اون کار ها که دوستمون گفتن را انجام بده خوب شما ميتونيد از software هايه موجود استفاده کنيد هستن software هايه open سورس که اين عملياته انليز را انجام ميدن.
با کمی search در گوگل ميتونيد پيدا کنيد ، به صورت مجانی و پولی هستن.
البته هيچ کدوم 100% گوگل نميشن ولی در حد کوچيک جواب گو هستند.
در رابطه سخت افزار شما نياز به server ها اي داريد که 2 کار و انجام بدن:
1- جمع آوری اطلاعات از وب : يعنی انکبوت هايه برنامه را در وب کنترل کنن برايه جمع آوری اطلاعاتی که دوستمون گفتن.
2- نياز به سروری داريد که در حقيقت براينده server را در اختيار user ها بزاره.
البته اشتباه نشه اگر من اينجا 2 server گفتم نياز به اين معنی نيست که 2 server کافی هست خير منظور از 2 server 2 مدل server برايه 2 کار مختلف هست شما بر حسبه بزرگی کار در ابتدا کار يا در جريان کار ميتونيد از 1 server تا n تا server نياز داشته باشيد .
البته شما در سطحه بزرگتر اگر بخواين کار کنيد ميتونيد از technology گوگل استفاده کنيد.
که من دقيقا از چگونگی ايش اطلاع ندارم.
نکته اساسی اينجاس که شما ميخواين به چه دليل اين کار را انجام بديد آيا ميخواين دقيقا چيزی شبيه گوگل بسازيد؟ (از نظر کاربرد نه کيفيت) و يا نه ميخواين search engine خاص و در ضمينه خاصی و optimize شده داشته باشيد برای کاره خاصی؟
اگر مسئله دوم هست خوب بد نيست و ميشه روش کار کرد ولی اگر حالته اول هست نتيجه ندارد خيلی از دوستان بودن که اين کار را انجام دادن ولی بد از مدتی به علته هزينه و زمان مجبور شدن بيخيل بشن چون شبيه گوگل بودن با کيفيت پايين دردی و از کسی دوا نميکنه.
مختصر بخوام نحويه کار search engine ها را براتون بگم به اين شکل هست:
search engine يک برنامه هست که بر روی 1 الی n سرو در حال اجرا هست به صورته 24 ساعته.
اين برنامه کار ش اين هست که بر روی وب روبات ها يی را هدايت ميکنه که اين robo ها از سايتی به سايت ديگر در حرکت هستن (از طريقه hyperlink ها) در هر صفحه که وارد ميشن شروع ميکنن انليز کردن اون page و اطلاعاتی مثله keyword و meta tags و کلعمات کيليدی در اون page را به برنامه مادر در search engine ميفرستن و اونجا برنامه کاره طبقه بندی و امتياز دهی به data اسکن توسطه robo ها را انجام ميده .
و بر حصبه درخواسته user در زمان search بر حصبه کمالته کيليدی که از سايت ها به دست اورده در اختيار user ميزاره.
البته اين ابتدای ترين حالته search engine های امروزی هست search engine های مثله گوگل از بسياری از المنت های ديگه برايه دسته بندی وبسايت ها استفاده ميکنن و فقط بر حصبه keywords و meta tags ها نيستن.
در جوابه سؤالی که کرديد در مورده مهندس های که کار ميکنن رو اين سيستم ها بله همينطور هست روزانه و بطور منظم بر روی اين سيستم ها در حال کار هستن و روز به روز ريه الگرتيم اصلی کار ميکنن تا به نتايج بهتر برسن.
راستی يه نکته به ذهنم رسيد الان ديدم بد نيست بگم بر عکس چيزی که اکثر دوستان فکر ميکنن گوگل و الگوريتمش کاره مهندسی کامپيوتر بوده ولی مهندسی نبوده و کاره 100% رياضی هستش و از فرمول های پيچده محاسباتی رياضی درش استفاده شده و بعد با استفاده از علمه مهندسی کامپيوتر تبديل به چيزی شده که الان هست
اميدوارم که کمک کرده باشم
مرسی دوسته عزیز:11:نقل قول:
واقعا خیلی جامع و سخت تر!!!:46: توضیح دادید
مقادیره خیلی زیادی روشن شدم [ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
ممنون بابته وقتی که گزاشتید [ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
خواهش ميکنمنقل قول:
آره ظاهرش سخته ولی خوب شدنی هست اگر واقعاً بخواين انجام بديد نشد نداره مقداری هزينه و زمان نياز هست و 100 البته خواستن هم مهمه!:31:
آقای جابری،
اگه میشه موارد زیر رو کمی توضیح بده... چون کمی تا قسمتی شبهه ناک هست و فکر میکنم اشتباهه... همچنین اگه برای بعضی هاش بتونی مثال بزنی ممنون میشم.
نقل قول:
خوب برايه شروع software نياز داريد که اون کار ها که دوستمون گفتن را انجام بده خوب شما ميتونيد از software هايه موجود استفاده کنيد هستن software هايه open سورس که اين عملياته انليز را انجام ميدن.
نقل قول:
البته شما در سطحه بزرگتر اگر بخواين کار کنيد ميتونيد از technology گوگل استفاده کنيد.
نقل قول:
search engine يک برنامه هست که بر روی 1 الی n سرو در حال اجرا هست به صورته 24 ساعته.
نقل قول:
.... ابه برنامه مادر در search engine ميفرستن ....
نقل قول:
راستی يه نکته به ذهنم رسيد الان ديدم بد نيست بگم بر عکس چيزی که اکثر دوستان فکر ميکنن گوگل و الگوريتمش کاره مهندسی کامپيوتر بوده ولی مهندسی نبوده و کاره 100% رياضی هستش و از فرمول های پيچده محاسباتی رياضی درش استفاده شده و بعد با استفاده از علمه مهندسی کامپيوتر تبديل به چيزی شده که الان هست
سلامنقل قول:
شما چه همه شبهه داريد!!!:31:
ولی خوب چشم توضيح ميدم.
1- برنامه های open source برای search engine چند تاش اينجا ميتونيد ببينيد ولی خوب بيشتر هم هستن فکر کنم برايه رفع اتهام از من اين چند تا کافی باشه؟
2-بله ميشه ، شما ميتونيد از تکنولژی گوگل استفاده کنيد کاری که سايت های زيادی انجام دادن مثله:کد:http://en.wikipedia.org/wiki/category:free_search_engine_software
و ياکد:http://www.thecatholicsearch.com/
و ... حتی گوگل امکانات سخت افزاری هم برايه search engine در اختيار ميزار به صورت hardware که من الان هرچی گشتم پيدا نکردم پس ما ميگيم نميزاره!!! شوخی کردم قبلاً ديدم.کد:http://www.golexa.com/
3- در مورد server هم من نميدونم منظورتون چی هست؟ کجا حرف من شبهه ناک بود راجب server که search engine نياز به 1 الی n سرور داره؟ خوب هر برنامه اي تحت وب بايد بر روی يک سيستم اکتيو باشه. حالا اگر سؤال و ريز تر کنيد شايد بتونم جواب بدم.
4-در اين مورد بله حق با شماس من بسيار ساده شده و مختصر توضيح دادم که دوستمون مفهوم را درک کنن و گيج نشن خدا نکرده ولی اصول کار همون هست در ادمه دقت کنيد من نوشتم که
... البته اين ابتدای ترين حالته search engine های امروزی هست search engine های مثله گوگل از بسياری از المنت های ديگه برايه دسته بندی وبسايت ها استفاده ميکنن ...
ولی شما ميتونيد مطالب دقيقتر را در اينجا بخونيد:
کد:http://www.infotoday.com/searcher/may01/liddy.htm
5-در مورده الگريتم هم فقط ميتونم بگم که الگرتيم علم رياضيات هست و طراحی الگرتيم search engine ها با مبنا همون اصول رياضی طراحی شده برای اطلاعات بيشتر ميتونم لينک های زير و معرفی کنم :کد:http://en.wikipedia.org/wiki/search_engine
اصول الگرتيم:
نمونه اي از استفاده الگرتيم پيشترفته در گوگل (مبحث pagerank):کد:http://en.wikipedia.org/wiki/algorithm
اميدوارم شبهات شما رفع شده باشهکد:http://en.wikipedia.org/wiki/pagerank
من سعی کردم تا جای که ميتونم با مثال براتون توضيح بدم ولی اگر باز هم سؤالی بود مطرح کنيد تا بيشتر بازش کنم .
از وقتی که گذاشتید ممنونم.
جواب پست شما:
1. اتهام؟!
فقط دیدم بعضی موارد با اطلاعات ناقص بنده همخوانی نداره ، گفتم یه توضیحی بدید ، بلکه یه چیزی یاد بگیریم!
بهرحال ، من قصد جسارت نداشتم.
بابت جواب این سوال متشکرم.
2. اونموقع منظورتون رو درست متوجه نشده بودم... بهتر بود میگفتید استفاده از دیتابیس گوگل!
3. اشتباه کپی پیست کرده بودم! معذرت میخوام.
4. منظور من "ارسال به برنامه مادر" بود.
5. با اجازه ، یه توضیحی در مورد لغت و کاربرد "الگوریتم" میدم:
به روش حل مسئله ، الگوریتم میگن. یا به عبارت دقیق تر: مجموعه مراحل و قدم های لازم در فرآیند رسیدن از داده های موجود به خروجی مطلوب، الگوریتم نامیده میشود. (منبع: کتاب مبانی علم رایانه ، رشته ریاضی و فیزیک D:)
مثلا ، شما میخواهید به P30World بیایید و جواب پست من رو بدید:
آ. به اینترنت وصل میشوید.
ب. مرورگر را باز میکنید و به صفحه اول انجمن میایید.
پ. یوزر نیم و پسورد رو وارد میکنید.
ت. به این تاپیک میایید.
ث. جواب خود را بوسیله کیبورد تایپ میکنید و روی ارسال کلیک میکنید.
این الگوریتمی هست که برای حل مسئله ی پاسخ به پست من ، مطرح شد.
ممنون،نقل قول:
1- شوخی کردم :20:
2- نه منظور من هموم google technology بود هنوز هم هست، ولی بله ميشه از database گوگل هم استفاده کرد اين هم يک روش هست.
3-خواهش ميکنم مهم نيست.
4- خوب بله همينطور هست همه نتايج از robo ها همون spider ها به برنامه مادر ميره و اونجا آناليز ميشه. فکر کنم شما هم تائيد ميکنيد؟
5- بله توضيح شما کاملاً درست هست . ولی در مورده مسائل پيچيده کمی ساختار پيچيده ميشه و فرمول های حل مسئله به داستان اضافه ميشه در هر صورت مشکلی نيست
تکميلی:
فکر کنم در مورده نقش رياضيات در گوگل اين 2 تا لينک تا حدی منظور من را راجبه مطرح کردن اين مضوع برسونه :
کد:http://farstec.net/show.asp?num=1756621825
من نفهميدم من و شما الان در کجا با هم اختلاف نظر داريم؟!؟!:31:کد:http://www.barandeh24.com/forum/showthread.php?t=74
my friend
من يه کاری با شما دارم
امکان pm دادن الان تو سايت ندارم تازه رجيستر کردم هنوز بهم از اينا ندادن!:31:
در مورده کاره برنامه نويسی php و ajax هست ديدم ميخواستم صحبتی بکنيم من يه مقدار کار برنامه نويسی دارم.
اگر بشه با هم همکاری کنيم.
اگه حال کردی يه email بزن به من::10:
[ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
راستش لازم نیست چند تا برنامه نوشته بشه...نقل قول:
4- خوب بله همينطور هست همه نتايج از robo ها همون spider ها به برنامه مادر ميره و اونجا آناليز ميشه. فکر کنم شما هم تائيد ميکنيد؟
یعنی حداقل من اینطور فکر نمیکنم...
روبوت ها چیز خاصی نیستن ، کافیه متن صفحه رو با یه تابع مثل file_get_contents گرفت و با چند تا تابع دیگه که به الگوریتم مون بستگی داره اطلاعات مورد نیاز رو از توش بکشیم بیرون...
بعد اینها رو تو دیتابیس بریزیم و در موقع لزوم با یه تابع mysql_query (در php و موقع کار با mysql) توش سرچ کنیم و نتیجه رو نشون بدیم...
منظور از روبوت ها و اسپایدر ها تو موتور های جستجوگر ، همون عملیات گرفتن داده ها از صفحات وب هست که ساده ترین قسمت ساخت موتور جستجوگر هست...
(همونطور که گفتم ، استفاده از چند تابع ساده و از پیش تعیین شده در تمامی زبان های برنامه نویسی!)
در مورد اون دو لینک: متشکرم. سر فرصت میخونمشون.
در ضمن ، میتونید با Y! ID: phpdesigner تماس بگیرید. [ برای مشاهده لینک ، با نام کاربری خود وارد شوید یا ثبت نام کنید ]
بله درسته نياز به نوشتن نيست شما خيلی جدی گرفتيد بحث را :31::5:نقل قول:
من با زبونه خيلی ساده توضيح دادم روش کار را وارد چگونگی چيزی نشدم ولی خوب بسيار توضيحات خوبی داديد دوستمون هم که سؤال کردن فکر کنم ديگه کاملاً متوجه شدن که جريان از چه قرار است.
در کل نتيجه بخوايم بگيريم از اين تاپيک اين ميشه:
بله شما ميتونيد برای خودتون search engine درست کنيد با روش های مختلفی که اينجا صحبت شد و ديگر روش هايی که موجود هست.
بحث جالبی بود.استفاده کردیم کلی .ممنون.
خواهش ميکنم :20:نقل قول:
البته اگه دوستمون داریوش دقیق تر بگه واسه چه کاری میخواد این طراحی رو انجام بده بشه بهتر در موردش توضیح داد ...
البته در مورد روش های الگوریتمی که دوستامون گفتن فکر کنم روش سرچ کردن گوگل چیزی فراتر از توابع php و mysql و اینا باشه... چون واقعاً سرعت سرچ غیر قابل باور هست... واقعا برای درکش ببینید مثلا سرچ کردن یک جدول mysql چقدر طول میکشه... مثلا 0.02 ثانیه... حالا اگه این جدول یا جداول چندین میلیارد صفحه و هر صفحه شامل هزاران جمله و کلمه و ... باشند فکر کنم چندین روز یک سرچ عادی طول بکشه !!! پس هم سخت افزار قوی (ابر رایانه) و هم نرم افزار قوی که الگوریتمی داشته باشه که با حداقل زمان بتونه حداکثر استفاده رو از سخت افزار بکنه این الگوریتم ها فقط نرم افزاری نیستن!!! یعنی با یک تابع ساده php که یک زبان سطح بالاس و از نظر سرعت انجام پایین هست نمی شه اونو انجام داد بلکه نیاز به زبان های سطح پایین و درگیر باسخت افزار هست که حداکثر سرعت اجرا رو دارن (اسمبل) و حتی استفاده از ساده ترین توابع کارنو در ارتباط با گیتها و....خیلی از مطالبی که گوگل اونها رو پنهان نگه می داره و از همین راهم داره پول در میاره:46:
100%نقل قول:
برای همين من وارد چگونگی جريان نشدم
و کلاً به صورت ساده کل جريان را توضيح دادم .
اگر کل جريان ما ميدونستيم الان اينجا نبوديم:31:
ممنون از کلیه دوستان
بحته مفیدی بود
من بیشتر اطلاعاته مقدماتی میخواستم که دوستان پا رو فراتر گزاشتن و ....
مرسی از همگی
اگر چیزه دیگه ای هم به میخواستم حتما میپرسم:12::11:
نیازی به ابر رایانه نیست و با یه سیستم PIII هم میشه راه اندازی کرد و همون سرعت رو داشت ، اما تفاوت تو اینه که برای یه سیستم PIII مجبوریم میزان داده های موجود در پایگاه داده رو روی هر سرور کمتر در نظر بگیریم...نقل قول:
البته اگه دوستمون داریوش دقیق تر بگه واسه چه کاری میخواد این طراحی رو انجام بده بشه بهتر در موردش توضیح داد ...
البته در مورد روش های الگوریتمی که دوستامون گفتن فکر کنم روش سرچ کردن گوگل چیزی فراتر از توابع php و mysql و اینا باشه... چون واقعاً سرعت سرچ غیر قابل باور هست... واقعا برای درکش ببینید مثلا سرچ کردن یک جدول mysql چقدر طول میکشه... مثلا 0.02 ثانیه... حالا اگه این جدول یا جداول چندین میلیارد صفحه و هر صفحه شامل هزاران جمله و کلمه و ... باشند فکر کنم چندین روز یک سرچ عادی طول بکشه !!! پس هم سخت افزار قوی (ابر رایانه) و هم نرم افزار قوی که الگوریتمی داشته باشه که با حداقل زمان بتونه حداکثر استفاده رو از سخت افزار بکنه این الگوریتم ها فقط نرم افزاری نیستن!!! یعنی با یک تابع ساده php که یک زبان سطح بالاس و از نظر سرعت انجام پایین هست نمی شه اونو انجام داد بلکه نیاز به زبان های سطح پایین و درگیر باسخت افزار هست که حداکثر سرعت اجرا رو دارن (اسمبل) و حتی استفاده از ساده ترین توابع کارنو در ارتباط با گیتها و....خیلی از مطالبی که گوگل اونها رو پنهان نگه می داره و از همین راهم داره پول در میاره
مثلا به جای 500 مگابایت ، 100 مگابایت توی هر DB بریزیم... (من نمیگم که استفاده PIII بهتره ، بلکه هر چی سیستم قوی تر باشه بهتره!)
یه تکنولوژی هست که اسمش رو هر چی فکر میکنم یادم نمیاد... این تکنولوژی دیتابیس چند سرور رو به هم متصل میکنه ، موقعی که عبارتی برای سرچ به دیتابیس فرستاده میشه ، دیتابیس این عبارت رو توی تمامی سرورها میگرده و نتیجه رو با هم ادغام میکنه و برمیگردونه...
نمیدونم متوجه شدید یا نه؟
سر فرصت میگردم تا یه مقاله ای چیزی در این مورد پیدا کنم...