سلام به همه دوستان
من قراره یه پروژه به زبان C#.netبنویسم که موضوعش طراحی یک موتور جستجوست
اگه کسی می تونه کمکم کنه،یکدنیا ممنون:11:
Printable View
سلام به همه دوستان
من قراره یه پروژه به زبان C#.netبنویسم که موضوعش طراحی یک موتور جستجوست
اگه کسی می تونه کمکم کنه،یکدنیا ممنون:11:
سلام
اگر منظورتان موتورهای جستجو وب است، اصولش ساده است و پیاده سازیش هم ساده است ولی حجم کد نویسی زیادی دارد.
اولین چیز نیاز به یک روبات اسکن کننده است.
شما باید صفحات اینترنت را به صورت متنی دانلود کنید (مثلاً با کلاسس System.Net.WebClient) و سپس:
1) این متن html را پردازش کنید و به طرز مناسبی که بعداً جستجوی سریعی داشته باشد، همراه با لینکش در دیتابیس ذخیره کنید
2) این متن html را پردازش کنید و هایپرلینک ها به صفحات دیگر را پیدا کنید، این هایپرلینک ها هدف بعدی جستجو هستند.
یعنی شما با رفتن به هر صفحه html آدرس چن و شاید چند ده صفحه دیگر را پیدا کنید.
باید مراقب باشید صفحه ای دوبار اسکن نشود و یک حلقه بینهایت در برنامه پیش آید،
باید به فکر آپدیت کردن اطلاعات صفحات هم باشید و طبق یک برنامه زمان بندی اطلاعات صفحات را مجدداً در دیتابیس تان refresh کنید
در سمت دیگر هم باید یک ایندکس قوی و کد مناسب برای جستجوی کلمات مورد نظر کاربر از داخل دیتابیس و یافتن لینک صفحات داشته باشید.
سلم می بخشید میشه یکمی بیشتر در مورد نحوه اسکن کردن صفحات توضیح بدید اگه میشه یک کد نمونه هم بزارین.
یک سوال دیگه آیا میشه یک برنامه توی وب نوشت که مثلا توی صفحات خاصی یک کاری بکنه . مثلا ارسال پیام.
سلام
انجام این عمل بسیار حساس است و کد زیاد و دقیقی میخواهد که خیلی شبیه Parser های XML است ولی متاسفانه Html کمی بی قانون است و زیاد قوانین XML را رعایت نمیکند، مثلاً تگ <br> به جای </br> یا ساختار خیلی از صفحات وب مشکل دارد و شاید تگ td باز باشد که <td/> نداشته باشد و یا ....
در نتیجه باید یک کد دستی داشته باشیم که کاراکتر به کاراکتر html را بخواند و تفسیر کند و حتی الممکن تمام کار را در یک بار خواندن و مرور متن انجام دهد.
البته میتوان با کمی دردسر از هسته DOM مرورگر هایی مثل IE هم استفاده کرد ولی در دنیای واقعی و برای مصرف یک سایت جستجو فکر نکنم سرعت مناسبی داشته باشد و ساخت همان یک کد خوانده یک مروره خیلی بهتر است.
من فقط یک کد بسیار بسیار بسیار ساده و البته نه چندان صحیح برایتان نوشتم.
این کد فقط تگهای a را اسکن میکند و لینک تمام صفحاتدیگر را پیدا میکند.
این کد خلی مشکل دارد ولی در عوض ساده و کوتاه و قابل فهم است.
(مثلاً اگر در خصیصه href و قبل یا بعد از = یک یا چند فاصله باشد داشته باشد، کد به مشکل میخورد و ...)
باید توجه داشتکه از Scan محتویات غیر متنی zip و pdf و jpg و... و... و... در کدها جلوگیری کرد.
شما میتوانید به جای Urls.Add این مقادیر را به یک ListBox و یا با یک Enter به یک TextBox اضافه کنید. (در حالت واقعی این کار روی دیتابیس انجام میشود.)
در آخر توجه داشته باشید که با احتصاب جلوگیری از مرور مجدد یک صفحه، میتوان متد Scan را برای صفحات جدید یافته شده نیز اجرا کرد.کد:public class HtmlScan
{
////////////////////////////////////////////////////////////
public readonly System.Collections.Generic.List<string> Urls = new System.Collections.Generic.List<string>();
private readonly System.Net.WebClient m_WC = new System.Net.WebClient();
////////////////////////////////////////////////////////////
public void Scan(string url)
{
string html = this.m_WC.DownloadString(url);
if (string.IsNullOrEmpty(html)) return;
int index = 0;
string hyperlink;
while(true)
{
index = this.FindTag(html,index,"a");
if (index < 0) return;
hyperlink = this.ReadAttrib(html, ref index, "href");
if (!string.IsNullOrEmpty(hyperlink)) this.Urls.Add(hyperlink);
}
}
////////////////////////////////////////////////////////////
private int FindTag(string html, int index, string tag)
{
return html.IndexOf("<" + tag, index, System.StringComparison.OrdinalIgnoreCase);
}
////////////////////////////////////////////////////////////
private string ReadAttrib(string html,ref int index, string att)
{
int iStart = html.IndexOf(att + "=", index, System.StringComparison.OrdinalIgnoreCase) + 5;
if (iStart <= 0) return null;
char cEnd = ' ';
if ((html[iStart] == '\'') || (html[iStart] == '\"'))
{
cEnd = html[iStart];
iStart++;
}
int iEnd = html.IndexOf(cEnd, iStart + 1);
if (iEnd <= iStart) return null;
index = iEnd;
return html.Substring(iStart, iEnd - iStart);
}
}
استفاده:
HtmlScan x = new HtmlScan();
x.Scan("http://www.p30world.com");
//x.Urls
این کار به صورت یک سرطان شاخه درختی رشد خواهد کرد و ظرف مدت کوتاهی به سایتهای دیگر و میلیون و میلون ها و میلیارد ها لینک خواهد رسید و تقریباً تمام شدنی برای من مفروض نیست. !!!
قسمت دوم سوالتان را اصلاً متوجه نشدم، مثلاً شما صفحه site.com/file.htm را پیدا کردید، خوب چه پیامی میخواهید بفرستید؟
سلام
منونم از اینکه جواب دادید.
برای قسمت دوم سوال منظورم اینکه مثلا ربات ما به صورت خدکار در یک سایت ثبت نام کنه (البنه میدونم این ربات باید خیلی هشمند باشه تا بتونه به تور مثال textbox مربوط به نامو پیدا کنه ولی برای شروع ما فرض می کنیم این فرم در تمام ثایت ها یکسان تعریف شده مثلا textbox1 مربوط به نام است.)
ممنون
سلام
در دید اول شاید ساده باشد ولی خیلی حالت خاص دارد و حتی در شرایط فیلدهای مساوی هم شاید مجبور شویم برای هر آدرسی کد را عوض کنیم، برای ثبت نام چندان کار امد نیست، مگر اینکه بخواهید یک برنامه مخرب اجرا کنید و تعداد کثیری را ثبت نام کند!!!!نقل قول:
برای قسمت دوم سوال منظورم اینکه مثلا ربات ما به صورت خدکار در یک سایت ثبت نام کنه (البنه میدونم این ربات باید خیلی هشمند باشه تا بتونه به تور مثال textbox مربوط به نامو پیدا کنه ولی برای شروع ما فرض می کنیم این فرم در تمام ثایت ها یکسان تعریف شده مثلا textbox1 مربوط به نام است.)
یا اینکه برای صفحات دانلود برخی سایت، کاری کنید که زمان انتظار از بین برود و...
صفحه اگر کد js داشته باشد، باز کار سخت میشود، یعنی دکمه اصلی به جای submit یک کد js را اجرا کند، بعد باید بشنیم ببینیم کد js چه کار دارد میکند....
اگر page مورد نظر اعتبار سنجی تصویری داشته باشد (تصویر یک نوشته) دیگر کار غیر ممکن میکند، چون این نوشته های تصویر شده اغلب طوری هستند که بهترین OCR ها هم نمیتوانند از پس شان بر آیند...
در کل خیلی به محتویات صفحه وابسته است.
بازهم منونم آقای h2 . من قصد نوشتن کد مخرب ندارم این یک برنامست که به من سفارش دادن و بیشتر جنبه تبلیغاتی داره . فقط اگه شما لطف کنید و یک کد نمونه دیگه در این باره برای من بزارین ممنون میشم.
سلام
اگر فرض کنیم یک فرم ساده با یک TextBox و Button به فرمت زیر داشته باشید:
یا html زیر باشد، با هر زبان سمت سرور...کد:<asp:TextBox ID="TextBox1" runat="server" />
<asp:Button ID="Button1" runat="server" Text="Button" />
آنگاه برای پر کردن TextBox1 با مقدار Value1 و کلیک کردن Button1 و گرفتن html نتیجه، میتوان کد زیر را اجرا کرد.کد:<input name="TextBox1" type="text" id="TextBox1" />
<input type="submit" name="Button1" value="Button" id="Button1" />
همانطور که گفتم اجرا شدن صحیح دستورات بسیار بسیار به صفحه حساس است.کد:'VB.Net
Dim request As System.Net.WebRequest = System.Net.WebRequest.Create("http://site.com/Default.aspx")
Dim content() As Byte = System.Text.Encoding.UTF8.GetBytes("TextBox1=value1&Button1=Button&__EVENTTARGET=")
Dim html As String
request.ContentType = "application/x-www-form-urlencoded"
request.Method = "POST"
request.ContentLength = content.Length
Using strmrequest As System.IO.Stream = request.GetRequestStream()
strmrequest.Write(content, 0, content.Length)
End Using
Using _
response As System.Net.WebResponse = request.GetResponse, _
strmresponse As System.IO.Stream = response.GetResponseStream(), _
reader As New System.IO.StreamReader(strmresponse, System.Text.Encoding.UTF8)
html = reader.ReadToEnd
End Using
//C#.Net
System.Net.WebRequest request = System.Net.WebRequest.Create("http://site.com/Default.aspx");
byte[] content = System.Text.Encoding.UTF8.GetBytes("TextBox1=value1&Button1=Button&__EVENTTARGET=");
string html;
request.ContentType = "application/x-www-form-urlencoded";
request.Method = "POST";
request.ContentLength = content.Length;
using (System.IO.Stream strmrequest = request.GetRequestStream())
{
strmrequest.Write(content, 0, content.Length);
}
using (System.Net.WebResponse response = request.GetResponse()){
using (System.IO.Stream strmresponse = response.GetResponseStream()){
using (System.IO.StreamReader reader = new System.IO.StreamReader(strmresponse, System.Text.Encoding.UTF8)){
html = reader.ReadToEnd();
}}}
مثلاً در صفحات aspx
- برای اتفاق افتادن رویدا کلیک معمولاً باید EVENTTARGET__ را هم اضافه کرد تا سوییچر داخلی فعال شود.
- شاید نیاز باشد گزینه EnableEventValidation برای page مربوطه False شود، چون asp.net مثل بقیه زبانهای سمت سرور چندان بی در و پیکر نیست و مدیریت شدیدی روی درخواستها دارد، معمولاً به صورت داخلی رویدادها را اعتبار سنجی میکند.
ولی در مورد صفحات دیگر زبانهای سروری این دو نکته وجود ندارد.
در کل اگر میخواهید، میتوانید کد فوق را به عنوان یک یادگیری و سرنخ در نظر بگیرید و سپس و بیشک باید آنرا بسیار توسعه بدهید.
سلام خیلی لطف کردین جناب h2 از اینکه وقت گزاشتین ممنون.اومید وارم با امامتون حضرت علی محشور بشید
سلام
یک چیزی میگفتید که حداقل یک تلیارد ام احتمال داشته باشه .... !نقل قول:
...اومید وارم با امامتون حضرت علی محشور بشید
ما در این دنیا با هر کسی دوستی کنیم اون دنیا هم حتما با همان شخص دوستی می کنیم اگه با شیطان دوست باشیم اون دنیاهم میریم پیش اون و اگه مثل شما عشق ودوستی مولا علی تو قلبمون با شه حتما در کنار و جوار اون بزرگوار قرار می گیریم به اومید خدا
ممنون از آقای h2
من یه پی ام واستون گذاشتم.لطفا چک کنید
با فرض این که لینک برگه های سایت های مختلف پیدا شدند و تعداد زیادی از اونها داونلود شدند، قدم بعدی چیه؟
این که تمام متن اون صفحه ها رو پس از کنار گذاشتن تگ های اچ تی ام الشون در رکوردهای پایگاه داده ذخیره کرد و با استفاده از دستور LIKE و % در اونها جستجو انجام داد؟
آیا این راه کند نیست؟ چه روشهای بهتری وجود دارند؟
سلام
اصل تفکر و الگوریتمی که در ذهنتان شکل گرفته صحیح است و از این منظر جوابتان بله است.نقل قول:
این که تمام متن اون صفحه ها رو پس از کنار گذاشتن تگ های اچ تی ام الشون در رکوردهای پایگاه داده ذخیره کرد و با استفاده از دستور LIKE و % در اونها جستجو انجام داد؟
آیا این راه کند نیست؟ چه روشهای بهتری وجود دارند؟
ولی در مورد دستور LIKE جوابتان خیر است.
باید یکم بیشتر روی امکانات متعدد SQLServer تمرکز کنید.
SQLServer سرویس به نام Full Text Search دارد که با ساختاری به نام Catalog در ارتباط است.
این سرویس امکان جستجوی بسیار پرسرعت و با قابلیت های مفهومی (مثل کلمات مشابه و هم معنی و...) را روی متون مقدور میسازد.
باید Catalog ای برای ستون جدول مورد نظر بسازید و با سینتکس خاص این سرویس در Catalog تشکیل شده جستجو کنید.
برای اطلاعات بیشتر به مدخل زیر مراجعه کنید:
http://msdn.microsoft.com/en-us/library/ms142571.aspx