نحوه کار جستجو در کاوشگر

راهنمای فنی

مرحله ۱ — خزش (Crawling)

کاوشگر با استفاده از یک خزنده (Crawler) هوشمند، صفحات وب شبکه داخلی را به‌صورت خودکار بازدید می‌کند. این خزنده از الگوریتم BFS (جستجوی سطح اول) استفاده می‌کند و لینک‌های هر صفحه را دنبال می‌کند تا عمق ۵ سطح.

مرحله ۲ — پردازش و استخراج

پس از دانلود هر صفحه، محتوای آن تجزیه‌وتحلیل می‌شود:

مرحله ۳ — ایندکس‌گذاری

محتوای پردازش‌شده در موتور Lucene.NET ایندکس می‌شود. این موتور امکان جستجوی Full-Text سریع با پشتیبانی از فارسی را فراهم می‌کند. عنوان صفحه با وزن ۳ برابر بیشتر از محتوا در رنکینگ تأثیر دارد.

مرحله ۴ — جستجو

وقتی عبارتی جستجو می‌کنید، کاوشگر:

تصحیح غلط‌های املایی

اگر جستجو نتایج کمی داشت، کاوشگر با الگوریتم فاصله لون‌اشتاین (Levenshtein Distance) نزدیک‌ترین کلمه موجود در فهرست تگ‌ها و عناوین صفحات را پیشنهاد می‌دهد.

به‌روزرسانی اطلاعات

خزنده به‌صورت خودکار هر ۶۰ دقیقه اجرا می‌شود و صفحاتی که بیش از ۲۴ ساعت از آخرین بازدیدشان گذشته باشد را دوباره خزش می‌کند.