وب کراولر
وبکراوْلِر (WebCrawler)
یک موتور جستوجوی وب که در ۱۹۹۴ توسط برایان پینکرتون[۱] فارغالتحصیل دانشگاه واشینگتن ساخته شد و در حال حاضر متعلق به شرکت امریکا آنلاین[۲] است و توسط آن شرکت توسعه داده میشود. این موتور از برنامهای به اسم عنکبوت[۳] برای جستوجوی وب، یافتن سندها و صفحات وب جدید استفاده میکند. کاربر وب کراولر یک کلمه کلیدی یا عبارت را برای جستوجو وارد میکند و وب کراولر فهرستی از تمام صفحات وبی را که شامل این کلمه یا عبارت است، نشان میدهد. کاربر میتواند با کلیککردن هریک از عناوین موجود در فهرست، صفحه وب مربوطه را ببیند.