معرفی برترین خزشگر های تحت وب و متن باز برای داده کاوی

خزنده‌ی وب، (انگلیسی: Web Crawler) یک برنامه‌ای رایانه‌ای است که توانایی مرور و ثبت اطلاعات را از وب‌سایت‌ها به صورت خودکار دارد. “خزنده‌ی وب” به چندین شکل مختلف تعریف می‌شود که برخی از آنان :

  • عنکبوت‌های وب (انگلیسی: Web Spider)
  • فهرست سازان خودکار (انگلیسی: Automatic Indexers)
  • ربات‌های نرم‌افزاری خودکار (انگلیسی: Web Robots)
  • نرم‌افزارهای FOAF

را شامل می‌شود.

به عنوان مثال موتورهای جستجوگر با بهره‌گیری از این گونه نرم‌افزارها به صورت خودکار صفحات مختلف وب سایت‌ها را ثبت ، آنالیز و رده‌بندی می‌کند.

حال در این پست به شما ۵۰ خزشگر برتر تحت وبی که مجانی و متن باز می باشند را معرفی می کنیم.

با مفتا همراه باشید:

NameLanguagePlatform
HeritrixJavaLinux
NutchJavaCross-platform
ScrapyPythonCross-platform
DataparkSearchC++Cross-platform
GNU WgetCLinux
GRUBC#, C, Python, PerlCross-platform
ht://DigC++Unix
HTTrackC/C++Cross-platform
ICDL CrawlerC++Cross-platform
mnoGoSearchCWindows
Norconex HTTP CollectorJavaCross-platform
Open Source ServerC/C++, Java PHPCross-platform
PHP-CrawlerPHPCross-platform
YaCyJavaCross-platform
WebSPHINXJavaCross-platform
WebLechJavaCross-platform
AraleJavaCross-platform
JSpiderJavaCross-platform
HyperSpiderJavaCross-platform
ArachnidJavaCross-platform
SpindleJavaCross-platform
SpiderJavaCross-platform
LARMJavaCross-platform
MetisJavaCross-platform
SimpleSpiderJavaCross-platform
GrunkJavaCross-platform
CAPEKJavaCross-platform
ApertureJavaCross-platform
Smart and Simple Web CrawlerJavaCross-platform
Web HarvestJavaCross-platform
AspseekC++Linux
BixoJavaCross-platform
crawler4jJavaCross-platform
EbotErlandLinux
HounderJavaCross-platform
Hyper EstraierC/C++Cross-platform
OpenWebSpiderC#, PHPCross-platform
PavukCLunix
SphiderPHPCross-platform
XapianC++Cross-platform
Arachnode.netC#Windows
CrawwwlerC++Java
Distributed Web CrawlerC, Java, PythonCross-platform
iCrawlerJavaCross-platform
pycreepJavaCross-platform
OpeseC++Linux
AndjingJava
CcrawlerC#Windows
WebEaterJavaCross-platform
JoBoJavaCross-platform
همچنین بخوانید:  نرم افزار پردازش چهره به شما امکان ادیت فیلم در لحظه فیلم برداری را می دهد

 

نظرتون را درباره ی این مطلب بنویسید

آدرس ایمیل شما منتشر نخواهد شد.