DotnetSpider
地址:DotnetSpider (一) 架构的理解、应用、搭建 - Grom
DotnetSpider这是国人开源的一个跨平台、高性能、轻量级的爬虫软件,采用 C# 开发。目前是.Net开源爬虫最为优秀的爬虫之一。
NWebCrawler
地址:Download NWebCrawler 1.0
NWebCrawler是一款开源的C#网络爬虫程序更多NWebCrawler
Abot(似乎不再免费支持150美元)
地址:GitHub - sjdirect/abot: C# web crawler built for speed and flexibility.
Abot是一个开源的.net爬虫,速度快,易于使用和扩展。
xNet
地址:GitHub - X-rus/xNet: xNet - class library for .NET Framework
这个一个俄国牛人写的开源工具,为啥说他强悍了,因为他将所有Http协议