我的webrequest经验

1 webrequest 是什么：编程方式模拟web请求，利用webrequest可以实现 相当于一个浏览器请求一个网页的效果，但是它始终是模拟请求，
与浏览器输入框输入网址请求不一样。
2 程序设计中有时有这样的case，需要请求一个url，获得特定网页的部分html代码，比如特定的table，div片段。
这个时候可以用代码实现一个httpwebrequest请求，以get的方式请求远程站点的一个url，返回结果是网页的整个html,之后再在结果中提取我们需要的数据。
代码如下#region WebRequest请求url
/// <summary>
/// WebRequest请求url
/// </summary>
/// <param name="reqUrl">服务端URl</param>
/// <param name="method">方法大写（POST）</param>
/// <returns>返回Xml格式字符串</returns>
public string CreateRequest(string reqUrl, string method, string param)
{
string error = string.Empty;
string resultStr = string.Empty;
HttpWebRequest webReq = (HttpWebRequest)HttpWebRequest.Create(reqUrl);
webReq.Method = method;
webReq.KeepAlive = true;
webReq.Timeout = 20000;
webReq.ContentType = "text/html";//application/x-www-form-urlencoded
webReq.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705;)";
if (method == "POST")
{
byte[] bs = Encoding.ASCII.GetBytes(param);
webReq.ContentLength = bs.Length;
using (Stream reqStream = webReq.GetRequestStream())
{
reqStream.Write(bs, 0, bs.Length);
}
}
using (HttpWebResponse response = (HttpWebResponse)webReq.GetResponse())
{
using (StreamReader reader = new StreamReader(response.GetResponseStream()))
{
resultStr = reader.ReadToEnd();
} if (response != null)
response.Close();
}
return GetChartSize(resultStr);
}
#endregion
在远程站点服务器不做任何限制的情况下，这样的单个请求一般都会成功。
有几种情况需要注意。
1 整个过程是一个客户端服务端的完整请求，请求结束后要记得关闭连接，使用using是一个好的习惯。否则后果很严重
2 我做过的关于webrequest的几个项目都涉及到循环请求web服务器，比如我是先得到一个产品信息列表，假设有一次200条，其中一条商品信息有一个url值，
必须webrequest去请求网页获得一段html，之后我分析完这段html后再去请求，这样循环发送，相当于攻击了。一定数量的产品信息列表就可以循环发起请求了。一段时间后不稳定情况就出现了。
明明存在的url，在请求的时候就报url不存在了。
原因：但某一个请求一段时间后得不到回应，请求会中断，之后的请求也就失败了：
The remote server returned an error: (404) Not Found.
at System.Net.HttpWebRequest.GetResponse()
实际上根本是存在的url
3 .NET对连接有数最的限制，可以设置ServicePointManager.DefaultConnectionLimit修改限制数量。
频繁的请求可能跟连接限制有关系，我对.NET连接限制的原理不是很清楚，在我的代码和webconfig分别把这个连接数设置为
512，结果没有起任何作用。
我自己测试ServicePointManager.DefaultConnectionLimit的默认值是21
4 关于这个问题的一些参考资料
》http://www.cnblogs.com/Thriving-Country/archive/2009/12/18/1627008.html
这里详细的解释了并发连接，
http://q.cnblogs.com/q/34850/
http://topic.csdn.net/u/20070403/15/e2fc87fb-4795-4c50-9c21-934a46079e62.html
我的建议：
根据我自己的经验，循环使用webrequest请求远程网页的做法不是一个科学可靠的设计方案，
这样做不稳定而且风险巨大，一定数量级的频繁请求肯定会出问题。程序需要的数据最好还是预先放在数据库中做持久化处理