扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
很多时候,我们项目需要其他网站的资源,而这个被请求的网站可能属于你们自己开发管理的网站。也可能是公网上其他网站对外开发的API接口,比如说腾讯的微信公众平台的API接口、各大短信服务商的短信API接口等。
创新互联公司专业提供川西大数据中心服务,为用户提供五星数据中心、电信、双线接入解决方案,用户可自行在线购买川西大数据中心服务,并享受7*24小时金牌售后服务。
为了上述的功能效果,我们就需要了解Asp.Net中的两个相关类,一个是HttpWebRequest类,另一个是HttpWebResponse类。
下面对这两个类进行简要概述下:
HttpWebRequest类:提供支持的属性和方法中定义WebRequst以及其他属性和方法,使用户直接通过 HTTP 与服务器交互。
HttpWebResponse类:用于生成 HTTP 独立客户端应用程序发送 HTTP 请求和接收 HTTP 响应。
既然了解了上述两个类的作用,那我们就可以通过设置Post或者Get方式的请求参数,给定指定的url地址链接,我们就可以对目标网站的接口发起Http请求,获取我们想要的数据。
下面是使用HttpWebRequest和HttpWebResponse类封装的一个请求类,读者可自行复制即可使用,封装了Get请求和Post请求。具体的代码如下:
public class HttpWebResponseUtility
{
private static readonly string DefaultUserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)";
///
/// 创建GET方式的HTTP请求
///
/// 请求的URL
/// 请求的超时时间
/// 请求的客户端浏览器信息,可以为空
/// 随同HTTP请求发送的Cookie信息,如果不需要身份验证可以为空
///
public static HttpWebResponse CreateGetHttpResponse(string url, int? timeout, string userAgent, CookieCollection cookies)
{
if (string.IsNullOrEmpty(url))
{
throw new ArgumentNullException("url");
}
HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
request.Method = "GET";
request.UserAgent = DefaultUserAgent;
if (!string.IsNullOrEmpty(userAgent))
{
request.UserAgent = userAgent;
}
if (timeout.HasValue)
{
request.Timeout = timeout.Value;
}
if (cookies != null)
{
request.CookieContainer = new CookieContainer();
request.CookieContainer.Add(cookies);
}
return request.GetResponse() as HttpWebResponse;
}
///
/// 创建POST方式的HTTP请求
///
/// 请求的URL
/// 随同请求POST的参数名称及参数值字典
/// 请求的超时时间
/// 请求的客户端浏览器信息,可以为空
/// 发送HTTP请求时所用的编码
/// 随同HTTP请求发送的Cookie信息,如果不需要身份验证可以为空
///
public static HttpWebResponse CreatePostHttpResponse(string url, IDictionary
{
if (string.IsNullOrEmpty(url))
{
throw new ArgumentNullException("url");
}
if (requestEncoding == null)
{
throw new ArgumentNullException("requestEncoding");
}
HttpWebRequest request = null;
//如果是发送HTTPS请求
if (url.StartsWith("https", StringComparison.OrdinalIgnoreCase))
{
ServicePointManager.ServerCertificateValidationCallback = new RemoteCertificateValidationCallback(CheckValidationResult);
request = WebRequest.Create(url) as HttpWebRequest;
request.ProtocolVersion = HttpVersion.Version10;
}
else
{
request = WebRequest.Create(url) as HttpWebRequest;
}
request.Method = "POST";
request.ContentType = "application/x-www-form-urlencoded";
if (!string.IsNullOrEmpty(userAgent))
{
request.UserAgent = userAgent;
}
else
{
request.UserAgent = DefaultUserAgent;
}
if (timeout.HasValue)
{
request.Timeout = timeout.Value;
}
if (cookies != null)
{
request.CookieContainer = new CookieContainer();
request.CookieContainer.Add(cookies);
}
//如果需要POST数据
if (!(parameters == null || parameters.Count == 0))
{
StringBuilder buffer = new StringBuilder();
int i = 0;
foreach (string key in parameters.Keys)
{
if (i > 0)
{
buffer.AppendFormat("&{0}={1}", key, parameters[key]);
}
else
{
buffer.AppendFormat("{0}={1}", key, parameters[key]);
}
i++;
}
byte[] data = requestEncoding.GetBytes(buffer.ToString());
using (Stream stream = request.GetRequestStream())
{
stream.Write(data, 0, data.Length);
}
}
return request.GetResponse() as HttpWebResponse;
}
private static bool CheckValidationResult(object sender, X509Certificate certificate, X509Chain chain, SslPolicyErrors errors)
{
return true; //总是接受
}
}
有了上面2个封装的方法,我们下面就模拟下登录自己的站点,先分析自己的网站demo登录实例,分析出需要传递的Post参数。如何分析此处不详细阐述,请读者自行查阅资料。
///
/// 模拟登录网站,并获取cookie
///
public static void Request3()
{
string loginUrl = "博主某网站域名登录域名/login";
string userName = "userName";
string password = "password";
string tagUrl = "博主某网站域名" + userName + "/token";
//设置编码方式
Encoding encoding = Encoding.GetEncoding("gb2312");
//此处设置Post请求的参数
IDictionary
parameters.Add("参数1", "fa");
parameters.Add("参数2", "fa");
parameters.Add("参数3", tagUrl);
parameters.Add("参数4", "0");
parameters.Add("username", userName);
parameters.Add("password", password);
//通过CreatePostHttpResponse方式请求登录的接口
HttpWebResponse response = HttpWebResponseUtility.CreatePostHttpResponse(loginUrl, parameters, null, null, encoding, null);
//获取返回数据中的Cookie设置值。
string cookieString = response.Headers["Set-Cookie"];
//后续你想做的其他操作
}
接上面Request3的方法,登录成功后,获取到登录后的cookie,我们就可以通过在请求中带上Cookie的方式去请求网站的其他资源信息。下面这个方法就是通过Get请求获取相应网站页面数据,方法如下:
public static void Request4()
{
string tagUrl = "登录后可访问的某些Get请求的URL地址";
CookieCollection cookies = new CookieCollection();//如何从response.Headers["Set-Cookie"];中获取并设置CookieCollection的代码略,参照博文上一段
var response = HttpWebResponseUtility.CreateGetHttpResponse(tagUrl, null, null, cookies);
}
如果我们通过模拟网页请求获取到的是网页HTML数据,我们就可以通过分析网页文档中的Dom结构等获取相应的数据,分析出你需要的信息。
如果获取的数据是Json数据,那个这个数据就更直接简单明了,分析Json字符串每个字段的含义即可了,后续的操作就根据你的项目业务逻辑进行编写。
网上很多网站开放的API接口返回的数据就是Json字符串,比如一些网站提供的短信服务接口,接口返回数据就是Json字符串,返回的数据中绝对有一个字段告知你短信是否发送成功。
当然,还有些网站接口返回的数据是XML格式,这些就留给读者自行去研究了。
最后提下HTTP请求分析工具,你可以使用谷歌浏览器自带的F12调试功能进行分析,可以分析出请求的参数列表、返回的数据、Cookie数据等。
也可使用专业的抓包工具,如PostMan,fiddler等,这两种工具对于网站API接口开发人员来说是常用的工具,可以不用写代码,轻松自定义请求参数快捷测试网站API接口。
最后,附上博主的IT技术学习群,欢迎各位同行入群指导交流。技术群:872894940
更多文章可以关注博主个人站点:IT技术小趣屋。
博主个人技术交流群:960640092,博主微信公众号如下:
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流