我现在花了很多时间来配置我的代理。目前,我使用一种称为proxybonanza的服务。他们为我提供了一个代理,我用它来获取网页。
我正在使用 HTMLAGILITYPACK
现在,如果我在没有代理的情况下运行我的代码,则在本地或上传到虚拟主机服务器时没有问题。
如果我决定使用代理,则需要更长的时间,但它仍然可以在本地工作。
If I publish my solution to, to my webhost I get a SocketException (0x274c)
"A connection attempt failed because the connected party did not properly respond
after a period of time, or established connection failed because connected host has
failed to respond 38.69.197.71:45623"
我已经调试了很长时间。
我的 app.config 有两个与此相关的
条目
httpWebRequest useUnsafeHeaderParsing="true"
httpRuntime executionTimeout="180"
这帮助我解决了几个问题。
现在这是我的 C# 代码。
HtmlWeb htmlweb = new HtmlWeb();
htmlweb.PreRequest = new HtmlAgilityPack.HtmlWeb.PreRequestHandler(OnPreRequest);
HtmlDocument htmldoc = htmlweb.Load(@"http://www.websitetofetch.com,
"IP", port, "username", "password");
//This is the preRequest config
static bool OnPreRequest(HttpWebRequest request)
{
request.KeepAlive = false;
request.Timeout = 100000;
request.ReadWriteTimeout = 1000000;
request.ProtocolVersion = HttpVersion.Version10;
return true; // ok, go on
}
我做错了什么?我已经在应用程序配置中启用了跟踪器,但我在我的虚拟主机上没有日志...?
Log stuff from app.config
<system.diagnostics>
<sources>
<source name="System.ServiceModel.MessageLogging" switchValue="Warning, ActivityTracing" >
<listeners>
<add name="ServiceModelTraceListener"/>
</listeners>
</source>
<source name="System.ServiceModel" switchValue="Verbose,ActivityTracing">
<listeners>
<add name="ServiceModelTraceListener"/>
</listeners>
</source>
<source name="System.Runtime.Serialization" switchValue="Verbose,ActivityTracing">
<listeners>
<add name="ServiceModelTraceListener"/>
</listeners>
</source>
</sources>
<sharedListeners>
<add initializeData="App_tracelog.svclog"
type="System.Diagnostics.XmlWriterTraceListener, System, Version=2.0.0.0, Culture=neutral, PublicKeyToken=b77a5c561934e089"
name="ServiceModelTraceListener" traceOutputOptions="Timestamp"/>
</sharedListeners>
</system.diagnostics>
谁能发现我打开和关闭这些设置一千次的问题..
request.KeepAlive = false;
System.Net.ServicePointManager.Expect100Continue = false;
卡尔
尝试先将页面下载为字符串,然后将其传递给 HtmlAgilityPack。 这将允许您将下载过程中发生的错误与 html 解析过程中发生的错误隔离开来。 如果您在使用代理时遇到问题(请参阅文章末尾),您将能够将该问题与 HtmlAgilityPack 配置问题隔离开来。
使用网络客户端下载页面:
// Download page
System.Net.WebClient client = new System.Net.WebClient();
client.Proxy = new System.Net.WebProxy("{proxy address and port}");
string html = client.DownloadString("http://example.com");
// Process result
HtmlAgilityPack.HtmlDocument htmlDoc = new HtmlAgilityPack.HtmlDocument();
htmlDoc.LoadHtml(html);
如果要对请求进行更多控制,请使用 System.Net.HttpWebRequest:
// Create request
HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://example.com/");
// Apply settings (including proxy)
request.Proxy = new WebProxy("{proxy address and port}");
request.KeepAlive = false;
request.Timeout = 100000;
request.ReadWriteTimeout = 1000000;
request.ProtocolVersion = HttpVersion.Version10;
// Get response
try
{
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
Stream stream = response.GetResponseStream();
StreamReader reader = new StreamReader(stream);
string html = reader.ReadToEnd();
}
catch (WebException)
{
// Handle web exceptions
}
catch (Exception)
{
// Handle other exceptions
}
// Process result
HtmlAgilityPack.HtmlDocument htmlDoc = new HtmlAgilityPack.HtmlDocument();
htmlDoc.LoadHtml(html);
此外,请确保您的代理提供程序(代理富矿)允许从生产环境访问您的代理。 大多数提供商会将对代理的访问限制为某些 IP 地址。 它们可能允许访问您在本地运行的网络的外部 IP,但不允许访问生产环境的外部 IP 地址。
听起来您的虚拟主机已禁用 ASP.NET 应用程序的传出连接以确保安全,因为它将允许其他脚本/应用程序从其服务器执行恶意攻击。
您必须要求他们取消阻止您帐户上的连接,但如果他们拒绝,请不要感到惊讶。