[C#][ASP.net] 透過WebBrowser 取得AJAX 後的網頁

2012-11-17


今天  Shih-Min 問我說,假設網頁一開始是AJAX 會載入一些資料,但是透過WebClient 去抓
抓到都是JavaScript 跟 AJAX 的原始碼,有辦法可以抓到AJAX 取完值之後的資料嗎?!
這需求,如果寫爬蟲可能也會有這需求..我的作法是這樣..
我是ASP.net 專案..
建立一個Class 記得要加入 System.Windows.Forms
2012-08-28_184816
這時候我建立一隻 Class 叫做 WebBrowserCrawler




using System.Threading;
using System.Windows.Forms;

namespace GetAfterAJAXPage
{



public class WebBrowserCrawler
{
// WebBrowser
private WebBrowser _WebBrowder;

//最後結果
private string _Result { get; set; }

//網址
private string _Path { get; set; }


/// <summary>
/// 對外公開的Method
/// </summary>
/// <param name="url">URL Path</param>
/// <returns></returns>
public string GetReult(string url)
{

_Path = url;


var mThread = new Thread(FatchDataToResult);
//Apartment 是處理序當中讓物件共享相同執行緒存取需求的邏輯容器。 同一 Apartment 內的所有物件都能收到 Apartment 內任何執行緒所發出的呼叫。
//.NET Framework 並不使用 Apartment;Managed 物件必須自行以安全執行緒 (Thread-Safe) 的方式運用一切共享資源。
//因為 COM 類別使用 Apartment,所以 Common Language Runtime 在 COM Interop 的狀況下呼叫出 COM 物件時必須建立 Apartment 並且加以初始化。
//Managed 執行緒可以建立並且輸入只容許一個執行緒的單一執行緒 Apartment (STA),或者含有一個以上執行緒的多執行緒 Apartment (MTA)。
//只要把執行緒的 ApartmentState 屬性設定為其中一個 ApartmentState 列舉型別 (Enumeration),即可控制所建立的 Apartment 屬於哪種型別。
//因為特定執行緒一次只能初始化一個 COM Apartment,所以第一次呼叫 Unmanaged 程式碼之後就無法再變更 Apartment 型別。
//From : http://msdn.microsoft.com/zh-tw/library/system.threading.apartmentstate.aspx
mThread.SetApartmentState(ApartmentState.STA);
mThread.Start();
mThread.Join();

return _Result;

}

/// <summary>
/// Call _WebBrowder 抓取資料
/// For thread Call
/// </summary>
private void FatchDataToResult()
{

_WebBrowder = new WebBrowser();

_WebBrowder.DocumentCompleted += _WebBrowder_DocumentCompleted;
_WebBrowder.Navigate(_Path);


//處理目前在訊息佇列中的所有 Windows 訊息。
//如果在程式碼中呼叫 DoEvents,您的應用程式就可以處理其他事件。例如,如果您的表單將資料加入 ListBox 並將 DoEvents 加入程式碼中,則當另一個視窗拖到您的表單上時,該表單將重新繪製。
//如果您從程式碼移除 DoEvents,您的表單將不會重新繪製,直到按鈕按一下的事件處理常式執行完畢。
while (_WebBrowder.ReadyState != WebBrowserReadyState.Complete)
{
Application.DoEvents();
}

_WebBrowder.Dispose();

}

//結束後回填
void _WebBrowder_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e)
{
_Result = (sender as WebBrowser).Document.Body.InnerHtml;

}


}


}


為什要這樣寫 透過Thread 來叫用不然會遇到


2012-08-28_185759

2012-08-28_190045



之後我呼叫端:




WebBrowserCrawler  webBrowserCrawler=new WebBrowserCrawler();

          File.WriteAllText(Server.MapPath("sample.txt"),webBrowserCrawler.GetReult(http://www.in2.cc/sample/waterfalllab.htm));

其中我是將取得後的資料寫入到sample.txt 中…

其中測試網頁為  http://www.in2.cc/sample/waterfalllab.htm

請注意 測試網頁為輔導級 請12歲以下兒童,請找父母陪同觀看

如果透過 WebClient 去取 只會看到 單純 Javascript  call Ajax 程式碼,但是透過 此方法 取到資料

會是 他呼叫完 AJAX 後的資料,不過當然,是指說網頁開始就會呼叫的AJAX …

不過這並非百分之百,這會跟AJAX 的寫法有關…


當麻許的超技八 2014 | Donma Hsu Design.