Thinking more…

WebClient 畢竟還是有一些限制，例如 Cookie，這就沒辦法了，你必須要自行操作 Header。
可是 WebClient 並沒有任何成員可以讓你實現這塊。

而 WebClient 的底層，其實是用 WebRequest 來實現的。這裡的例子使用了
HttpWebRequest，但其實 HttpWebRequest 也是繼承自 WebRequest。
要加上 Cookie 的話，你得指定 HttpWebRequest 的 CookieContainer 屬性。

所以我們很快就可以寫出 wgetInWebRequest()。
using System;
using System.Text;
using System.Text.RegularExpressions;
using System.Net;
using System.Web;
using System.IO;
using System.Diagnostics;
using System.Collections;

public class Network
{
    public static string wgetInWebRequest( string url, CookieContainer cookies, Encoding encoding )
    {
        string responseData = "";
            
        try
        {
            HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create( url );

            // 加上 Cookie
            webRequest.CookieContainer = cookies;

            // 如果你有 Proxy 的話～
            // webRequest.Proxy = new WebProxy( "your_proxy", 3128 );

            // 加上 User Agent，用來模擬瀏覽器～
            //webRequest.Headers.Add( "User-Agent","Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)");

            StreamReader responseReader;
            responseReader = new StreamReader(webRequest.GetResponse().GetResponseStream(), encoding );

            // and read the response
            responseData = responseReader.ReadToEnd();
        }
        catch( Exception ex )
        {
            Debug.WriteLine( ex.ToString() );
        }
        finally
        {
            Debug.WriteLine( responseData );
        }
        return responseData;
    }
}
我想，也許你會問這有什麼用？
一般網站應用系統登入以後，都會設置 Cookie 以表示你已經登入了，換句話說，你只要先設法模擬登入，然後取得 WebResponse 所得到的 Cookie，接著再把得到的 Cookie 放到 WebRequest.CookieContainer，你接下來所有對該網站應用程式的 Request 就已經是有特定使用者身份的了～
讓我舉個 ASP.Net 網站的例子吧～
    public static void Login( string user, string pwd)
    {
        string loginPage = wgetInWebRequest( "http://your_web_app/login.aspx", null, Encoding.Default );

        // ASP.Net 會在頁面埋一個 __VIEWSTATE 隱藏表單變數，先取得！
        Regex rx = new Regex(@"\<input\ type=""hidden""\ name=""__VIEWSTATE""\ value=""(?<viewstate>.+)""\ /\>");
        string viewstate = "";

        try {
            // Find matches.
            MatchCollection matches = rx.Matches( loginPage );
                
            if( matches.Count == 1 )
            {
                // 要作 UrlEncode
                viewstate = HttpUtility.UrlEncode( matches[0].Groups["viewstate"].Value );

                // 用來收 cookie 的容器
                CookieContainer cookies = new CookieContainer();

                // now post to the login form
                HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create( "http://your_web_app/login.aspx" );

                // 模擬瀏覽器
                //webRequest.Headers.Add( "User-Agent","Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)");

                // POST
                webRequest.Method = "POST";
                webRequest.ContentType = "application/x-www-form-urlencoded";

                // 收到的 cookies 會放到 cookies 變數
                webRequest.CookieContainer = cookies;

                // 如果你有 proxy 的話
                // webRequest.Proxy = new WebProxy( "your_proxy", 3128 );

                // 這邊要看 login 表單有哪些變數而定，請自行變化
                string postData = string.Format( "__VIEWSTATE={0}&user={1}&password={2}&Submit=Submit", viewstate, user, pwd );
                StreamWriter requestWriter = new StreamWriter(webRequest.GetRequestStream());
                requestWriter.Write(postData);
                requestWriter.Close();

                // 收到內容啦，但是我們不需要他的結果，只要 cookies
                webRequest.GetResponse().Close();
                    
                // now we can send out cookie along with a request for the protected page
                string responseData = wgetInWebRequest( "http://your_web_app/default.aspx", cookies, Encoding.Default );
                Debug.WriteLine( responseData );
            }
            else
                Debug.WriteLine( "Internal error, too many ViewState." );
        }
        catch( Exception ex ) {
            Debug.WriteLine( ex.ToString() );
        }
        finally {
        }
    }

大致上就是這樣子，我不作太多的說明囉～
想要作更多的話，可以再研究HTTP Protocal並配合Sniffer之類的軟體去監看網路封包，來了解詳細的流程。

上一篇最後留下 Encoding 的問題還沒解決，事實上已經有解了：你可以改用 DownloadString() 函數。
DownloadString() 是怎麼做到的呢？
他是先看 WebRequest 得到的 Header 裡面是否有 Content-Type ，如果有指定的話，再看他裡面是否指定 charset，如果有，就以此編碼去讀取 stream。
如果沒有指定的話呢？.Net 2.0 的 WebClient 多提供了 Encoding 屬性，換句話說，就會以 Encoding 屬性指定的編碼去讀取 stream。
事實上，大部分的 browser 並沒這麼笨～他還會先去偷看網頁內容是否有指定 Content-Type 這個 meta tag：

<meta http-equiv=”Content-Type” content=”text/html; charset=UTF-8″ />

如果有的話，就會以此 charset 所指定的編碼來讀取。

如果你要搞個 spider 或是 bot，需要讀取網頁的話，用 WebClient 就綽綽有餘了～
using System.Net;

public class Network
{
    public static string wget( string url )
    {
        WebClient _client=new WebClient();
        string result="";
            
        try {
            // 藉著修改 Header，可以用來模擬某特定 Browser，以下是模擬 IE 6
            _client.Headers.Add("Accept","image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*");
            _client.Headers.Add("Accept-Language","zh-tw");
            _client.Headers.Add("User-Agent","Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)");

            // 表示支援壓縮，也就是說，你可以丟壓縮過的資料過來，我來解～
            //_client.Headers.Add("Accept-Encoding","gzip, deflate");

            // read
            System.IO.Stream objStream=_client.OpenRead( url );

            // 要知道正確的編碼，再去讀取～.Net會幫我們自動轉為 unicode 字串。這邊預設都是 UTF8
            System.IO.StreamReader _reader=new System.IO.StreamReader(objStream,System.Text.Encoding.UTF8);
            //System.IO.StreamReader _reader=new System.IO.StreamReader(objStream,System.Text.Encoding.GetEncoding(950));
            result = _reader.ReadToEnd();
        }
        catch( Exception ex ) {
            throw ex;
        }
        finally {
        }
            
        return result;
    }
}

所以我們就可以這麼用
Console.WriteLine( Network.wget("http://www.google.com.tw") );

目前有個決定性的缺點：必須先知道網頁編碼，我們才能讀到正確的文字～有辦法先知道網頁的編碼，再去決定要怎麼讀取嗎？