论坛交流
首页办公自动化| 网页制作| 平面设计| 动画制作| 数据库开发| 程序设计| 全部视频教程
应用视频: Windows | Word2007 | Excel2007 | PowerPoint2007 | Dreamweaver 8 | Fireworks 8 | Flash 8 | Photoshop cs | CorelDraw 12
编程视频: C语言视频教程 | HTML | Div+Css布局 | Javascript | Access数据库 | Asp | Sql Server数据库Asp.net  | Flash AS
当前位置 > 文字教程 > Asp.net教程
Tag:静态页面,treeview,gridview,repeater,dataset,sqldatareader,ado.net,上传,三层,ajax,xml,留言本,新闻发布,商城,注入,存储过程,分页,安全,优化,xmlhttp,fso,jmail,application,session,防盗链,stream,无组件,组件,md5,乱码,缓存,加密,验证码,算法,cookies,ubb,正则表达式,水印,索引,日志,压缩,base64,url重写,控件,Web.config,JDBC,函数,内存,PDF,迁移,结构,破解,编译,配置,进程,分词,IIS,触发器,socket,form认证,登录,视频教程

写个偷全国公交数据库的程序

文章类别:Asp.net | 发表日期:2008-10-5 22:09:11

以前常听到别人做采集程序,今天俺也小试身手。。
using System;
using System.Collections;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Web;
using System.Web.SessionState;
using System.Web.UI;
using System.Net;
using System.Text;
using System.Text.RegularExpressions;
using System.IO;
using System.Data.SqlClient;
using System.Web.UI.WebControls;
using System.Web.UI.HtmlControls;

namespace Temp
{
 /// <summary>
 /// GetHtmlSourceFromUrl 的摘要说明。
 /// </summary>
 public class GetHtmlSourceFromUrl : System.Web.UI.Page
 {
  private SqlConnection con;
 
  private void Page_Load(object sender, System.EventArgs e)
  {
   // 在此处放置用户代码以初始化页面
  
   if(!IsPostBack)
   {
    InsertToDB();
   }
  
  }
  private void InsertToDB()
  {
  
   for(int i=1;i<1000;i++)
   {
    string Html = string.Empty;
    string SqlText="insert into BeiJingBus(BusLineNumber,Html) Values(@BLN,@Html)";
    string ConnectionString=@"Server=.xxxx;User ID=xxxx;Pwd=xxxxx;DataBase=Map";
    con  =new SqlConnection(ConnectionString);
   
    SqlCommand cmd = new SqlCommand(SqlText,con);
 
    string Url=@"http://beijing.ibusdb.com/?busline="+i+"&s=busline&x=31&y=18"; // ^_^,这是取北京的 转到首页,换换参数,就可以取其它城市的了

    string Content = string.Empty;
   
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(Url);
    HttpWebResponse response =(HttpWebResponse) request.GetResponse();
    StreamReader  stream = new StreamReader(response.GetResponseStream(),Encoding.GetEncoding("gb2312"));
    Content =stream.ReadToEnd();
    stream.Close();  
    response.Close();
  
    int start=3487; //去广告 取正文
    int end= Content.Length-4222;//去广告 取正文
    if(end-start>0)  //判断存在第i路公交
    {
      Html=Regex.Replace(Content.Substring(start,end-start),@"<[^>]+>","");  //分离html代码
   
     try
     {
      cmd.Parameters.Add("@BLN",SqlDbType.Int).Value =i;
      cmd.Parameters.Add("@Html",SqlDbType.Text).Value= Html;
      con.Open();
      cmd.ExecuteNonQuery();
     }
     catch(SqlException err)
     {
      Response.Write(err.Message);
      con.Close();
      break;
    
     }
     con.Close();
   
    
    }
   }
  }

 

--表sql脚本:
CREATE TABLE [dbo].[BeiJingBus](
 [id] [int] IDENTITY(1,1) NOT NULL,
 [BusLineNumber] [int] NULL,
 [Html] [nvarchar](max) COLLATE Chinese_PRC_CI_AS NULL
) ON [PRIMARY]

不会用签名:http://hi.baidu.com/陈立/blog

上一篇:{技巧}在存储过程中实现分页 人气:3171
下一篇:{技巧}DataGridView 的分页处理 人气:3787
视频教程列表
文章教程搜索
 
Asp.net推荐教程
Asp.net热门教程
看全部视频教程
购买方式/价格
购买视频教程: 咨询客服
tel:15972130058