安装 unirest
使用 python 进行数据请求，我们可以使用 opne-uri，但是进行各种类型的请求时，显得不是特别的方便快捷，所以我们使用unirest来进行网络数据请求。
gem install unirest // 安装 unirest复制代码
unirest 的用法
uinirest最低支持 Ruby2.0版本，使用起来十分的简单，常用的方法有下面几个 (具体的使用方法可以看)
创建请求
response = Unirest.post "http://httpbin.org/post", headers:{ "Accept" => "application/json" }, parameters:{ :age => 23, :foo => "bar" }response.code # Status coderesponse.headers # Response headersresponse.body # Parsed bodyresponse.raw_body # Unparsed body复制代码 异步请求
response = Unirest.post "http://httpbin.org/post", headers:{ "Accept" => "application/json" }, parameters:{ :age => 23, :foo => "bar" } {|response| response.code # Status code response.headers # Response headers response.body # Parsed body response.raw_body # Unparsed body}复制代码 基本 get 请求
response = Unirest.get "http://httpbin.org/get", auth:{:user=>"username", :password=>"password"}复制代码 安装 nokogiri
当我们爬取到数据后，我们需要对数据进行分析，如果是简单的数据结构我们可以直接使用正则表达式，如果数据的结构比较复杂，我们就需要使用 nokogiri 对 html 的 dom 进行操作，如果对 dom 结果不了解可以先查看相关的内容(html dom教程)[http://www.runoob.com/htmldom/htmldom-tutorial.html]
gem install nokogiri复制代码
nokogiri 使用
导入包
require 'rubygems'require 'nonogiri'复制代码
打开一个 html 文档
page = Nokogiri::HTML(open("index.html))puts page.class # => Nokogiri::HTML::Document# 你也可以直接使用 unirest 请求下来的数据 response.body 来进行解析response = Unirest.get "http://httpbin.org/get"page = Nokogiri::HTML(response.body)复制代码 通过 open-uri 直接解析 url
通过 http 请求直接获取到 document
require 'rubygems'require 'nokogiri'require 'open-uri' page = Nokogiri::HTML(open("http://en.wikipedia.org/")) puts page.class # => Nokogiri::HTML::Document复制代码 CSS 选择器
对 Document 对象进行节点分析
page.css('title') # 查找 page 下所有的 `title` 标签, 返回的是一个数组page.css('li')[0].text # 获取 page 下第一个 `li` 标签中的内容page.css('li')[0]['href'] # 获取第一 `li` 标签中属性 `href` 的值page.css("li[data-category='news']") #获取属性有 `data-category='news'` 的 `li` 标签page.css('div#funstuff')[0] #获取标签 `id='funstuff'` 的节点page.css('div#reference a') # 获取标签 `id='reference'` 下所有的 `a` 节点 复制代码 更多的关于 nokogiri 的信息可以通过进行了解
安装 spreadsheet
Spreadsheet是一个Ruby实现的gem，它可以使我们很方便的使用它对excel进行操作，我们需要将获取到的数据存入本地，方便数据的记录和后续处理。
# 引入spreadsheet插件require "spreadsheet"# 声明Spreadsheet处理Excel文件组时的编码Spreadsheet.client_encoding = "UTF-8"# 创建一个Spreadsheet对象，它相当于Excel文件book = Spreadsheet::Workbook.new# 创建Excel文件中的一个表格，并命名为 "Test Excel"sheet1 = book.create_worksheet :name => "Test Excel"# 设置一个Excel文件的格式default_format = Spreadsheet::Format.new(:weight => :bold,#字体加粗 :size => 14, :horizontal_align: => :merge, #表格合并 :color=>"red", :border=>1, :border_color=>"black", :pattern => 1 , :pattern_fg_color => "yellow" )#这里需要注意，如果pattern不手动处理，会导致pattern_fg_color无实际效果# 指定一个在表格中的第一行对象test_row = sheet1.row(0)test_row.set_format(i, default_format)# 为第一行的第一列指定值test_row[0] = "row 1 col 1"# 为第一行的第二列指定值test_rwo[1] = "row 1 col 2" # 将创建的Spreadsheet对象写入文件，形成电子表格book.write 'book2.xls'复制代码
爬虫
爬取 RUNOOB.COM(http://www.runoob.com/) 的教程列表和地址数据 其实这都算不上是一个爬虫，但是作为利用 ruby 的各种 gem 来实现异步数据请求，数据筛选及存储。是实现一个更加复杂的爬虫的必备工具。熟练的使用各种各样的 gem 可以体现 ruby 的简洁
#!/usr/bin/rubyrequire 'unirest'require 'nokogiri'require 'open-uri'require 'spreadsheet'# 获取网页的信息response = Unirest.get "http://www.runoob.com/"page = Nokogiri::HTML(response.body)# 获取大分类的列表datas = page.css('div.codelist')puts datas.count# 创建一个表格Spreadsheet.client_encoding = 'UTF-8'book = Spreadsheet::Workbook.new# 创建一个 sheetsheet = book.create_worksheet :name => "my excel"index = 0datas.each do |category| puts category.css('h2').text # 获取大分类的名字 items = category.css('a.item-top') items.each do |item| sheet.row(index)[0] = item.css('h4').text # 写入教程的名字 sheet.row(index)[1] = item['href'] # 写入教程的链接 index += 1 endendbook.write '/users/ssbun/desktop/runoob.xls' # 写入本地文件 （**注意你的路径**）复制代码 随后你就可以看见在你的桌面上有一个 xls 文件，打开它就能看到里面的数据了。