梦想破碎是没有声音的,它只是缓慢又沉默地离开了。 by 苏更生

 分类:网络编程

爬虫入门讲解:基础理论篇

关于爬虫内容的分享,我会分成两篇,六个部分来分享,分别是: 我们的目的是什么 内容从何而来 了解网络请求 一些常见的限制方式 尝试解决问题的思路 效率问题的取舍 一、我们的目的是什么 一般来讲对我们而言,需要抓取的是某个网站或者某个应用的内容,提取有用的价值,内容一般分为两部...

cricode 2年前 (2015-11-14) 3225℃ 0评论 18喜欢

HTTP协议教程(上)

文章内容: 1.HTTP协议概述 2.URL知识概述 3.HTTP消息结构详解   1.HTTP协议概述 定义: 超文本传送协议 (HTTP-Hypertext transfer protocol) 是分布式的超媒体系统应用之间的通信协议;是万维网(WWW)交换信息...

cricode 2年前 (2015-10-07) 2743℃ 0评论 13喜欢

图解TCP-IP协议

图解TCP-IP协议
本文通过两个图来梳理TCP-IP协议相关知识。TCP通信过程包括三个步骤:建立TCP连接通道,传输数据,断开TCP连接通道。如图1所示,给出了TCP通信过程的示意图。 图1 TCP 三次握手四次挥手 图1主要包括三部分:建立连接、传输数据、断开连接。 1)建立TCP连接很简单,...

Jay13 3年前 (2014-10-28) 30309℃ 2评论 41喜欢

在浏览器中输入网址后都发生了什么

在浏览器中输入网址后都发生了什么
输入网址后…… 如上图所示,为在浏览器中输入网址后的示意图。 1.浏览器发起DNS查询请求 在广域网中,我们是基于IP地址进行通信的。但通常客户访问的是一个网址,为此,我们需要先得到网址对应的IP地址,这就需要域名服务系统将域名转换成IP地址。如下图所示...

Jay13 3年前 (2014-10-24) 12721℃ 0评论 55喜欢

构建高性能web站点之IO模型

构建高性能web站点之IO模型
之前在5种服务器网络编程模型讲解中说到了同步阻塞IO、IO多路复用等IO模型。 这两天一口气把《构建高性能web站点》看完了,书中关于同步阻塞IO、同步非阻塞IO、多路I/O复用、异步IO、同步、异步、阻塞、非阻塞等一些概念的例子有点意思,分享一下。 关于同步阻塞IO、同步非阻塞...

Jay13 3年前 (2014-10-21) 4609℃ 0评论 22喜欢

网页爬虫及其用到的算法和数据结构

网页爬虫及其用到的算法和数据结构
网络爬虫,是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。网络爬虫是搜索引擎系统中十分重要的组成部分,它负责从互 联网中搜集网页,采集信息,这些网页信息用于建立索引从而为搜索 引擎提供支持,它决定着整个引擎系统的内容是否丰富,信息是否即 时,因此其性能的优劣直接影响着搜...

Jay13 3年前 (2014-09-28) 16027℃ 5评论 74喜欢

5种服务器网络编程模型讲解

5种服务器网络编程模型讲解
本文介绍几种服务器网络编程模型。废话不多说,直接正题。 1.同步阻塞迭代模型 同步阻塞迭代模型是最简单的一种IO模型。 其核心代码如下: bind(srvfd); listen(srvfd); for(;;){ clifd = acce...

Jay13 3年前 (2014-09-10) 21386℃ 5评论 27喜欢

高并发网络编程之epoll详解

高并发网络编程之epoll详解
在linux 没有实现epoll事件驱动机制之前,我们一般选择用select或者poll等IO多路复用的方法来实现并发服务程序。在大数据、高并发、集群等一些名词唱得火热之年代,select和poll的用武之地越来越有限,风头已经被epoll占尽。 本文便来介绍epoll的实现机制...

Jay13 3年前 (2014-09-07) 17501℃ 1评论 22喜欢

socket请求Web服务器过程

socket请求Web服务器过程
最开始我们需要明白一件事情,因为这是这篇文章的前提: HTTP协议只是一个应用层协议,它底层是通过TCP进行传输数据的。因此,浏览器访问Web服务器的过程必须先有“连接建立”的发生。 而有人或许会问:众所周知,HTTP协议有两大特性,一个是“无连接”性,一个是“无状态”性。这里的...

Jay13 3年前 (2014-08-17) 7833℃ 0评论 11喜欢

nginx架构初探

众所周知,nginx性能高,而nginx的高性能与其架构是分不开的。那么nginx究竟是怎么样的呢?这一节我们先来初识一下nginx框架吧。 nginx在启动后,在unix系统中会以daemon的方式在后台运行,后台进程包含一个master进程和多个worker进程。我们也可以手...

Jay13 3年前 (2014-07-12) 7189℃ 2评论 17喜欢

从开源代码Nginx中学习编码风格

几乎每家大公司都会有自己的一套代码编写规范。严格遵守同一套代码规范,如缩进,命名,文件结构,注释风格等等,能够让代码易于阅读,方便维护! Nginx源代码风格一直广受好评,下面我们就从Nginx源代码中,学习其编码风格。 一、基本原则 K&R编码风格(偏BSD子类)。...

Jay13 3年前 (2014-07-11) 3990℃ 0评论 4喜欢

DDoS攻防战(三):ip黑白名单防火墙frdev的原理与实现

汤之盘铭曰 苟日新 日日新 又日新   康诰曰 作新民   诗曰 周虽旧邦 其命维新   是故 君子无所不用其极  ——礼记·大学  在上一篇文章《DDoS攻防战 (二) :CC攻击工具实现与防御理论》中,笔者阐述了一个防御状态机,它可用来抵御来自应用层的DDoS攻击,但是该状...

Jay13 3年前 (2014-07-09) 2220℃ 0评论 7喜欢

DDoS攻防战(二):CC攻击工具实现与防御理论

故上兵伐谋 其次伐交 其次伐兵 其下攻城 攻城之法 为不得已 知己知彼 百战不殆 不知彼而知己 一胜一负 不知彼不知己 每战必败 ——孙子兵法·谋攻 我们将要实现一个进行应用层DDoS攻击的工具,综合考虑,CC攻击方式是最佳选择,并用bash shell脚本来快速实现并验证这一...

Jay13 3年前 (2014-07-09) 2745℃ 0评论 8喜欢

DDoS攻防战(一):概述

岁寒 然后知松柏之后凋也 ——论语·子罕   (此图摘自《Web脚本攻击与防御技术核心剖析》一书,作者:郝永清先生)      DDoS,即 Distributed Denial of Service ,可译为分散式阻断服务攻击。   上图与DDoS的字面已经清楚的表述出了此类...

Jay13 3年前 (2014-07-09) 2713℃ 0评论 10喜欢

关于DDoS攻击的认知误区

今天早上一起来,看到了两件让人震惊的事情。 第一件事是,巴西被德国踢了个7:1,猜对了这个开始,但猜不透这个结局,这完全是国足的表现啊! 第二件事是,弹幕视频网站AcFun、知名漏洞平台网站“乌云”及果壳网今日相继遭到不明DDoS攻击,出现不同程度的访问故障。 这里重点说一下乌云...

Jay13 3年前 (2014-07-09) 2304℃ 0评论 7喜欢

程序员的自我修养(2)——计算机网络

程序员的自我修养(2)——计算机网络
几乎所有的计算机程序,都会牵涉到网络通信。因此,了解计算机基础网络知识,对每一个程序员来说都是异常重要的。 本文在介绍一些基础网络知识的同时,给出了一些高质量的系列文章链接,以方便大家随时参考学习。相信通过本文的学习,你能对计算机网络有全面的认识! 在阅读本文之前,建议阅读以下两...

Jay13 3年前 (2014-07-01) 16383℃ 5评论 24喜欢

TCP-IP协议详解(15) 先生,要点单吗?(HTTP协议概览)

在阅读“TCP-IP协议详解”系列文章之前,建议阅读以下两篇文章,以便对互联网协议有个快速的全局了解和把握! 互联网协议入门(一) 互联网协议入门(二) 我在TCP流通信中说明了,TCP协议实现了数据流的传输。然而,人们更加习惯以文件为单位传输资源,比如文本文件,图像文件,超文本...

Jay13 3年前 (2014-06-30) 3944℃ 1评论 9喜欢

TCP-IP协议详解(14) 逆袭(CIDR与NAT)

在阅读“TCP-IP协议详解”系列文章之前,建议阅读以下两篇文章,以便对互联网协议有个快速的全局了解和把握! 互联网协议入门(一) 互联网协议入门(二) IPv4由于最初的设计原因,长度只有32位,所以只提供了大约40亿个地址。这造成了IPv4地址的耗尽危机。随后,IPv6被设计...

Jay13 3年前 (2014-06-30) 3758℃ 0评论 7喜欢

TCP-IP协议详解(13) 9527(DNS协议)

在阅读“TCP-IP协议详解”系列文章之前,建议阅读以下两篇文章,以便对互联网协议有个快速的全局了解和把握! 互联网协议入门(一) 互联网协议入门(二) 在周星驰的电影《唐伯虎点秋香》中,周星驰饰演的主角一进入华府,就被强制增加了一个代号9527。从此,华府的人开始称呼主角为95...

Jay13 3年前 (2014-06-30) 4333℃ 0评论 10喜欢

TCP-IP协议详解(12) 天下为公(TCP堵塞控制)

在阅读“TCP-IP协议详解”系列文章之前,建议阅读以下两篇文章,以便对互联网协议有个快速的全局了解和把握! 互联网协议入门(一) 互联网协议入门(二) 在TCP协议中,我们使用连接记录TCP两端的状态,使用编号和分段实现了TCP传输的有序,使用advertised wind...

Jay13 3年前 (2014-06-30) 3660℃ 0评论 12喜欢

TCP-IP协议详解(11) 涅槃 (TCP重新发送)

在阅读“TCP-IP协议详解”系列文章之前,建议阅读以下两篇文章,以便对互联网协议有个快速的全局了解和把握! 互联网协议入门(一) 互联网协议入门(二) TCP协议是一个可靠的协议。它通过重新发送(retransmission)来实现TCP片段传输的可靠性。简单的说,TCP会...

Jay13 3年前 (2014-06-30) 3714℃ 2评论 4喜欢

TCP-IP协议详解(10) 魔鬼细节 (TCP滑窗管理)

在阅读“TCP-IP协议详解”系列文章之前,建议阅读以下两篇文章,以便对互联网协议有个快速的全局了解和把握! 互联网协议入门(一) 互联网协议入门(二) 在TCP协议与”流”通信中,我们建立了滑窗(sliding window)的基本概念。通过滑窗与ACK...

Jay13 3年前 (2014-06-30) 4300℃ 1评论 7喜欢

TCP-IP协议详解(9) 爱的传声筒(TCP连接)

在阅读“TCP-IP协议详解”系列文章之前,建议阅读以下两篇文章,以便对互联网协议有个快速的全局了解和把握! 互联网协议入门(一) 互联网协议入门(二) 在TCP协议与”流”通信中,我们概念性的讲解了TCP通信的方式。可以看到,TCP通信最重要的特征是:有...

Jay13 3年前 (2014-06-30) 5577℃ 1评论 11喜欢

TCP-IP协议详解(8) 不放弃 (TCP协议与流通信)

在阅读“TCP-IP协议详解”系列文章之前,建议阅读以下两篇文章,以便对互联网协议有个快速的全局了解和把握! 互联网协议入门(一) 互联网协议入门(二) TCP(Transportation Control Protocol)协议与IP协议是一同产生的。事实上,两者最初是一个协议...

Jay13 3年前 (2014-06-30) 6398℃ 2评论 8喜欢

TCP-IP协议详解(7) 傀儡(UDP协议)

在阅读“TCP-IP协议详解”系列文章之前,建议阅读以下两篇文章,以便对互联网协议有个快速的全局了解和把握! 互联网协议入门(一) 互联网协议入门(二) 我们已经讲解了物理层、连接层和网络层。最开始的连接层协议种类繁多(Ethernet、Wifi、ARP等等)。到了网络层,我...

Jay13 3年前 (2014-06-30) 5401℃ 0评论 8喜欢

TCP-IP协议详解(6) 瑞士军刀 (ICMP协议)

在阅读“TCP-IP协议详解”系列文章之前,建议阅读以下两篇文章,以便对互联网协议有个快速的全局了解和把握! 互联网协议入门(一) 互联网协议入门(二) 到现在为止,我们讲解了网络层中最重要的IP协议。IP协议的一个重要补充是是ICMP协议。   ICMP协议 IC...

Jay13 3年前 (2014-06-30) 4903℃ 0评论 8喜欢

TCP-IP协议详解(5) 我尽力(IP协议详解)

在阅读“TCP-IP协议详解”系列文章之前,建议阅读以下两篇文章,以便对互联网协议有个快速的全局了解和把握! 互联网协议入门(一) 互联网协议入门(二) 在粗略了解了IP接力和IP地址后,我们再反过来,看一看IP协议的具体细节和设计哲学。 IPv4与IPv6头部的对比 我们已...

Jay13 3年前 (2014-06-30) 4660℃ 1评论 8喜欢

TCP-IP协议详解(4)地址耗尽危机(IPv4与IPv6地址)

在阅读“TCP-IP协议详解”系列文章之前,建议阅读以下两篇文章,以便对互联网协议有个快速的全局了解和把握! 互联网协议入门(一) 互联网协议入门(二) IP地址是IP协议的重要组成部分,它可以识别接入互联网中的任意一台设备。在IP接力中,我们已经看到,IP包的头部写有出发地和目...

Jay13 3年前 (2014-06-30) 3957℃ 1评论 8喜欢

TCP-IP协议详解(3) IP接力赛(IP, ARP, RIP和BGP协议)

在阅读“TCP-IP协议详解”系列文章之前,建议阅读以下两篇文章,以便对互联网协议有个快速的全局了解和把握! 互联网协议入门(一) 互联网协议入门(二) 网络层(network layer)是实现互联网的最重要的一层。正是在网络层面上,各个局域网根据IP协议相互连接,最终构成覆盖...

Jay13 3年前 (2014-06-30) 4553℃ 1评论 11喜欢

TCP-IP协议详解(2) 小喇叭开始广播 (以太网与WiFi协议)

在阅读“TCP-IP协议详解”系列文章之前,建议阅读以下两篇文章,以便对互联网协议有个快速的全局了解和把握! 互联网协议入门(一) 互联网协议入门(二) “小喇叭开始广播啦”,如果你知道这个,你一定是老一辈的人。“小喇叭”是五十年代到八十年代的儿童广播节目。在节目一开始,都会有一...

Jay13 3年前 (2014-06-30) 8843℃ 0评论 10喜欢