离谱至极...我在腾讯云的服务器被腾讯云给攻击了..

1年前 (2024-06-15)TwoNav94

边缘安全加速平台 EO (TencentCloud EdgeOne)基于腾讯云遍布全球的边缘节点,提供域名解析、动静态智能加速、TCP/UDP 四层加速、DDoS/CC/Web/Bot 防护、边缘函数计算等边缘一体化服务,可帮助客户更快速、更安全、更灵活地响应用户请求。


起因

看中了腾讯云的EdgeOne...原因是计费规则比CDN简单..

套餐包含流量和HTTPS请求等,海外加速可以按比例抵扣

安全性方面好像也比CDN好

然后我就买了一年打算体验下

万万没想到离谱的事情就开始了

体验

实际体验下来发现个人版的功能并没有预想中的那么好

比如CDN免费查询回源IP的功能...在EdgeOne ( 后面简称EO )上个人版不支持使用

以及各种安全方面的功能 个人版都是不支持的

所以我就觉得没必要...因为EO的套餐是绑定域名的(含二级域名)

而CDN的套餐是全部域名都可以使用
然后我就乘着还没产生流量赶紧停止站点加速并删除站点

然后申请退款了..

被攻击了

随之而来我收到了告警信息

您的服务器外网入包量大于动态阈值..

起初我没太在意..以为是爬虫或者扫描器在作祟

后来告警就一直提示..

然后我开始排查问题
查了CDN的使用情况..流量和请求数都正常

查了源服务器的站点日志..也没有异常

各方面都很正常

最终很无奈的在防火墙做了IP白名单
只允许腾讯云CDN的回源节点访问源服务器

离谱的事情开始

大量请求包还是一直有...

按照正常的逻辑来说

我做了白名单后请求就一定是腾讯云的节点

但是CDN统计的请求数是正常的

那么按照这种情况的结论是 请求是来自腾讯云的节点 但不是用户正常访问产生的请求

联想到刚体验的EO 我认为是这个EO可能产生bug了
由于EO已经删除掉了
为了避免异常请求进入服务器
我只能更换了端口

原来用1111回源现在改成2222回源
从云服务器的防火墙>系统内防火墙>站点配置>CDN配置一路改过去
花了不少时间...
按照正常的理论来说我全部CDN配置的回源端口都是2222了
那就不应该还有1111的请求
但事实上是...还一直有....

这时候我就认定了是EO的问题了
后来就提交工单反馈问题
开始于工程师牛头不马嘴的沟通


简要概括

体验EdgeOne后不清楚是触发了bug 还是产品本身设计不合理 

导致EdgeOne一直对源服务器发起每秒上千次请求 ( 客服是说是探测 )

在我删除站点并申请退款后还一直持续请求

为了避免异常流量对业务产生影响

我开始各种排查、最终确认是EdgeOne的问题
提交工单与客服各种牛头不对马嘴的沟通

客服的回复效率也是令人陶醉 ( 具体见下方工单沟通内容 )

发现攻击到停止攻击历时71小时

从提交工单到停止攻击历时61小时

工单总时长131小时

最后赔偿了一张没鸟用100元代金券 (  为什么没鸟用见下方 )


工单沟通内容  (敏感信息已打码)

2024-06-12 23:53:57

2024.06.12 下午2点多 购买了EdgeOne套餐 

并添加了站点xxxx.xxxx

并没有将CNAME解析到EdgeOne

也没有产生任何请求和流量

大概看了下功能..不是很满意

于是删除了站点并申请退款

但发生了很奇怪的事

服务器监控到公网入包和出包量异常

流量不大..就是包量明显比平时多

查了CDN的请求数是正常的

查了站点的日志也没有异常

晚上换了端口后入包量还在持续

顺便问一下这个统计是包含防火墙外的请求对吧? 

因为我已经没有开放这个端口1111

麻烦你们查一下是什么原因导致的异常

878134272_4b741660-bd6c-405b-a086-e7ed96eb7d65_878134272_1718207586104_6995.jpg


腾讯云工程师

2024-06-13 00:05:16

您好,关于您的问题,正在给您核实确认中,预计60分钟左右给您同步进展,如有进展,会第一时间给您回复,辛苦您耐心等待一下,感谢您的支持。


2024-06-13 01:24:27

尊敬的用户您好,非常抱歉让您久等了,关于您反馈的问题还需进一步核实确认,预计1-2小时左右,有进展第一时间与您同步,感谢您的支持


2024-06-13 03:17:48

您好,抱歉久等,关于您的问题

服务器公网入出包量您可以使用iftop工具进行网络带宽监控查看确认具体消耗的进程

部署iftop流量工具检查服务器内网络流量消耗:https://cloud.tencent.com/document/product/213/10334 



2024-06-13 03:26:07

你好像没理解现在的问题。我在重新说一下。

请求来自外界。且我已经关闭对应的端口。

但请求还是一直有。这不是服务器对外的请求。

腾讯云工程师

2024-06-13 04:20:53

您好,给您造成困扰了,十分抱歉,关于您的问题


您部署域名解析了多个IP


<< 并配一个链接和一张图 用来说明我的域名解析到多个IP  实际上我只是解析到CDN>>


您反馈请求还是一直有,具体是如何观察到的 <<上面已经说明和截图了..>>


QQ截图20240615152949.jpg

这个页面啊 服务器的监控啊 

入包量还在持续 ..但因为防火墙没有开放这个端口

所以服务器没有回应请求


2024-06-13 09:31:47

另外我在重复说明下..这个域名都是走的CDN...而CDN上的请求量是正常的..

很明显请求不是来自正常的用户请求

腾讯云工程师

2024-06-13 10:15:42 

腾讯云技术顾问发起授权申请以进一步排查问题,授权后我们将尽快为您解决问题。点击前往授权


排查过程中,可能对您服务器进行远程或VNC登录、文件读写、重启以及进程/软件等操作,请您确认如下授权项:

【授权项】:

基础授权项(必选):


登录权限(VNC登录/远程登录);


文件读写权限(文件的读写操作,也包括:文件新建、删除,配置修改、工具安装执行等)

高级授权项(可选):


重启权限(重启操作 / 挂载ISO重启进入救援模式操作);


进程/软件操作权限(进程停止、重启等)


请填写您的授权项序号,如授权所有可以填写"ALL",并提供实例信息、登录密码。如果您确认授权,即表示您授予腾讯云上述操作权限并接受上述全部约定。


2024-06-13 10:25:45

您好:
关于您反馈的问题, 为了能快速帮您处理,我们申请登录您的机器进行排查;辛苦您对服务器做下备份,具体操作方法可参考如下帮助文档:

我没有提供给他们...因为不希望业务中断..
同时我不认为提供了就能解决问题...


2024-06-13 21:48:38

临时允许1111端口通过防火墙
用iftop抓了下数据
搜索1111可以看到很多请求 经查询请求IP确实是腾讯云节点
实际上1111端口我这边已经改掉了 在腾讯云的CDN配置也都改了, 就是说实际上我在腾讯云CDN中域名没有使用这个端口 明白 ? 
我坚信是体验EdgeOne的时候你们的产品问题导致的这个现象

麻烦你们自查 而不是要登录我的服务器


2024-06-13 21:53:47

从日志中获取的IP列表(去重)
经查询全部都是你们的节点

QQ截图20240615153919.jpg


腾讯云工程师

2024-06-13 22:09:56

您好,看您的解析,目前您使用的是CDN加速

客户端发送请求,请求到的是CDN的节点IP,在未命中节点缓存的情况下,节点会回源请求源站服务器,那么源站收到CDN节点的请求是正常的。如您判断请求量不正常,不是正常业务用量产生的,可分析下CDN侧的客户端访问的日志记录。

另外,建议加强业务安全防护,CDN产品有通过相关安全防护策略,您可参考看下,结合您的业务场景进行配置,避免资源被盗刷。

感谢您的支持和理解。


<<又是没屁用的回复..>>



2024-06-13 22:33:02

大哥...我求求你别折磨人了行不行 ?

我CDN上的回源端口昨天就已经改成2222了

为什么还会有回源是1111的回源请求呢?
你们产品有问题 为什么不去查查?
老在这折磨用户干嘛呢

并截图CDN配置的回源端口为新改的2222的证明


2024-06-13 22:34:54

你要是技术不行 就换人处理 
我都没有回源端口是1111的CDN了
还一直有1111的CDN请求
摆明了就是你们产品存在问题


腾讯云工程师

2024-06-13 22:46:19

尊敬的用户您好,这边核实确认下稍后与您同步,预计15-90分钟左右,如有进展,将第一时间同步给您,感谢您的理解与支持。

2024-06-13 23:39:04

尊敬的用户您好,非常抱歉让您久等了,关于您反馈的问题,刚给您来电未接通,您这会方便电话沟通嘛,辛苦提供个手机号,感谢您的理解

2024-06-13 23:57:16

已临时关闭陌生来电拦截 重新打吧


12点的时候接到来电..
重复说明问题过程和我个人的观点

对方也认可了我的观点

并说明向后端核实

腾讯云工程师

2024-06-14 00:15:51

尊敬的用户您好,关于您反馈的问题,刚与您电话沟通,这边反馈后端进一步核实排查,辛苦您稍等下。感谢您的理解

2024-06-14 00:25:49

已收到您的问题反馈,这边联系后端进行核实;预计11:00左右进展同步很抱歉给您带来的不便

2024-06-14 10:04:29

您好,这边跟您电话沟通无人接听,您看下您这边方便提供下源站服务器接收到的44343端口的完整日志 可以提供一两个吗,方便的话麻烦提供下,这边再继续帮您看下是什么原因导致的,给您带来的不便实在抱歉哈

2024-06-14 10:53:25

我也不知道什么叫完整的日志
于是提供了tcpdump抓取到的内容
这应该比iftop的内容更详细了吧

腾讯云工程师

2024-06-14 11:09:05

收到,您稍等,这边继续协助您查看

2024-06-14 11:09:08

又补了个数据包 并表示电话可以接了 但他们并没有来电

腾讯云工程师

2024-06-14 12:19:45

您好,已收到您的反馈,我们已反馈后端排查确认中,预计2小时左右同步进展(期间有进展及时同步您),感谢您的支持与理解。


2024-06-14 12:29:14

您好,很抱歉给您带来的不便,目前已经加急排查中,有进展第一时间同步您。


2024-06-14 14:26:06

您好,很抱歉给您带来的不便,目前后端还在进一步排查确认中,预计2小时同步进展,期间有进展第一时间同步您。


2024-06-14 16:05:36

您好,很抱歉给您带来的不便,目前后端还在进一步排查确认中,预计18点左右同步进展,期间有进展第一时间同步您。


2024-06-14 18:30:41

您好,实在不好意思,当前后台研发还在进一步处理,预计还需要2个小时左右,后续有结果跟您继续工单反馈,给您带来的不便实在抱歉哈


2024-06-14 19:55:51

目前后端还在处理中,可能需要时间久一点,辛苦您再耐心等待一下,给您带来不便实在抱歉,预计2小时左右同步进展,期间有进展第一时间给您反馈


2024-06-14 23:20:50

抱歉让您久等了,关于您的问题,目前后端还在继续查看,由于该问题较复杂,我们需要进一步确认,抱歉给您不好的体验了,预计下次同步时间在次日11点左右,期间有进展会第一时间同步,感谢您对腾讯云的支持~


2024-06-15 11:01:59

您好,后端还在进一步确认,这边为您持续跟进中,预计2~4小时左右与您同步进展,期间如有进展也会第一时间同步您,感谢您的支持与理解


2024-06-15 13:37:03

您好,麻烦您确认下现在还有没有数据包


2024-06-15 13:47:45

QQ截图20240615155314.jpg

已经没有了...
查出问题原因了 ? 
可否告知


腾讯云工程师

2024-06-15 13:51:53

好的,这边让后端确认下,有进展同步您



2024-06-15 14:03:31

从12号14点25分到15号13点33分

被你们一直持续攻击

给我带来了很多不便和浪费我的时间

这不给一些补偿说不过去吧

腾讯云工程师

2024-06-15 14:03:36

您好,后端反馈是EO的动态加速有探测

您好,关于补偿部分需要相关后端为您评估确认下,您看下是否可以等到周一再让后端为您评估下,到时候您可以重新激活下工单


2024-06-15 14:05:56

探测也不带这么探测的吧 我都没用了还一直探测 

不能...已经浪费了我很多时间了..

腾讯云工程师

2024-06-15 14:12:04

您好,关于补偿部分需要相关后端为您评估确认下,您看下是否可以等到周一再让后端为您评估下,到时候您可以重新激活下工单

到时候后端评估确认好了的话,这边会和您进行沟通确认


2024-06-17 14:28:35

评估的怎么样了 不催就没动静了?

腾讯云工程师

2024-06-17 14:31:30

您好,这边反馈后端评估中,有进展会及时同步您,预计2~3小时左右与您同步进展,期间如有进展也会第一时间同步您

2024-06-17 18:11:13

您好,当前还在跟后台产品侧沟通赔偿问题,预计8 9点左右跟您答复,给您带来的不便实在抱歉哈


2024-06-17 19:03:14

您好,请问您这边方便接听电话吗,具体想要了解一下您当时使用EO前后的情况

2024-06-17 20:59:44

没什么前后情况啊
就是想体验下 如果合适就用 不合适就继续用CDN
但体验下来个人版并没有多大的吸引力
很多功能都需要升级才可以用
就连查询回源节点都要升级
觉得不合适就删掉申请退款了

腾讯云工程师

2024-06-17 21:07:52

您好,因为后端评估赔偿需要确认当时的具体场景,这里涉及到了EO和轻量应用服务器两种产品,所以麻烦您确认下当时的购买EO相关的套餐是什么类型的,是否已经退费完成,目前需要赔偿的部分是轻量应用服务器被探测产生的费用吗

2024-06-17 23:29:06

你们不会自己去查吗?

服务器被探测能产生多少费用..更何况我即时处理了

赔偿的是产品问题给我造成的人工成本

从发现问题做出处理

跟你们沟通反馈

浪费了我多少时间

简简单单改个回源端口到处都要同步修改

一个没改就会造成业务中断

从云服务器的防火墙、系统内防火墙、站点配置、CDN配置、COS储存的镜像回源端口等等都要改

给我造成这么多问题 你们就赔偿个服务器被探测产生的费用? 

要是没产生额外的费用就不用赔了呗

你们要是这样的态度 那就没啥好谈的了

这赔偿我不要也罢.

腾讯云工程师

2024-06-17 23:33:44

您好,很抱歉给您带来的不便,当前还在跟产品侧沟通赔偿问题,预计明天上午11点左右跟您答复,感谢您的支持与理解。

2024-06-18 10:18:16

您好,很抱歉让您久等了,经过跟后台产品侧沟通,这边跟您赔偿100元代金券来作为补偿,您看这样可以吗?
后续EO这边也会对产品的问题做及时处理;给您带来的不便实在不好意思哈

2024-06-18 10:54:28

可以的

腾讯云工程师

2024-06-18 11:07:02

好的,您稍等,这边帮您走代金券申请流程,预计1个小时左右完成到账,还望您耐心等待

2024-06-18 11:17:18

腾讯云技术顾问发起授权申请以进一步排查问题,授权后我们将尽快为您解决问题。点击前往授权

2024-06-18 11:18:24

您好,打扰一下,麻烦帮忙授权一下您的账单查询


2024-06-18 11:20:34

您已同意腾讯云技术顾问的授权申请

2024-06-18 11:40:15

感谢您的支持



最终赔偿了100元代金券...满1元可用..然而...一大堆的限制...

不适用产品

高性能计算集群高IO计算型HCCIC5m、企点呼叫中心、高性能计算集群GPU型HCCPNV6、中小企业服务、全球办公访问、腾讯企点商通、企点客服、高性能计算集群GPU型HCCPNV5v、语音、腾讯会议·活动旗舰版、腾讯企点分析、短信SMS、云市场-一次性、对客技术培训、腾讯会议·活动基础版、高性能计算集群GPU型HCCPNV5vn、媒体直播、腾讯企点分析Tencent QiDian Analytics、腾讯云TI平台TI-ONE、高性能计算集群GPU型HCCPNV4h、腾讯企点在线客服、腾讯企业邮、腾讯会议电话会议服务、云桌面、移动直播连麦、小程序云直播、移动直播MLVB、腾讯云·欢句直播、全球应用加速GAAP、内容分发网络 CDN、腾讯会议(SAAS版企业版)、高性能计算集群GPU型HCCG5v、腾讯会议(SAAS版商业版)、云市场-包周期、高性能计算集群GPU型HCCPNV6d、高性能计算集群GPU型HCCG5vm、高性能计算集群GPU型HCCPNV5vp、云直播CSS、高性能计算集群高IO计算型HCCIC5、节省计划、COS 回源流量包 new、高性能计算集群NPU型HCCPH1、腾讯企点客服、高性能计算集群GPU型HCCPNV4ane、域名注册、号码认证、电话会议号码、高性能计算集群GPU型HCCPNV4sne、边缘安全加速平台、腾讯云企业推、RedHat、网络研讨会webinar、内容流量管理平台、安全加速 SCDN、高性能计算集群GPU型HCCPNV4s、云市场镜像、语音消息、云市场、高性能计算集群GPU型HCCPNV4hn、腾讯云咖、高性能计算集群标准型HCCS5、高性能计算集群GPU型HCCPNV4sn、云市场-套餐包、媒体处理MPS、企点商通、腾讯企点协同、腾讯会议(SAAS版教育版)、增值电信、工商注册、商标注册、腾讯云电子合同、版权登记、COS 流量、腾讯企点产业智连、乐享直播、智能编辑、高性能计算集群NPU型HCCPI1、代理记账、腾讯会议混合云、点播VOD、全站加速网络ECDN、腾讯会议·活动高级版、云联络中心、网站建设、音视频终端 SDK(腾讯云视立方)、云游戏

不仅仅上面列出的产品不能用

活动产品也不能用

腾讯你是真会玩啊


等了那么久

对方一句"EO的动态加速有探测"草草了事

咱们先不讨论他这个探测是否合理

就当他是合理的, 正常使用就是有这个高频率的探测

其实我觉得是攻击 虽然量不大

那也不应该在我停止加速 删除站点 申请退款 成功退款后一直这样探测吧 ? 

我个人的观点是EO这个产品存在bug

因为某些操作触发了这个bug


假如说我没及时发现问题并做出对应处理

那么这样被攻击(探测)的结局可能是

流量包被刷完、导致业务被中断

本身同EO是为了提高网站安全性

结果.........



QQ截图20240615160754.jpg