按键盘上方向键 ← 或 → 可快速上下翻页,按键盘上的 Enter 键可回到本书目录页,按键盘上方向键 ↑ 可回到本页顶部!
————未阅读完?加入书签已便下次继续阅读!
第十二章 把自己当驴使唤
当然股神1。0仅仅有分析模块和收集模块是不够的,它还需要有一个数据处理模块,如果说分析模块是大脑,收集模块是手脚的话,那么处理模块就是消化系统。
当海量的数据信息被从数据海洋中抽取出来,需要对这些信息进行加工处理,将它们处理成数据分析模块能够利用的数据模式。
比如某个上市公司一个年度财报,里面的内容非常之多,从人事变更到企业战略,并购行为,利润营收等方面都会涉及到,而这些东西又是关键性信息。一个数万字外加各种图标的财报,其中各种关键信息必须能够被分析模块理解并进行加工,这就是处理模块的主要工作了。
这个数据处理模块主要的功能部分其实是自然语言处理,程序本身是无法理解语言内涵的,它肯定无法理解“定向增发100万限售股”是什么意思,这时候就需要认为给这句话进行赋值,让它变成机器能够理解的数据信息。
比如首先进行意义分割,将定向设定为一个意义单元,将增发设定为另外一个单元,以这种方式将整个句子按照意义单元分割开来,分别进行赋值。
这一套加工手段里面就牵扯到人机交互的语言处理问题,需要人为的帮助计算机去理解和处理人类的语言,让机器能够看懂语法、语意单元,能够联系上下文,能够处理不同语境下同一个词组的不同含义。
简单来说,让机器能够理解人类语言,这就是自然语言的主要目标,同时也是这个处理模块的主要功能。
分析、收集、处理,这三大模块是股神1。0的主要功能结构,但是仅仅如此还是不够的,股神还需要很多的辅助模块。
比如它需要有存储模块,所有的数据信息搜集回来,必须整理加工好,然后分类存储起来,它就像一个超级图书馆一样,必须有自己的分类和存储规则。如果没有这些,你只是简单的将它们堆放在一起,你就可以想象,当你需要从数千万本书籍当中,找出某一页特定内容时,那将会是怎样一个痛苦而又恐怖的过程。
另外股神还需要相应的展示和交互模块,股神作为一个软件,它需要有自己的操作界面,需要能够将处理结果或者过程展现出来,需要能够接收指令,进行人机交互。
这五个模块组合在一起,并且能够顺畅的相互配合了,股神系统才算基本成型,而中间肯定会有各式各类的问题不停冒出来,这都需要莫回逐个解决掉。在使用的过程中,肯定还涉及到不停的跟新和改良,所有这些都将是莫回的工作。
按照莫回的估算,整个股神的体量不太可能低于100万行代码,如果想要让股神尽可能的完美而准确,那它的体量绝对会翻着跟头的往上翻。想要实现什么功能,你就必须付出相应的代价,如果你想要让股神的预测尽可能精确,那么不停的往里投入肯定是必不可少的。
这还仅仅是股神本身,如果想要股神运作起来,那么莫回必然还将面临着带宽的问题,爬虫一旦跑起来,海量数据就会被传回,这些数据至少也是t级的。
在计算机领域,数据大小的单位是1024进制的,一个字节为byte,1024字节为kb,1024k为m,1024m为g,1024g为t。
比如我们手机的存储容量可能是4g,笔记本的存储容量可能是400g,而一台笔记本的400g大概相当于一千部电影。
而股神通过爬虫搜集来的数据肯定是海量的,至少是t级别的,就是跑到p级别也不算是什么大事。比如1p的数据,它大概相当于250万部电影。人的一生也不过3万天,每天看十部电影,也足够看十辈子的了。
在如此大量的数据面前,莫回必然面临一个带宽问题,很容易想象,出租屋里的小区宽带肯定是不好使的。
现在超级本的运算能力已经获得验证了,应该是比较超常的,但是它的存储能力还未测试,如果存储能力不成的话,莫回还必须为这海量数据寻找一个存储空间。
诸如此类的问题还有很多,如果莫回想要把股神完成,并且上线运行,那么他必须像是老黄牛一样,勤勤恳恳的往前走,把这些挡路石一个个的全部处理掉。
本来这些事就是交给一个公司处理,一个成熟的团队来处理,都未必能够处理得很好,现在莫回需要一个人搞定,并且很可能必须不显山不漏水的一个人搞定,这里面的难度就可想而知了。
想想未来的前路,莫回感觉好像是登珠峰一样,好高啊~~~
好在莫回多少算是业内人士,这些事基本算得上是本职工作,无非就是项目经理、产品经理、主程、架构一肩挑了。难是难了点,工作量大是大了点,但是好歹还算有解决办法,只要沿着道路一步步走,总会有完成的那一天。
工作量不小,不过也不是没有捷径可走,莫回点开网页,开始搜集他需要的开源软件。他去开源之家搜了一下,开源的爬虫就有有一百多个,里面估计会有合用的。
五大模块他都简单的搜了一下,大多数都还有类似的可替代软件,现在他需要做的就是在里面找到最合适的哪一款,然后修改后进行组装。
首先需要选择开发语言,各种语言都有自己的适用范围和优缺点,一旦选定了,那么五大模块都需要是同一个语言开发出来的才行,这样也方便组装和拓展开发。
莫回想了想,他最终选定了c++,因为这种语言更加靠近底层和汇编,整体执行效率和速度比较好。
莫回开始在网上寻找和筛选合用的开源软件,将那些基本符合要求的c++开发的软件全部下载下来,各自先归类存储起来。
等莫回将合用的三十多个各类爬虫全部下载下来的时候夜已经深了,莫回揉揉僵硬的脖颈,伸伸懒腰,不由得为今后的日子哀叹:要拼老命了啊,上班拼命回家也要拼命,这是要把自己当驴使唤啊~~~
第十三章 兄弟的责任
股神的前期准备工作是繁琐而枯燥的,好在程序员每天都在做类似的活,莫回还算坐得住。
五大模块,每个模块都在网上找到不少功能类似的开源模块,莫回初期的工作就是搜集它们,然后逐个研究它们看看哪个是最合适再加工,进行二次开发的以及组装的。
平时没有真正关注过,当需要的时候才发现,只要用心找网上的免费资源真的很多。虽然莫回的股神1。0设定算是比较新潮的,但是在寻找的过程中,莫回明显发现,他的想法绝对不是什么创举,有类似想法的人很多,不仅很多,还有很多人已经实现了。
在网上查找相关内容的时候,莫回就发现,无论是公众媒介报道里,还是小圈子里,都有类似于股神1。0的产品存在,或者正在开发中。
家用pc的出现导致了it行业的大发展,随后就是互联网浪潮的到来,紧跟着就是移动互联网,而大数据几乎是伴随着移动互联网的创业浪潮而来的。
人们对互联网和移动互联网的创业潮还记忆犹新,无数个成功故事激励着一代it人,当大数据成为一个新兴热点,自然会受到极大关注,承载着无数投资者和创业者的希望。
现在市面上资金极大富裕,自然导致某种投资过热现象,但是也正是因为资金极大富裕,导致市面上创业产品层出不穷。
当人群的基数足够大的时候,很难有什么想法真正具备新颖性,当你为自己想法的独创性沾沾自喜时,只要去网上认真搜寻你就会发现,你的想法很可能早已经有人想到了,只是因为你信息获取不充分,不知道而已。
本来莫回想着,既然有这么多类似的产品,他索性找一个成熟产品出来试试好了,可惜想法不错,很难实现。
真正的好东西,就是说那种相对比较成熟的,具备可用性和商业价值的,基本上都是人家投资数百万的,好容易开发出来的产品想让人家免费共享简直天方夜谭。而开源出来的,大多数都是程序员们自己没事写的,或者商业价值比较小的。
说白了:一切都是有成本的!
······
莫回一个人在做一个团队的事,好在速度虽然慢,但是一直在稳步前进,他已经将五个模块的替代品找到了,现在正在研读每个替代品的代码,准备以它们为依托,进行二次开发,最终组装出他的股神1。0。
一旦进入工作状态,莫回就彻底投入进去,他几乎将所有业余时间都投入到股神的研发中去,每天几乎到点就回家,回家继续股神的开发工作,每天除了睡觉吃饭几乎没有一刻空闲,甚至就是走路吃饭的时候他脑子里都在琢磨着架构或者算法的问题。
忙碌,紧凑,充实,每天都有忙不完的事,脑子一刻不得闲,完全没有精力考虑多余的事情,虽然很累,但是有一种特别的安心。。。。。。
······
当莫回沉浸在他一个人的世界里时,一个电话将他拉了出来:“。。。。。。莫莫帮帮我吧!”
“啥事?”电话的那边是莫回的高中同学,仅有的两个考来的帝都的同学之一,老乡加同学,所以平时大家关系还不错。
“莫莫。。。。。。我说了你不准笑我。。。。。。”
“嗯,你说。”
“。。。。。。我。。。。。。我喜欢上一个女孩子。。。。。。”
“。。。。。。”听了这话莫回一脑袋问号,“这和我有什么关系?”
听了这话对面有点囧,“。。。。。。可是我还不知道人家叫什么名字。。。。。。”
“。。。。。。她是你同事?”
“不是!”
“那是你校友?”
“也不是!我不认识她,也和她没什么关系。。。。。。”
“。。。。。。你该不会是大街上看到一个美女,然后就一见钟情了吧?”
“。。。。。。”对面扭扭捏捏半天,“。。。。。。差不多啦。。。。。。不过那女孩真的很漂亮,重要的是她正好是我喜欢的类型,我一眼就喜欢上了!”
“韩威同学,你跟人家萍水相逢,擦肩而过,连名字都不知道,你想我帮你什么?”
“她就住我隔壁~~~”电话那边赶忙补充着。
“是你邻居?”
“差不多吧~~~”
“怎么还差不多?是不是邻居还不清楚?”
“。。。。。。那个,她就住我隔壁单元。。。。。。和邻居也差不多啦~~~”
“嗯,然后呢?”
“莫莫,这回你必须得帮我,我这终身的幸福可都着落在你身上了,你也不想兄弟一辈子守寡吧?”
“是你要泡妞,又不是我。。。。。。”
“帮哥们泡妞,这是每个好兄弟义不容辞的责任!”
“。。。。。。可我能帮你什么?我最多也就帮你出个馊主意,还不见得管用,你应该找那种恋爱专家去。”
“莫莫,这回真的只有你能救我了,那可是我苦等了半辈子的女神啊,我今生非她不娶!”
“得了,得了,这些话留着跟你的女神说吧,想让我干嘛?”
“莫莫,你真是我的好兄弟,你答应了?”
“你打算让我干嘛?”韩威的话让莫回产生一点警觉,这家伙纠缠这么久,一直不肯透个口风,不会是什么难办的事吧?
“莫莫,别紧张,不是什么难事,就是。。。。。。就是。。。。。。”
“就是什么?”
“就是。。。。。。你得帮我把女神找出来!”
“找出来?什么意思?”
“那个。。。。。。我只知道她住隔壁单元,其他什么都不知道,不知道她叫什么,不知道她qq号,不知道她微信,不知道她手机号,不知道她住哪个房间,不知道她有没有男朋友。。。。。。不知道。。。。。。”
“不知道她结婚没有,是不是啊?”
“不不不!我保证她绝对没结婚,看她那清纯的气质你就能够想象,你看着她就像看着空谷幽兰。。。。。。。”
莫回赶紧把手机拿远点,这么肉麻的话听多了会做噩梦的!
“喂~~喂~~莫莫,你有在听吗?”过了好一会,韩威才抒情结束,在电话里大声喊上了。
“你啥都不知道,就准备海誓山盟了,万一人家有主了怎么办?”
“。。。。。。那。。。。。。只能是今生有缘无分了。。。。。。”电话里的声音变得分外哀怨,好像是女鬼哭丧一般。
“打住,打住!文青是种病,得治!”
“莫莫,我相信我的女神,她一定保持单身就为了等着我,你一定要帮我把她找出来。”
“我怎么找啊?你都不认识,我更不认识了。”
第十四章 暴力破解
“莫莫,你计算机不是很厉害嘛!”
“你打算干吗?”
“嘿嘿~~”电话那边传来一阵奸笑,“我就不信她不上网。”
“你打算。。。。。。”
“莫莫,这回可就看你的了,哥们的终生幸福啊!”
“你想让我当黑客,把她的联系方式什么的给你挖出来?”
“没错,不愧是莫莫,一猜就中。”
“。。。。。。”莫回没说话,心里在琢磨这事的可行性,以及实现路径。
“莫莫,一世人两兄弟,这回你无论如何都得帮我啊!”
“。。。。。。我黑客技术不算精通。。。。。。”莫回想了想说道。
“怎么都比我这个文科生强,这事你不准推脱啊,实在搞不定就当我们今生无缘吧~~~唉~~~”韩威后面还来了个咏叹调!
莫回被咏叹调弄得一个激灵,“事先说好,我不保证一定能成哦!”
“没问题!到时我顿顿请你吃大餐!你什么时候过来?”
莫回想了想,“周末吧,我周五下班过去,如果需要暴力破解,时间长短就不好说了。”
“行嘞!周五到了电话我,哥们请你!”
挂了电话,莫回想了想,去网上下载了几个专用的黑客工具,然后就将这事暂时放到一边,继续自己的股神开发工作。
······
周五还没下班,韩威的电话就来了,生怕莫回忘了这事。
“好好好!”莫回一叠声答应着,“等我回家带上笔记本就去你那!”
韩威住在城西,一个比较老的小区里,环境和卫生都一般,这个小区里大多数都是租住在这里的来帝都打拼的年青人。
小区附近的大排档不错,在帝都也算小有名气,俩人来了一顿烧烤加啤酒。酒足饭饱之后韩威抓耳挠腮的就坐不住了,就像一只准备偷油的耗子,一刻也安稳不下来。
“别急别急,我这就给你弄!”说着,莫回将笔记本掏出来。“你确定是住在你隔壁单元是吧?”
“没错,肯定没错,估计住在3楼或者4楼。”
“你这是5楼,跟她的房间隔着至少一堵墙,如果不幸的话,没准中间隔着2/3堵墙,甚至加个楼道什么的,所以这事还得看你的运气。”
莫回打开wifi搜索,里面一溜二十多个无线信号源,现在首先要做的是框定可疑目标。
莫回掏出自己的手机,将手机与笔记本联通,并且在笔记本上点开一个事先准备好的黑客软件。
“这是做什么?”韩威看得挺好奇。
“这是矢量定位用的。”莫回说着打开了手机的gps功能,一边操作一边给韩威解说。“你看,这个软件是gps优化软件,可以将gps定位精确到1米。”
韩威听得一头雾水,一脸不明觉厉。
“我们平时的手机定位,不是真正意义上的gps定位,学术上的gps定位通常是指卫星定位,而我们手机上的定位,虽然也是叫gps,实际上它是利用不同基站的信号差进行三角定位的,跟卫星一毛钱关系也没有。”
“通常来说,手机定位的精确度只给到50米,再低就不提供了。”
“不提供?”
“对,不提供,更精确不是做不到,而是不做。”
“为啥?”
“保密、算法、成本,估计各方面因素都有吧。”
“那你这个软件能行?”
“三角定位,不仅基站可以定位手机,手机同样可以自己给自己定位,这款软件只在手机端跑,它同样利用信号差,只不过要精确很多。”
莫回打开软件,手机的信号出现在放大的地图上,一闪一闪的,“这里面牵扯到去高差算法,以及减噪算法,需要将各个基站的高差以及建筑物遮挡对信号的衰减都要计算进去。”
“现在我将手机的定位与这个软件关联,”莫回指了指wifi分析软件。
“这是干嘛用的?”
“我们要用手机定位作为基准,给这些wifi信号挨个进行过定位。”说着,莫回点选了一个名字为kkkaa的wifi信号源。
“我们现在要做的是,移动十米以上。”莫回端着笔记本缓步从北窗走向南阳台。
“好了,自动计算生成相对位置。”一个简陋的软件框跳出来,那是一个三维坐标轴,一个亮闪闪的点被标注出来。“看,这条x走就是我们走过的线,这个点就是这个信号源。”
“就。。。。。。这么简单?”韩威明显斯巴达了,这太高大上了,完全另外一个世界的感觉。
“简单?这是没准备专业器材,要是有微型天线,就是那种巴掌大的卫星天线,只要转转天线,自然就定位了。”
韩威明显有点被晕的架势了,这对于他来说有点高精尖了。
莫回的动作很快,没用上半个小时,二十几个能够识别的信号源全部被定位,在三维图像里,这二十几个点几乎就是韩威这个单元以及邻近单元的房屋分布图。这个图出来了,那么目标也就差不多缩小到4个信号源上。
看来韩威的运气还不错,隔壁单元的3、4楼的四个信号源都被辨识出来,没出现墙体阻隔下信号衰减过大的问题。
既然找到目标了,那么接下来就是想办法闯进人家大大门了。莫回点开密码暴力破解软件,将四个信号源全部拉了进去。
莫回伸了个懒腰站起来,给自己开了一罐可乐,一边的韩威的迷糊了,“这就完了?”
“现在暴力破解wifi密码,等着吧。”
“得多长时间?”
“不知道,纯看运气,如果密码简单可能几分钟就搞定了,如果复杂的话那就没谱了。如果谁变态,弄个148位密码,估计可以破