许道微边写边说,
“首先进行预处理和分词,转换数据项为(文档ID,文档词集合)的RDD,然后将数据映射为(词,文档ID)的RDD,最后在reduceByKey阶段聚合每个词的文档ID……”
沈向洋:“在reduceByKey阶段聚合每个词的文档ID之前应该进行网页去重,并且采用深度优先抓取策略在面临数据量爆炸性增长时具有容易陷入抓取“黑洞”等缺陷。不解决这个问题根本无法应用……”
二人在上面写,众人在下面记,参与进去是不可能的,当成培训还是蛮有收获的。
由于网络安全事业部已经不需要许道微过多的参与,所以他把更多的工作重心放在了智能事业部,职能部门的事情则交给程颖。
员工们早已经习惯了许道微的不务正业,担着CEO的职位,干着CTO的活,这不是大秦科技的首创,但绝对是放权放的最放心的一位。
同样智能项目在许道微的加入下,进展相当之快,并且每天都有新的员工加入项目中来,技术能力还非常不错,可见刘浩等人的辛苦。
……
晚餐时,许道微听程颖说着工作中的趣事,这是他除了管理团队会议之外。 。了解公司发展状况的重要途径。
小雨和小雪在一旁默默的听着,目前程颖有意识的培养她们,平时还会监督她们看书学习,不过两个女孩对此有些抗拒,又不敢反抗,每天小脸上委屈巴巴的。
The content is not finished, continue reading on the next page