艾瑞上海峰会： 源初科技研发副总裁曹宇：宽通语义定向技术
艾瑞网 | 2011年11月18日
源初科技研发副总裁 曹宇
语义定向技术是基于上下文的一种新的广告投放技术。它可以部分解决针对互联网上很多的流量和行为的随机性要怎样处理的问题。
语义定向技术进化论。2010年之前的上下文定向主要是基于一种关建词的匹配，具体来说，就是应用一些关键词出现的顺序和频率去做一些匹配，比如说左边这个例子，如果是一个奶粉客户的话，我们就会提取出这样一些跟产品和广告有关的关键词，只针对匹配到这些关键词的网页，去做这个奶粉广告的投放。面向未来称为语义定向的技术，它的基础是全面的理解网页的全文，进行一个主题的提炼，还有主题相关度的排序， 然后再进行广告的智能匹配。
基于关键词的定向，可以说是基于规则的一种投放。基于规则的算法实现，倾向于需要大量的人工参与，规则的一般输出是一个是或否（1或0），另外规则常常会越演化越复杂，到最后变得非常非常复杂。而我们介绍这个语义定向技术，可以说是基于模型的一种更为细致更为精准的投放方式。基于模型这种方式，我们可以解决基于规则的算法带来的问题，第一可以提高投放的精准度，第二个应用匹配程度的可调阈值可以进行精准度和流量之间的权衡。总结：语义定向技术，带来从平面至万维的升华，从人工到智能的进步。
实现的方式，我们首先针对一个超大规模语料库，进行智能分析，然后构建了一个针对中文的、万维的语义世界。这其实是一个模型，这个语义世界的每个维度可以说是中文中的一个概念，或者说一个话题。 在做语义定向投放时，第一步是广告建模的过程，应用的方式是由广告主里提供一些关于产品或者是品牌或者这一次投放活动的一些文字的介绍，可能是一些官网上的网页。广告建模的过程中，把这样一些文字的描述，投射到万维的语义空间里面，得到一个投放目标矢量。然后在一次曝光发生的时候，会针对当前网页做网页建模。具体的考虑就是说当前的网页是非常精准地描述了这个受众当前的兴趣，以当前网页为基础我们的到访问者的当前兴趣矢量。这两个矢量是定义同一个语义空间里面。下面一步就比较简单了，我们可以针对这两个矢量做一个实时的匹配，在匹配度超过阈值的时候认为匹配成功，进行设定的广告投放。这一步的计算是在一毫秒内完成，受众在浏览的过程中广告的匹配计算不会对用户体验造成影响。
万维语义空间的一个图解，刚才介绍过了，这个空间每个纬度是一个中文的概念，刚刚讲到了第一步，针对广告和广告主的建模，也就是说相当于把广告主的信息在语义空间里面做一个尽量精确的定位。我们可以说把这样一个定位，扩展到相关的主题类，或者捉进一步拓展到补充主题类，这两个球之间，就是说中间一个小一点的球和广告主的信息匹配度更高，大球相对来说关联度会低一些。我们的设计的目标是说，主题的关联度越高，就能得到点击率越高，后面会给大家展示一些数据，支撑这个设计目标。
现在我想给大家实时演示一下我们的语义定向系统。我们在演示的时候，相当于描述广告性质的这样一篇文章。这篇文章我给大家看一下，是一篇来自于网易上的文章，是一篇比较通用性的，关于选购奶粉的四个原则。具体运用到某个产品广告的投放活动的时候，我们可以用更有针对性的一些文章。为了这个演示的目的，我给大家看这篇文章的结果。左边这块，我们先有一步自动的网页的正文提取这样一个步骤，所以把刚刚的网页上的一些其他的广告或者是链接都已经去掉了，同时我们对于这一篇文章进行了语义的解析。这些不同的颜色就是代表了从文章里发现的不同的主题。这里面的这些词，是真正出现在这个文章中的词，比如说奶粉配方，乳清，婴幼儿，还有蛋白质，等等这样一些词。所以这些就是代表了我们刚刚说的语义空间中的维度。我们下面可以进行搜索相关网页，我们预先爬取了很多网页在我们的服务器上，也针对这些网页进行了语义的建模，我们现在做的是一个搜索的过程，大家看起来是在等，其实大部分是加载这些图片所花的时间。所以这些网页就是我们在预先爬取的页面中找到跟奶粉主题最相关的页面。左边代表广告主的信息，右边代表目前浏览页面的信 息，我们可以看见两篇文章确实在描述的主题上有非常高的重合度。这样的话，就是说我们可以通过这样一个工具，预先对算法的性能和正确性做一个评估，或者我们对整个投放做一个流量和点击率的评估。我们可以看到每个概念里面相关的更多的一些关键词，我们可以进行进一步的主题的扩展。
下面我给大家分享一下我们一个具体的实战应用和得到的一些投放的数据。这是针对一个奶粉行业的广告主在宽通广告的SmartMedia上10月份的投放，上面这张图横轴是时间，纵轴是投放的点击率，三条线代表常规投放、关键词投放和语义定向投放。下面是一个总结，可以看到从常规投放到关建词投放点击率提高了12%，如果进一步用到语义定向投放的话CTR有36%的提升，语义定向投放比常规的投放点击率提升53%。验证一下刚刚提到的概念，语义空间里面关联的球体里面相关主题类占整体投放流量24%，但是贡献了31%的点击，所以在这个球里面包含的页面的点击率是高于我们整体的投放。进一步看这个球里面再细化，找到的高分值主题类，占相关主题类的流量71%，而贡献了83%的点击，所以在中间这个小球里面，点击率有进一步的提升。另外可以人工的去研究一下，刚才所找到的所有这些高关联的主题，然后做一个系统性的分析和拓展，可以找到更多的适应于当前的广告主和广告的投放主题环境。