性色av一区_国产一级片免费看_亚洲一区二区三区在线_69热视频在线观看_国产日屁_欧美日韩一本

斯坦福训练Transformer替代模型:1.7亿参数,能除偏、可控可解释性强
2023-06-26 16:38:28 来源:机器之心Pro 编辑:

机器之心报道

编辑:Panda W


(资料图片)

用背包(backpack)装词比用袋子(bag)好?在这篇论文中,斯坦福大学的研究者提出了可干预的 Backpac k 语言模型,通过调控意义向量来干预语言模型行为,引导语言模型输出想要的结果。

以 GPT 为代表的大型语言模型已经并还将继续取得非凡成就,但它们也存在着众所周知的问题,比如由于训练集不平衡导致的偏见问题。

针对这一问题,斯坦福大学几位研究者提出了一种新型神经架构 Backpack,宣称能够调控意义向量来干预语言模型的行为,引导语言模型输出想要的结果。该项目的代码和模型都已发布。

论文地址:

https://arxiv.org/abs/2305.16765

项目地址:

https://backpackmodels.science

论文一作、斯坦福大学 CS 博士生 John Hewitt 表示,Backpacks 是 Transformers 的替代,它可以在表现力(expressivity)上进行扩展,并为通过控制实现可解释性提供一种新接口。一个 backpack 学习每个字词的 k 个非上下文意义向量,从而无监督地解耦字词的预测用途。

引言

首先我们假设有前半个语句「The CEO believes that _」,我们的问题是消除神经语言模型在该句子的性别分布上的偏见。凭直觉我们就能知道该句子的性别偏见源自「CEO」一词,因为如果把「CEO」换成「护士」,偏见就会发生性别逆转。为了消除在 CEO 上的偏见,必须要对模型进行干预并且要应用到 CEO 一词所出现的所有上下文中。

理想情况下,我们希望采取的干预措施不会改变模型的上下文并且可以预测这个干预带来的影响。通常来说,从可解释性与控制的各个方面看,我们更倾向于通过一个全局应用的容易操作的接口(比如非上下文表征)来实施干预。

但对 Transformer 来说,这种干预却难以实现,因为它们的上下文表征是其输入的单体函数(monolithic function)。单体函数是指内部具有逻辑分支的函数,能够根据输入执行不同的逻辑。对 Transformer 模型的任何干预都会根据上下文情况产生复杂的非线性影响。但我们希望模型能实现丰富的精准干预,nenggou 预测在所有上下文中的情况,并依然能富有表现力;如此一来,这样的模型就能成为 Transformer 的可行替代模型。

针对这些挑战,研究者提出了一种新的神经架构 Backpack,其预测是非上下文表征的对数 - 线性组合。他们的做法是将词汇表中的每个词都表示成一组非上下文的意义向量(sense vector),这些向量表示的是学习到的该词的不同方面。

举个例子,「science」这个词的意义向量可以编码科学的类型、与技术的关系、已经得到公认的科学概念以及科学过程的不同方面(复现或实验),参见下表 1。意义向量学习的不是经典的词义,而是一个词在不同语境中的潜在作用的更一般性方面;事实上,意义向量可被视为经典词向量的一种多向量泛化。

图 1 :Transformer 是序列的单体函数,而 Backpack 的输出是非上下文的、所学词的各个方面的加权和。

在干预意义向量时,为了使干预结果在不同上下文中都是可预测的,Backpack 会将一个序列中的每个词都表示成该序列中所有词的意义向量的一个线性组合。Backpack 的表现能力来自于计算该线性组合的权重的网络模型,其计算方式是将这些权重作为整个序列的一个函数。顺便一提,研究者在实验中使用的网络模型是 Transformer。由于意义向量是根据上下文大致选择的,因此它们可以专门限定到特定领域;每个意义都可以学会仅在某些上下文中才有用,并且是否有用可以预测出来。也就是说,意义对预测的贡献呈对数 - 线性模式,这意味着不管上下文如何,对意义向量的干预也同样适用(直到权重变成非负标量)。

研究者的实验表明 Backpack 语言模型确实表现力强大,并且表明对意义向量进行干预有助于解释和控制模型。在实验中,研究者在 OpenWebText 的 500 亿 token 上训练了 Backpack 语言模型;这个 Backpack 模型的上下文网络有 1.24 亿参数(意义向量有 4600 万参数),能达到一个 1.24 亿参数 Transformer 的困惑度;但如果想要更高的可解释性,就需要更大的模型。研究者还展示了如何通过意义向量来针对性地编码丰富的词义概念。

在四个词汇相似性数据集(例如 SimLex999)上的定量分析结果看,1.7 亿参数的 Backpack 的意义向量优于 60 亿参数的 GPT-J-6B Transformer 的词嵌入,并且接近针对该任务的专用方法的当前最佳表现。研究者还表明意义向量能为 Backpack 语言模型提供一种控制机制。

举个例子,对于具有职业性别刻板偏见的词(如「CEO」或「护士」),往往会学习到与该性别偏见相关联的意义向量;研究者发现通过为该意义向量降幅,能在有限环境中极大降低上下文预测中的性别差异。

表 1:左侧是表示 science 一词的意义向量示例,其中具有丰富的特定领域指向;右侧是以非上下文的方式编辑意义向量的示例(将 MacBook 变得与惠普相关),从而改变了所得的上下文预测。

Backpack 架构

下面首先将定义 Backpack 架构的一般形式,然后会证明连续词袋 word2vec(CBOW)和仅自注意力网络其实就是 Backpack 的特例。

Backpack 的一般形式

Backpack 是一个将符号序列

映射成向量序列

的参数函数,其中每个符号 x_i 都属于一个有限词汇表 V,而

这里将 o_i 称为 x_i 在上下文序列 x_ 中的 Backpack 表征。

意义向量。对于每个 x ∈ V,Backpack 构建 k 个意义向量:

其中

意义向量是一种多向量,类似于 word2vec 或 GloVe 等经典的非上下文词表征。

加权和。对于一个序列 x_,元素 x_i 的表征 o_i 是词在上下文中的预测意义向量的加权和:给定上下文化权重

Backpack 的上下文化权重

则由整个序列 x_ 的一个(非线性)上下文函数定义:

其中

Backpack 这个名称灵感来自这一事实:backpack 是指背包,就像是一个袋子(类比于词袋 /bag-of-words),但是背包更有秩序一些。类似于词袋,Backpack 表征也是非上下文意义的加权和;但 Backpack 更加有序,因为这个加权和的权重取决于有序的序列。

Backpack 模型。Backpack 模型是一种概率模型,它将在某一输出空间 Y 上的概率定义为一个 Backpack 表征 o_ 的对数 - 线性函数:

其中

是一种线性变换。因为 Backpack 模型的表征呈现对数 - 线性模式,所以意义向量对预测的贡献也呈对数 - 线性模式。这让我们可以检查意义向量,具体做法是经由 E 将意义向量投射到词汇表上,然后在任意上下文中观察其究竟会如何对预测做出贡献。

模型的参数化可使用常用的深度神经网络,包括 LSTM 和 Transformer;这些都不是 Backpack,因为它们的输出表征是整个序列的(相对而言)无约束函数。相对而言,Backpack 的表现力看起来是有限的:其表征 o_i 是非上下文向量

以标量加权的和。序列元素之间的上下文关系只能通过权重 α 来表示。尽管如此,研究者的实验表明,一个表现能力强的上下文化权重网络可以通过意义向量的加权和来表示复杂函数,比如新提出的 1.7 亿参数的 Backpack 语言模型使用了一个 1.24 亿参数的 Transformer 模型来计算 α,并实现了和 1.24 亿参数 Transformer 语言模型一样的损失。

研究者通过数学形式证明了连续词袋与单层注意力都是 Backpack 的特例,但这里我们不再过多论述了,详情参阅原论文。

使用 Backpack 的语言建模

研究者使用 Backpack 来进行参数化,定义了一个神经自回归语言模型。对于序列的下一 token 的概率,他们使用了标准的 softmax 参数化,其中有一个将表征

映射成 logit

的权重矩阵

回想一下,Backpack 表征 o_j 是通过意义向量 C (x) 和上下文化权重 α_j 定义的。下面首先会介绍等式 (1) 中预测意义向量 C 的参数化,然后是上下文化权重网络 A 的参数化。当 o_j 是由 Backpack 参数化时,就可以称该模型为 Backpack 语言模型。

对意义参数化

对于意义函数

我们将每个 x ∈ V 都嵌入到

中,然后将这些嵌入通过一个前向网络

其中,嵌入 / 投射矩阵 E 与 (9) 式中的输出矩阵紧密关联。现在我们可以使用一个查找表来定义所有 k × |V| 意义向量,但随着 k 增大,参数数量也会变得非常大。于是研究者在这里采用的做法是将词嵌入成

然后使用共享权重将它们放大到

这也许可以解释在不同词类型上观察到的相关意义作用。

对上下文化权重参数化

研究者使用了一个标准 Transformer 加一层多头关键词查询自注意力来对

进行参数化,也就是让一个嵌入的序列通过一个 Transformer:

这里使用了适当的自回归掩码和某种位置表征,然后计算

其中对于每个预测意义 ?=1,...,k 有

并且矩阵

研究者把这 k 个意义看作是头,对于每个头,上下文化权重都为对词的注意力定义一个分布。

训练 Backpack 语言模型的实验

这一节介绍了研究者为了进行验证而做的实验,其中包含训练 Backpack 和 Transformer 语言模型的超参数、数据和优化流程、评估和结果。这里我们不多介绍了,但研究者重点指出:学习 k>1 个意义向量对于实现优良的语言建模性能而言是必需的。

表 2:语言建模性能,所有模型都训练了 10 万步,token 批大小为 50 万,是在 OWT 上。对于 PPL 指标,越低越好;对于准确度指标,越高越好。注意这些模型的参数没有可比性;每个 Backpack 的上下文化网络中都有一个大小相当的 Transformer。

可以看出,对比每个 Backpack 语言模型以及与 Backpack 的上下文化网络的规格相当的 Transformer 语言模型,Backpack 语言模型的表现大致相当。需要指出,Backpack 的参数更多,这主要来自意义向量。研究者发现,在训练时,Backpack 语言模型的收敛时间长于 Transformer。奇怪的是,尽管 Small Backpack 和 Transformer 实现了几乎一样的 OWT 困惑度,但 Backpack 语言模型在 LAMBADA 和 Wikitext 上的表现却显著更好,同时在 BLiMP 上却又更差。

意义向量中的涌现结构

下面将通过定性和定量实验,来验证意义向量在计算词汇相似性和相关性方面的有效性。这些结果表明意义向量可以成为实施干预的高层面接口。

意义的可视化

基于实验经验,经过训练的 Backpack 模型会将特定的意义向量索引与不同的预测作用关联起来。研究者为了解释这些作用,做法是选取词 x 的意义 ? 并将这个意义投射到词嵌入:

请注意,这正是(直到一个标量)意义有助于模型的任何预测的方式。研究者是通过报告该投射下分数最高的词来解释意义向量的作用。

下表 3 可视化地展示一些意义,比如意义 12 似乎为几乎所有单词都编码了广泛的相关概念;意义 3 编码了给定 x 的二元分布的特定情况;意义 14 似乎为动词编码了相关的宾语,也为名词编码了相关的修饰词依赖子项。

表 3:可视化地展示了在许多词上的同一意义索引如何编码细粒度的含义、相关性和预测使用情况的概念。

词汇关系测试

从下表 4 可以看到,意义 12(同义词意义)在所有数据集上都表现良好,媲美或者优于 GPT-2-1.5B 和 GPT-J-6B 等嵌入,而 GPT-J-6B 在 RG-65 上则例外。意义 14 是动词宾语意义,仅在动词相似度(VerbSim3500)上表现好,而意义的最小相似性在名词词汇相似性上表现尤其出色 (SimLex999)。这说明新提出的方法足以比肩当前最优的方法,尽管它们的训练任务非常不同,意义向量编码了大量的词汇信息。

表 4:词汇相似性评估结果。所有的数值都是 Spearman 相关度;越高越好。

用于控制的意义向量

最后,研究者通过一些具体案例进行了概念验证,即可以使用意义向量来控制语言模型的行为。

生成限定主题的内容

下图 2 中,通过 Backpack 中的意义干预来控制生成主题,对比了 Transformer 的 PPLM。

降低性别偏见

研究者发现,许多职业名词(比如护士、CEO、教师)的意义向量 10 都带有性别的刻板印象,并且这种刻板印象会通过代词连贯地表达出来。通过调降意义 10(乘以小于 1 的标量),研究者发现可以降低 Backpack 在这些职业名词上的性别偏见。

表 5:在有限设置中降低基于代词的性别偏见。

图 3:对于前半句「when the nurse walked into the room」(当那位护士走进房间),Backpack 语言模型通过将「护士」一词的意义 10 从 0(完全移除)变成 1(原始情况),条件概率分布受到的影响。

知识编辑

研究者还研究了新方法在知识编辑方面的应用。知识编辑是指编辑模型对于世界知识的预测。特别要指出,与专有名词相关的许多词都可以定位到该名词的意义向量。在定性的概念验证实验中,研究者编辑了目标词(比如 MacBook)的意义向量,移除了与另一个词(比如 Apple)的相关性,然后用再一个词(比如 HP)替代了这些相关性。可以想见,这种干预会导致 MacBook 与 HP 在预测结果中产生关联。

表 6:来自 Backpack 的样本,其中 Apple 被投射到了 MacBook 的意义嵌入之外,而 Apple 原来的位置被 HP 替代。第三个样本类似,是美式橄榄球球队和运动员相关的样本。其中加粗的部分为 prompt。

关键词:

相关阅读
分享到:
版权和免责申明

凡注有"环球传媒网 - 环球资讯网 - 环球生活门户"或电头为"环球传媒网 - 环球资讯网 - 环球生活门户"的稿件,均为环球传媒网 - 环球资讯网 - 环球生活门户独家版权所有,未经许可不得转载或镜像;授权转载必须注明来源为"环球传媒网 - 环球资讯网 - 环球生活门户",并保留"环球传媒网 - 环球资讯网 - 环球生活门户"的电头。

主站蜘蛛池模板: 中文一级片 | 黄免费视频 | 在线观看免费毛片 | 国产成人tv| 国产农村女人一级毛片 | 9.1成人免费看片 | 欧美黄色一级 | 亚洲欧美日韩在线 | 日韩精品综合 | 大尺度做爰呻吟舌吻网站 | 少妇激情视频 | 免费的av| 国产精品一品二品 | 国模一区二区 | 久久国产一区二区 | 中文字幕黄色 | 国产1级片 | 成人动态视频 | 精品一区在线播放 | 一本久 | 成人网战 | 亚洲精品国产精品国自产观看浪潮 | 黄色免费一级片 | 国产理论在线 | 久久久蜜桃 | 一级毛片黄色 | 国产日产av | 亚洲成人日韩 | 欧美性猛交一区二区三区精品 | aaa一级片 | 一级免费黄色片 | 一级黄色在线观看 | 91久久综合亚洲鲁鲁五月天 | 黄色三级视频在线观看 | www久久久久 | 69堂视频 | 天堂网在线播放 | 999精品视频 | 人成在线 | 中文字幕在线观看一区 | 色妞色视频一区二区三区四区 | 免费亚洲视频 | av片在线免费观看 | 午夜网址 | 91视频精品 | 理论片中文字幕 | 51成人做爰www免费看网站 | 午夜性福利| 欧美日韩精品一区 | 中文字幕永久免费 | 日韩不卡一区二区 | 97视频在线免费观看 | 亚洲欧美精品一区二区 | 国产午夜一区二区 | 成人涩涩 | 欧美日韩视频在线 | 久久一级片 | 欧美三级又粗又硬 | 在线观看欧美日韩 | 国 产 黄 色 大 片 | 成人高清免费 | 97人人插| 国产在线成人 | 欧美日韩在线不卡 | 五月天开心网 | 色av吧| 黄色网免费 | 六月激情 | 国产成人三级一区二区在线观看一 | 六月婷婷在线 | 日韩av网站在线观看 | 国产精品成人一区二区三区 | 精品久久久久久久 | 日韩精品综合 | 在线成人小视频 | 亚洲欧美视频一区 | 亚洲男人天堂av | 中文一区二区 | 午夜时刻免费入口 | 欧美999| 中文字幕av在线 | 中文字幕永久在线 | www.一区| 欧美亚洲天堂 | 亚洲欧美高清 | 亚洲砖区区免费 | 日韩av在线免费看 | 精品国产乱码久久久久 | 欧美一级片免费 | 日日拍夜夜拍 | 欧美午夜精品一区二区三区 | 黄色在线观看网址 | 特大黑人巨交吊性xxxx视频 | 91久久精品日日躁夜夜躁欧美 | 日韩图色 | 免费毛片观看 | 国产美女视频网站 | 天天操操操操 | 国产美女91呻吟求 | 亚洲天天看 | 免费黄色小视频 | 激情网站在线观看 | 亚洲欧美精品一区二区 | 好吊视频一区二区三区四区 | 欧美午夜精品 | 中文字幕在线视频观看 | 黄色av免费观看 | 蜜桃视频一区二区 | 91成人精品一区在线播放 | 大尺度性做爰的小说金陵春 | 成人三级视频 | 国产成人97精品免费看片 | 欧美日韩在线精品 | av资源在线 | 黄a视频| 在线免费播放av | 免费一区| 中文字幕欧美日韩 | 簧片在线免费观看 | 91在线精品秘密一区二区 | 日韩黄色免费视频 | 伊人网在线 | 欧美一级淫片免费视频黄 | 又色又爽又黄18网站 | www.青青草 | 国产激情在线视频 | 亚洲久久久久久 | 久草免费在线视频 | 九色av| 久久亚洲精品视频 | 日韩欧美一区二区三区四区 | 亚洲激情网| 看免费毛片 | 黄色网址在线免费观看 | 亚洲视频一区二区三区四区 | 成人免费福利 | 国产精品xxx在线观看 | 少妇一级淫片免费放 | 亚洲二级片 | 久久久国产精品人人片 | 毛片在线免费播放 | 97超碰在线播放 | 熟女毛片 | 成人在线播放视频 | 国产精品尤物 | 91丨九色丨国产在线 | 99视频网 | 狠狠干狠狠操 | 成人av一区二区三区在线观看 | 精品一区二区三区中文字幕 | 日韩成人在线播放 | 国产精品久久久久久久 | 日韩亚洲欧美在线观看 | 欧美天堂 | 99国产精品99久久久久久 | 亚洲综合日韩 | 精品黄色 | 九色视频丨porny丨丝袜 | 中文字幕在线观看日韩 | 在线播放毛片 | 成人xxx| 久久综合在线 | 男人天堂av网 | www.亚洲视频| 久久毛片视频 | 韩国av一区二区 | 国产麻豆视频 | 黄视频在线播放 | 午夜精品免费 | 1级黄色片 | 亚洲福利一区 | 黄色免费一级片 | 精品一区二区视频 | 天天搞天天搞 | 国产激情综合五月久久 | 三级av网站 | 成人三级视频在线观看 | 国产成人精品三级麻豆 | 成人午夜网站 | 青青久草 | 午夜激情四射 | 97在线免费观看 | 狠狠操网| 亚洲免费视频一区 | 成人av一区二区三区在线观看 | 中文字幕黄色 | 中文字幕一区二区三区四区视频 | 成人在线网址 | 亚洲一区国产 | 日韩中文字幕在线视频 | 亚洲欧美视频一区 | 天天草夜夜草 | 波多野结衣在线观看一区二区 | 色婷婷香蕉在线一区二区 | 亚洲视频一区二区三区四区 | 免费av不卡| 欧美极品视频 | 麻豆av在线免费观看 | 亚洲国产成人av | 免费的黄色网址 | 色综合久 | 成人午夜视频在线观看 | 国产精品日韩欧美 | 人人草人人干 | av免费观看网站 | 激情小说在线视频 | 涩涩999| 欧美精品区 | 成人日韩在线 | 日韩欧美视频在线 | 国产精品1区2区 | 久久在线视频 | 91久久精品日日躁夜夜躁欧美 | 欧美午夜精品久久久久免费视 | 亚洲欧美精品在线 | 久久久久久免费 | 丁香五香天堂网 | 日本不卡在线 | 亚洲精品一区二三区 | 色婷婷av一区二区三区之e本道 | 亚洲精品在线观看视频 | 日韩一区二区在线播放 | 福利小视频在线观看 | 成人av一区二区三区在线观看 | 成年人小视频 | 怡红院av | 精品免费 | 男人天堂av网 | 激情综合久久 | 深夜福利网站 | 色站综合 | 久久精品| 黄色av免费看 | 中文字幕第5页 | 久久久久九九九九 | 亚洲三级免费 | 一级黄色网 | 91视频在线观看免费 | 黄色成人免费网站 | 伊人2222| 手机看黄色片 | 日韩午夜在线 | 欧美手机在线 | 国产精品成人国产乱一区 | 日韩精品一区在线 | 69精品人人人人 | 国产在线日韩 | 亚洲美女毛片 | 草少妇 | 欧美a一级 | 色一情一乱一乱一区91av | 国产精品人人做人人爽人人添 | 特级淫片aaaaaaa级 | 自拍视频一区 | 黄色成人在线观看 | 日韩在线精品视频 | 中文字幕在线一区二区三区 | 羞羞网站在线观看 | 中文字幕一区二区三区乱码 | 日韩精品在线观看视频 | 亚洲国产日本 | 欧美日韩亚洲一区二区 | 精品在线观看视频 | 国产精品五区 | 色综合五月 | 久久精品视频网 | 亚洲一级特黄 | 91成人小视频 | 天天舔天天操 | 一区二区精品视频 | 男人天堂网av | 日本在线免费视频 | 亚洲国产精品久久久久 | 成人欧美视频 | 一区二区三区视频在线 | 在线a | 久久久婷| 国产www在线观看 | 日韩视频在线免费观看 | 久久精品视频一区二区 | 九九热在线视频观看 | 天天干一干 | 日韩国产精品视频 | 国产中文字幕视频 | 成人午夜av | 超碰免费在线观看 | 亚洲综合在线视频 | 不卡在线| 日本精品视频在线观看 | 国产精品欧美在线 | 欧美一区二区三区在线视频 | 久久中文网 | a免费视频 | 一级毛片久久久 | 一级免费av | 日韩成人三级 | av黄色片 | 亚洲三级在线观看 | 黄色福利 | 三级黄色在线观看 | 黄色片免费在线观看 | 日韩精品第一页 | 日韩免费在线视频 | 九色视频丨porny丨丝袜 | 午夜视频免费在线观看 | 91调教视频 | av大全在线观看 | 免费视频毛片 | 久久99深爱久久99精品 | 欧美久久久久久久久 | 午夜精品免费 | 黄色片在线播放 | 国产又黄又爽视频 | 黄色天天影视 | jlzzzjlzzz国产免费观看 | 国产中文字幕在线 | 99一区二区 | 激情五月综合 | 亚洲91av | 青青国产视频 | 亚洲精品视频在线播放 | 中文av网站 | 欧美不卡一区 | 亚洲免费福利视频 | 中文字幕日韩高清 | 欧美精品日韩 | 亚洲欧美视频在线 | 日本伊人久久 | 欧美日韩大片 | 久久精品导航 | 一级黄色片免费 | 激情五月综合 | www.草 | 日韩国产中文字幕 | 国产午夜一区 | 日韩精品免费在线观看 | 在线不卡av| 亚洲免费视频一区 | 中文字幕在线免费播放 | av老司机在线 | www久久久久 | 成人亚洲精品 | www.日本在线观看 | 国产精品国产三级国产 | www性| 老女人毛片 | 国产永久在线 | 91精品久久久久 | 国产综合久久 | 酒色成人网 | 日本福利视频 | 视频一区中文字幕 | www精品| 日韩精品在线观看视频 | 四虎影院最新地址 | 天天操狠狠干 | 日皮视频在线观看 | 黄色国产网站 | 日韩欧美亚洲国产 | 手机av免费 | 亚洲免费精品视频 | 三级视频在线观看 | 欧美一区二区精品 | 成人午夜在线视频 | 在线性视频 | 日韩精品一区二区三区免费视频 | 男男成人高潮片免费网站 | 欧美日韩黄色片 | 黄色精品视频 | 色综合天天综合网国产成人网 | 欧洲av网站| 一区免费 | 伊人2222| 四虎影院永久免费 | 色综合小说 | 国产午夜av| 中国黄色一级片 | 日韩精品免费在线观看 | 午夜性视频 | 国产精品久久久久久久免费看 | 国产欧美日韩综合 | 自拍偷拍一区二区三区 | 久久成人免费视频 | 日韩成人免费 | 一级黄片毛片 | 精品一区二区三区在线观看 | 日本激情网站 | a视频在线免费观看 | 欧美日韩久久久 | 日韩av免费看 | 大尺度做爰呻吟舌吻网站 | 午夜网址| 亚洲第一av | 蜜桃久久久| 91超碰人人 | 精品久| 欧美区在线 | 国产黄网 | 99精品视频在线 | 狠狠干2018| 日韩免费一区二区三区 | 日韩小视频在线观看 | 黄色一级片黄色一级片 | 国产精品视频在线观看 | 黑人操亚洲人 | 成人午夜| 美日韩丰满少妇在线观看 | 成人毛片在线观看 | 国产在线视频网站 | 99综合网| 一级特黄毛片 | 日本丰满少妇做爰爽爽 | 亚洲第一毛片 | 亚洲综合激情网 | 91精品国产乱码久久久久 | 男女插插插视频 | av网站免费在线观看 | 久热精品视频在线观看 | av免费播放 | 欧美激情综合五月色丁香 | 黄色网址免费看 | 亚洲一区av | 亚洲午夜精品 | 精品国产乱码久久久久久蜜柚 | 亚洲淫片| 色香蕉网| 亚洲日本中文字幕 | 日韩高清在线播放 | 日韩a视频 | 96av视频 | 亚洲天堂视频在线观看 | 亚洲视频区| 中国免费毛片 | 久久天天躁狠狠躁夜夜躁2014 | 波多野吉衣一二三区乱码 | 国产黄色一级毛片 | 三级视频网 | 久久亚洲精品视频 | 69人人| 黄色片免费观看 | 最新日韩在线 | 午夜在线免费观看 | 人人超碰人人 | 久久久噜噜噜 | 一级欧美一级日韩 | 中文字幕有码在线 | 99在线精品视频 | 三上悠亚久久 | 国产寡妇亲子伦一区二区三区四区 | 久久精品国产一区 | 三上悠亚激情av一区二区三区 | 激情综合网五月 | 成人羞羞国产免费 | 福利小视频在线观看 | 欧美区日韩区 | 网站毛片| 伊人久久国产 | 日本黄色视 | 天天色影院 | 亚洲第一第二区 | 激情五月综合网 | 黄色片网站在线观看 | 亚洲免费在线视频 | 麻豆亚洲一区 | 日韩精品免费在线观看 | 欧美a一级| 国产乱码一区二区三区 | 国产成人精品在线观看 | 国产一级片免费观看 | 91麻豆精品国产91久久久久久久久 | 欧美日韩精品一区 | 欧美中文字幕在线观看 | 亚洲欧美国产毛片在线 | 欧美国产一区二区 | 国产乱码一区二区三区 | 色综合久久88色综合天天 | 亚洲色诱 | 欧美成人免费视频 | 国产欧美精品一区 | 国产黄色三级 | 成人在线a | 午夜免费小视频 | 日韩视频免费观看 | 亚洲一区亚洲二区 | 国产一级片在线 | 黄视频网站在线观看 | 91在线精品李宗瑞 | 精品国产三级 | 毛片毛片毛片毛片毛片 | 日韩在线中文字幕 | 成人免费在线观看网站 | 国产精品毛片久久久久久久 | 91资源在线观看 | 香蕉视频一直看一直爽 | 欧美91视频 | 免费av在线网站 | 麻豆一区二区三区 | 色姑娘综合 | 久久久精彩视频 | 亚洲久草 | 国产成年妇视频 | 一级免费片| 免费国产网站 | 日本亚洲天堂 | 午夜精品一区二区三区在线视频 | 日韩在线不卡 | 中文字幕一区二区三区视频 | 五月综合色 | 国产一区二区免费在线观看 | 一区二区不卡视频 | 欧美有码视频 | 国产免费91 | 欧美一级在线 | 久久精品中文 | 波多野结衣一区二区三区在线观看 | 国产三级做爰高清在线 | 亚洲免费视频网站 | 高清一级片 | 日韩一级黄色片 | 麻豆91视频| 国产精品久久免费 | 久久视频一区二区 | 欧美在线视频播放 | 日韩激情一区二区 | 一级黄色大片 | 青青视频网 | 久久怡红院 | 超碰成人在线观看 | 欧美专区第一页 | 欧美一区不卡 | 色综合天天综合网国产成人网 | www.在线播放 | 在线免费观看黄色片 | 亚洲成人精品视频 | 精品在线一区 | 国产免费无遮挡 | 欧美一级免费 | 亚洲一区二区三区视频 | 欧美在线网站 | 久久久天堂国产精品女人 | 亚洲成在线| 亚洲精品视频免费 | 成人国产精品一区二区 | 国产一区二区免费在线观看 | 亚洲一级二级 | 亚洲国产精品suv | 国产中文字幕在线 | 九九热在线精品 | 93久久精品日日躁夜夜躁欧美 | 亚洲色网址 | 欧美国产视频 | 色哟哟一区二区三区 | 欧美精品在线播放 | 对白刺激国产子与伦 | 在线播放成人 | 亚洲黄视频 | 久久久婷婷 | 欧美激情视频一区二区三区 | 国产精品观看 | 欧美九九九 | 日韩城人网站 | 亚洲天堂久久久 | 国产黄色免费视频 | 在线性视频 | 中文字幕一区二区在线播放 | 中文字幕亚洲精品 | 成人一区二区视频 | 视频在线观看一区 | 在线一级片 | 国产高清一区 | 一级片网址 | 国产精品毛片va一区二区三区 | www亚洲天堂 | 天天综合精品 | 久久久二区 | 亚洲激情综合网 | 少妇高潮毛片 | 看黄色大片 | 亚洲欧美在线一区 | 一区二区三区在线免费 | 欧美日韩国产一区二区三区 | 国产乱码精品一区二区三 | 国产成人精品亚洲男人的天堂 | 日本国产在线观看 | 成人爱爱 | 精品久久久一区二区 | 麻豆成人免费视频 | 欧美视频一区二区 | 丁香婷婷色| 欧洲美一区二区三区亚洲 | 国产日韩精品一区二区 | 国产精品国产三级国产专区53 | 欧美日韩一本 | 天天综合天天做天天综合 | 97精品国产97久久久久久免费 | 99热视 | 国产吃瓜黑料一区二区 | 黄色网免费 | 中文字幕在线观看一区二区三区 | 成人在线a| 在线观看日韩 | 欧美一级黄色片 | 成人午夜免费视频 | 精品日韩av | 黄色网址av| 一级黄色大片 | 日韩欧美在线观看视频 | 一级大毛片 | 91看片淫黄大片 | 亚洲天堂欧美 | 日韩成人中文字幕 | 波多野结衣视频在线 | 国产理论在线观看 | 国产乡下妇女三片 | 日韩欧美亚洲 |