Gemma Scope 工具如何帮助理解 AI 模型（具体来说是 Gemma 模型）的内部工作原理，通过观察模型的“特征”来理解 AI 是如何“思考”的

1 特征（features）

了解AI模型在思考什么。Gemma Scope 将 Gemma 模型的大脑分解成数百万个部分，这些部分被称为“特征”（features）。特征是AI的大脑在看到某个特定概念或想法时被激活的东西。比如，当你给AI发送“我喜欢猫”的信息时，它会激活AI大脑中的“关于猫的词语”这一特征。

2 特征是如何被激活

帮助用户更直观地理解特征是如何被激活的。

政策简报强调了城市交通规划中的关键问题，为减少交通拥堵和改善大都市地区的公共交通系统提供了循证建议。

这段话激活了大模型中若干个的特征。其中排第一个的是如下图右侧第一个

公共交通与城市发展相关信息

下图是该特征的详细说明

Gemma Scope 中的“特征”（features）会有一些标签，比如“关于伦敦的提及”。这些标签是通过让另一个更大的AI模型去分析文本中的模式生成的。这些模式是特征在某些文本中最强烈激活的内容，称为“Top Activations”（最强激活）。通过观察特征的最强激活内容，找出其中的模式，然后为这个特征打上一个标签。

Gemma Scope通过将AI的复杂计算过程分解成简单的特征，帮助用户理解AI在处理不同输入时的反应。特征可以理解为AI识别某个特定概念时大脑中的某种反应或激活模式。用户可以通过给Gemma发送句子来实际观察这些特征的激活情况，进一步了解AI的思维方式。

3 利用Gemma模型的“特征”来改变或引导它的响应

通过操控或放大特定的“特征”（features），你可以让Gemma模型给出不同的回应。这个过程可以被比喻为“手术式”地改变Gemma的思维方式，而不仅仅是直接告诉Gemma该做什么。这种方式尝试在更深层次上影响AI的行为，而不仅是简单的命令式控制。

可以选择一个你想要操控的特征，以及操控的强度，然后与Gemma进行对话。你可以通过这些特征引导Gemma的思维过程，从而影响它的回答。

示例对话

• 示例故事1：The flickering streetlight cast long, dancing shadows as the lone figure walked home, their backpack heavy with secrets they couldn't share yet.

  • 这句故事描述了一种神秘且充满隐喻的场景，通过操控特征，可能引导Gemma创作出类似的内容。

• 示例故事2：SF SFSFSFSF SF ContraContra ContraContracontra contra ContracontraContra contra contra ContraSF BART BART BARTSF SF Marin Marin Marin Marin Golden Golden Richmond Richmond

  • 这句故事内容显得有些混乱，可能是在操控了与地点或反复出现的词汇相关的特征后生成的。这表明特征的操控可能会带来意想不到的效果。

尽管目前利用特征进行操控的效果还不够稳定和可靠，但这是解释性AI研究人员希望将来可以用来引导AI模型朝更理想行为发展的众多工具之一。例如，这种技术可以帮助AI模型变得更加诚实或者更符合道德规范。通过操控特征，用户可以尝试影响Gemma模型的行为和响应方式。这是一种更深入、更复杂的AI控制方法，尽管当前技术还不成熟，但它展示了AI模型解释性和可操控性的潜力，未来可能会在实际应用中变得更加有用。

参考地址
https://www.neuronpedia.org/gemma-scope#steer