雙碼理論

雙碼理論，又稱為雙重編碼理論（dual coding theory, DCT），是一种认知理論，由西安大略大学的艾伦·白斐歐（英语：Allan Paivio）（Allan Paivio）于1971年提出。白斐歐在发展該理论的過程中使用了「形成心像有助于学习」的想法^[1]。根据白斐歐的说法，人們可以透過兩種方式「語文聯想」和「视觉心像」進一步拓展所學的內容。雙碼理論假設，视觉資訊（visual information）和語文資訊（verbal information）皆為表徵資訊的方式^[2]。這兩種表徵方式在處理上有所不同，並沿著不同的心靈通道來处理，從而为每个通道中所处理的資訊创造獨自的表徵。與这些表徵相對應的心理代碼被用于組織輸入資訊，使其得以操作、儲存和提取，以供後續使用。在回憶資訊時，人們會同時使用视觉代码和語文代码^[2]。例如，假設一個人将刺激的概念「狗」儲存为狗的單詞和狗的圖像。当要求此人對刺激進行回憶時，此人可以分別回憶單詞或圖像，也可以同時回憶兩者。如果回想起这个词，那麼狗的图像就不会丢失，并且仍可以在未來的某个时间点提取。對於刺激的編碼，与仅以一种方式编码相比，以两种不同方式來编码的能力提高了记住该项目的机会。

雙碼理論的局限性一直存在著争议。雙碼理論並未考虑到「單詞和图像以外的其他事物」介导认知的可能性。也尚未进行足够的研究来确定單詞和图像是否是我们记住物品的唯一方式，如果发现到另一种形式的代码，這個理论将無法確保其有效性^[3]。另一个局限性在于，雙碼理論只適用於要求人們集中精力识别概念如何相關的測試^[1]。如果无法在單詞和图像之间建立关联，那麼在往後的某个时间點要記住和回憶這個單詞就会变得更加困难。尽管这限制了雙碼理論的有效性，但雙碼理論在多數情况下仍然有效，並且可用於改善記憶^[1]。

代码类型

類比代碼用于在心靈中表徵图像。類比代码保留了所表徵事物的主要知覺特征，因此呈現在我們脑海中的图像与物理刺激高度相似。對於我们在环境中所观察到的物理刺激（例如树木和河流），它们是近乎精确的表徵^[2]。

符號代碼用于形成单词的心理表徵。它们以概念的方式表徵著某些事物，有时不是知覺表徵，而是任意表徵，類似於手錶可能以數字形式的表徵來顯示時間資訊。符号代码會以任意的符号形式（例如单词和单词组合）在我们的腦海中表徵資訊，藉此表示一些想法。每個符號(x, y, 1, 2，等等)能夠任意地表徵它本身以外的其他事物。例如，字母x通常用于表徵字母的第24个字母「x」的概念。它可以用來表徵數學中的變量x，也可以用來表徵方程式中的乘法符號。因为我们任意指定了一个更深層的概念給「x」，像乘法这样的概念才能夠以「x」符号來表徵。只有当我们以它来表徵这个更深层的概念时，字母「x」才會帶有这種含义。

支持

心理研究的证据

許多研究人員已經同意，在心理表徵中只會使用到單詞和圖像。^[3]有支持性證據表明，如果同時呈現相關的視覺效果，或是想像與語文資訊相匹配的視覺圖像，那麼對學習者而言，一些語文資訊的記憶就會獲得加強。同理，當視覺資訊與相關的語文資訊（無論是真實的還是想像的）相匹配時，視覺資訊通常也可以獲得增強。^[4] 該理論已被應用於多媒體演示。由於多媒體演示需要空間和語文的工作記憶，因此如果個體具有雙碼資訊，在之後的測試中則更有可能回憶起這些資訊。^[5]此外，對抽象詞彙和具體詞彙的研究也發現，受試者對具體詞彙的記憶比抽象詞彙還要好。^[6]^[7]^[8]

白斐歐發現，給受試者觀看一連串快速展示的圖片及單詞，然後要求受試者以任意順序回想單詞和圖片，受試者皆對圖片的回憶顯得更為擅長。然而，受試者更輕易地回憶起單詞順序而不是圖片順序。這些結果支持了白斐歐的假設，即語文資訊與視覺資訊的處理方式不同，當記憶任務需要進行順序回憶時，語文資訊的回憶表現就會優於視覺資訊^[9]。布魯克斯（Lee Brooks）曾進行過一項實驗，為兩個記憶系統提供了額外支持。他讓受試者進行視覺任務或語文任務，進行視覺任務時，受試者必須觀看一幅圖片，並回答關於圖片的問題；進行語文任務時，他們會聽到一個句子，然後被要求回答與該句子有關的問題。關於回答問題的方式，參與者被要求以語文、視覺或手動的方式進行回答。透過這個實驗，布魯克斯發現，當視知覺與視覺任務之操作相混合時，就會產生干擾，而語文反應則與要手動操作的語文陳述任務發生干擾。這支持了資訊在心理上是以兩種代碼來表示的觀點^[2]。

巴德利提出的工作記憶包括兩部分處理系統「視覺空間寫生板」和「語音循環」，這實質上對應了白斐歐的理論。

雙編碼理論可用來補充閱讀的雙通路理論。當人們閱讀書面資訊時，雙通路理論認為，讀者透過獲取字形和語音資訊來辨識文字中的單詞。

白斐歐的成果對識字、視覺記憶術、意念生成、人類績效技術（HPT）、人因、界面設計以及教材開發等皆有所影響。它也影響了認知科學和計算認知模型（像是雙重歷程認知模型的形式或其它；如^[10]^[11]^[12]）以及認知機器人學。

認知神經科學支持

對於視知覺與視覺心像之相關區域的辨識，已使用了兩種不同的方法。第一種方法是功能性磁共振成像（fMRI），用於測量大腦血流（英语：Cerebral circulation），血液流量的增加提供了衡量大腦活動的方法，這使研究人員得以確定大腦特定部位的葡萄糖和氧氣的消耗量。第二種方法是事件相關電位（ERP），可用於顯示由特定刺激所產生的腦電活動之數量。研究人員已經使用這兩種方法來確定，在不同刺激下，大腦哪些區域會被激活，其結果支持了雙碼理論。其他的研究則用正電子發射斷層掃描（PET）和fMRI來完成，顯示出在與假想圖像或真實圖像配對時，受試者對口語單詞和口語句子的記憶有所改善。另外研究也顯示出，當受試者處理那些不易與圖像配對的抽象詞彙時，大腦活動會增加。^[13]

替代理论

双码理论並非所有人都接受。约翰·安德森和戈登·鲍尔提出了一种知識心理表徵的替代方法「命题理论」。命题理论主张，心理表徵是以「命题」的方式儲存，而非以「图像」的方式儲存。這邊所指的命題被定義為處於概念联系中的深層含義^[2]。该理论指出，因為知識不以圖像、單詞或符號的形式來表徵，因此圖像是其他認知歷程的結果。

此外，共同編碼理論也被提了出來，用來作为雙碼理论的替代方案。共同編碼理論著重於我们所看到和听到的事物是如何与我们的动作產生聯繫。該理論声称在「事物知覺」與相应的「運動動作」之间共享著一个共同的代码。

參見

多媒體學習（英语：E-learning (theory)）

参考文献

^ ^1.0 ^1.1 ^1.2 Reed, Stephen K. Cognition : theories and applications. Cognition Theories and Applications 8th ed. Australia: Wadsworth Cengage Learning. 2010. ISBN 978-0-495-60230-9. OCLC 426047716.
^ ^2.0 ^2.1 ^2.2 ^2.3 ^2.4 Sternberg, R. J. Cognitive theory (3rd ed.). Belmont, CA: Thomson Wadsworth. 2003.
^ ^3.0 ^3.1 Pylyshyn, Zenon W. What the mind's eye tells the mind's brain: A critique of mental imagery.. Psychological Bulletin. 1973, 80 (1): 1–24. ISSN 0033-2909. doi:10.1037/h0034650 （英语）.
^ Anderson, John R. Human Associative Memory.. Taylor and Francis. 2014. ISBN 978-1-317-76988-0. OCLC 871224620.
^ Brunyé, Tad T.; Taylor, Holly A.; Rapp, David N. Repetition and dual coding in procedural multimedia presentations. Applied Cognitive Psychology. 2007, 22 (7): 877–895. ISSN 0888-4080. doi:10.1002/acp.1396.
^ Hargis, Gickling, Charles H, Edward E. The Function of Imagery in Word Recognition Development. The Reading Teacher. May 1978, 31: 870–874 –通过JSTOR.
^ Sadoski, Mark; Willson, Victor L.; Holcomb, Angelia; Boulware-Gooden, Regina. Verbal and Nonverbal Predictors of Spelling Performance. Journal of Literacy Research. 2004, 36 (4): 461–478. ISSN 1086-296X. doi:10.1207/s15548430jlr3604_2 .
^ Yui, Lin; Ng, Roslin; Perera-W.A., Hiran. Concrete vs abstract words – what do you recall better? A study on dual coding theory. dx.doi.org. 2017-01-14 [2020-03-18].
^ Paivio, Allan. Mental imagery in associative learning and memory.. Psychological Review. 1969, 76 (3): 241–263. ISSN 0033-295X. doi:10.1037/h0027272.
^ Anderson, John Robert. Cognitive psychology and its implications : John R. Anderson.. Worth Publishers. 2005. ISBN 0-7167-0110-3. OCLC 587804014.
^ Just, Marcel Adam; Newman, Sharlene D; Keller, Timothy A; McEleney, Alice; Carpenter, Patricia A. Imagery in sentence comprehension: an fMRI study. NeuroImage. 2004, 21 (1): 112–124. ISSN 1053-8119. doi:10.1016/j.neuroimage.2003.08.042.
^ Sun, Ron, 1960-. Duality of the mind : a bottom-up approach toward cognition. Routledge. 2012. ISBN 0-8058-3880-5. OCLC 858009136.
^ Crosson, Bruce; Ford, Anastasia; McGregor, Keith M.; Meinzer, Marcus; Cheshkov, Sergey; Li, Xiufeng; Walker-Batson, Delaina; Briggs, Richard W. Functional imaging and related techniques: An introduction for rehabilitation researchers. The Journal of Rehabilitation Research and Development. 2010, 47 (2): vii. ISSN 0748-7711. doi:10.1682/jrrd.2010.02.0017 .

参考文獻

Anderson, J. R. (2005). Cognitive Psychology and its implications. New York: Worth Publishers.
Anderson, J. R. & Bower, G. H. (1973). Human associative memory. Washington, DC: Winston.
Baddeley, A. D. (1986). Working memory. Oxford: Oxford University Press.
Brunye, T. T., Taylor, H. A., & Rapp, D. N. (2008). Repetition and dual coding in procedural multimedia presentations. Applied Cognitive Psychology, 22, 877-895.
Denis, M. and Mellet, E. (2002). Neural bases of image and language interactions. International Journal of Psychology（英语：International Journal of Psychology）, 37 (4), 204-208.
Hargis, C. H., & Gickling, E. E. (1978). The function of imagery in word recognition development. The Reading Teacher, 31(8), 870-874.
Just, M. et al. (2004). Imagery in sentence comprehension: an fMRI study. NeuroImage 21, 112-124.
Mayer, R. E. & Moreno, R. (2003). Nine ways to reduce cognitive load in multimedia learning. Educational Psychologist, 38(1), 43-52.
Moreno, R., & Mayer, R. E. (2000). A coherence effect in multimedia learning: the case for minimizing irrelevant sounds in the design of multimedia instructional messages. Journal of Educational Psychology, 92, 117-125.
Yui L, Ng R, Perera-W.A. H. (2017). Concrete vs abstract words – what do you recall better? A study on dual coding theory. PeerJ Preprints 5:e2719v1https://doi.org/10.7287/peerj.preprints.2719v1
Paivio, A (1969). Mental Imagery in associative learning and memory. Psychological Review, 76(3), 241-263.
Paivio, A (1971). Imagery and verbal processes. New York: Holt, Rinehart, and Winston.
Paivio, A (1986). Mental representations: a dual coding approach. Oxford. England: Oxford University Press.
Sternberg, Robert J. Cognitive psychology fourth edition. Thomson Wadsworth. 2006: 234–36. ISBN 0-534-51421-9.
Pylyshyn, Z. W. (1973). What the mind's eye tells the mind's brain: A critique of mental imagery. Psychological Bulletin, 80, 1-24.
Reed, S. K. (2010). Cognition: Theories and application (8th ed.). Belmont, CA: Wadsworth Cengage Learning.
Sadoski, M., Willson, V. L., Holcomb, A., & Boulware-Gooden, R. (2005). Verbal and nonverbal predictors of spelling performance. Journal of Literacy Research, 36, 461–478.
Sternberg, R. J. (2003). Cognitive theory (3rd ed.). Belmont, CA: Thomson Wadsworth.
Sun, R. (2002). Duality of the Mind. Mahwah, NJ: Lawrence Erlbaum Associates.
Thomas, N. J.T., "Mental imagery", The Stanford Encyclopedia of Philosophy (Winter 2011 Edition), Edward N Zalta (ed.)