از زمان رایانه‌های اولیه که از سال 1941 تا کنون فناوریهای دیجیتالی بصورت شگرفی رشد نموده است، اغلب رایانه‌ها از معماری فون نویمن که در اواخر دهه 1940 از سوی جان فون نویمن ابداع گردید سود می‌جویند.
معماری فون نوِیمن یک رایانه را به چهار بخش اصلی توصیف می‌کند: واحد محاسبه و منطق (Arithmetic and Logic Unit یا ALU)، واحد کنترل یا حافظه، و ابزارهای ورودی و خروجی ( که جمعا I/O نامیده می‌شود). این بخشها توسط اتصالات داخلی سیمی به نام گذرگاه (bus) با یکدیگر در پیوند هستند.
در این سامانه، حافظه یک توالی شماره گذاری شده از خانه‌ها است، هرکدام محتوی بخش کوچکی از داده‌ها می باشند. داده‌ها ممکن است دستورالعملهایی باشند که به رایانه می‌گویند چه کاری را انجام دهد باشد. خانه ممکن است حاوی اطلاعات مورد نیاز یک دستورالعمل باشد.
محتوای هر خانه حافظه ممکن است هر زمان تغییر یابد و بیشتر شبیه دفتر چرک‌نویس می ماند تا یک لوح سنگی.
اندازه هر خانه، وتعداد خانه ها، در رایانهٔ مختلف متفاوت است، همچنین فناوریهای بکاررفته برای اجرای حافظه نیز از رایانه‌ای به رایانه دیگر در تغییر است(از بازپخش کننده‌های الکترومکانیکی تا تیوپها و فنرهای پر شده از جیوه و یا ماتریس‌های ثابت مغناطیسی و در آخر ترانزیستورهای واقعی و مدار مجتمعها با میلیونها خازن روی یک تراشه تنها).
واحد محاسبه و منطق یا ALU دستگاهی است که عملیات پایه مانند چهار عمل اصلی حساب (جمع و تفریق و ضرب و تقسیم)، عملیات منطقی (و،یا،نقیض)، عملیات قیاسی (برای مثال مقایسه دو بایت برای شرط برابری) و دستورات انتصابی برای مقدار دادن به یک متغیر را انجام می‌دهد. این واحد جائیست که "کار واقعی" در آن صورت می پذیرد. البته CPUها به دو دسته کلی RISC و CISC تقسیم بندی میشوند. نوع اول پردازش گرهای مبتنی بر اعمال ساده هستند و نوع دوم پردازشگرهای مبتنی بر اعمال پیچیده میباشند. پردازشگرهای مبتنی بر اعمال پیچیده در واحد محاسبه و منطق خود دارای اعمال و دستوراتی بسیار فراتر از چهار عمل اصلی یا منطقی می باشند. تنوع دستورات این دسته از پردازنده‌ها تا حدی است که توضیحات آنها خود میتواند یک کتاب با قطر متوسط ایجاد کند. پردازنده‌های مبتنی بر اعمال ساده اعمال بسیار کمی را پوشش میدهند و در حقیقت برای برنامه نویسی برای این پردازنده‌ها بار نسبتا سنگینی بر دوش برنامه نویس است. این پردازنده‌ها تنها حاوی 4 عمل اصلی و اعمال منطقی ریاضی و مقایسه‌ای به علاوه چند دستور بی اهمیت دیگر میباشند.
(قابل ذکر است پردازنده‌های اینتل از نوع پردازنده مبتنی بر اعمال پیچیده میباشند.)
واحد کنترل همچنین این مطلب را که کدامین بایت از حافظه حاوی دستورالعمل فعلی اجرا شونده است را تعقیب می‌کند، سپس به واحد محاسبه و منطق اعلام می‌کند که کدام عمل اجرا و از حافظه دریافت شود و نتایج به بخش اختصاص داده شده از حافظه ارسال گردد. بعد از یک بار عمل، واحد کنترل به دستورالعمل بعدی ارجاع می‌کند(که معمولا در خانه حافظه بعدی قرار دارد، مگر اینکه دستورالعمل جهش دستورالعمل بعدی باشد که به رایانه اعلام می‌کند دستورالعمل بعدی در خانه دیگر قرارگرفته است).
بخش ورودی/خروجی (I/O) این امکان را به رایانه می دهد تا اطلاعات را از جهان بیرون تهیه و نتایج آنها را به همان جا برگرداند. محدوده فوق العاده وسیعی از دستگاههای ورودی/خروجی وجود دارد، از خانواده آشنای صفحه‌کلیدها، نمایشگرها، نَرم‌دیسک گرفته تا دستگاههای کمی غریب مانند رایابین‌ها (webcams). (از سایر ورودی/خروجی ها می توان موشواره mouse، قلم نوری، چاپگرها (printer)، اسکنرها، انواع لوح های فشرده(CD, DVD) را نام برد ).
چیزی که تمامی دستگاههای عمومی در آن اشتراک دارند این است که آنها رمز کننده اطلاعات از نوعی به نوع دیگر که بتواند مورد استفاده سیستمهای رایانه دیجیتالی قرار گیرد، هستند. از سوی دیگر، دستگاههای خروجی آن اطلاعات به رمز شده را رمزگشایی میکنند تا کاربران آنها را دریافت نمایند. از این رو یک سیستم رایانه دیجیتالی یک نمونه از یک سامانه داده‌پردازی می باشد.
هر رایانه تنها دارای یک مجموعه کم تعداد از دستورالعملهای ساده و تعریف شده می باشد. از انواع پرکاربردشان می‌توان به دستورالعمل "محتوای خانه 123 را در خانه 456 کپی کن!"، "محتوای خانه 666 را با محتوای خانه 042 جمع کن، نتایج را در خانه 013 کن!"، "اگر محتوای خانه 999 برابر با صفر است، به دستورالعمل واقع در خانه 345 رجوع کن!".
دستورالعملها در داخل رایانه بصورت اعداد مشخص شده‌اند - مثلا کد دستور العمل (copy instruction) برابر 001 میتواند باشد. مجموعه معین دستورالعملهای تعریف شده که توسط یک رایانه ویژه پشتیبانی می‌شود را زبان ماشین می نامند. در واقعیت، اشخاص معمولا به [زبان ماشین]] دستورالعمل نمی نویسند بلکه بیشتر به نوعی از انواع سطح بالای زبانهای برنامه نویسی، برنامه نویسی میکنند تا سپس توسط برنامه ویژه‌ای (تفسیرگرها (interpreters) یا همگردانها (compilers) به دستورالعمل ویژه ماشین تبدیل گردد. برخی زبانهای برنامه نویسی از نوع بسیار شبیه و نزدیک به زبان ماشین که اسمبلر (یک زبان سطح پایین) نامیده می‌شود، استفاده میکنند؛ همچنین زبانهای سطح بالای دیگری نیز مانند پرولوگ نیز از یک زبان انتزاعی و چکیده که با زبان ماشین تفاوت دارد بجای دستورالعملهای ویژه ماشین استفاده میکنند.
در رایانه‌های معاصر واحد محاسبه و منطق را به همراه واحد کنترل در یک مدار مجتمع که واحد پردازشی مرکزی (CPU) نامیده می‌شود، جمع نموده اند. عموما، حافظه رایانه روی یک مدار مجتمع کوچک نزدیک CPU قرار گرفته. اکثریت قاطع بخشهای رایانه تشکیل شده‌اند از سامانه‌های فرعی (به عنوان نمونه، منبع تغذیه) و یا دستگاههای ورودی/خروجی.
برخی رایانه‌های بزرگتر چندین CPU و واحد کنترل دارند که بصورت همزمان با یکدیگر درحال کارند. این‌گونه رایانه‌ها بیشتر برای کاربردهای پژوهشی و محاسبات علمی بکار می‌روند.
کارایی رایانه‌ها بنا به تئوری کاملاً درست است. رایانه داده‌ها و دستورالعملها را از حافظه اش واکشی (fetch) می‌کند. دستورالعملها اجرا میشوند، نتایج ذخیره میشوند، دستورالعمل بعدی واکشی می‌شود. این رویه تا زمانی که رایانه خاموش شود ادامه پیدا می‌کند. واحد پردازنده مرکزی در رایانه‌های شخصی امروزی مانند پردازنده‌های شرکت ای-ام-دی و شرکت اینتل از معماری موسوم به Pipeline استفاده می شود و در زمانی که پردازنده در حال ذخیره نتیجه یک دستور است مرحله اجرای دستور قبلی و مرحله واکشی دستور قبل از آن را آغاز می کند. همچنین این رایانه‌ها از سطوح مختلف حافظه نهانگاهی استفاده میکنند که در زمان دسترسی به حافظه اصلی صرفه جویی کنند.
برنامه رایانه‌ای فهرست‌های بزرگی از دستورالعملها (احتمالا به همراه جدول‌هائی از داده) برای اجرا روی رایانه هستند. خیلی از رایانه‌ها حاوی میلیونها دستورالعمل هستند، و بسیاری از این دستورات به تکرار اجرا میشوند. یک رایانه شخصی نوین نوعی (درسال 2003) میتواند در ثانیه میان 2 تا 3 میلیارد دستورالعمل را پیاده نماید. رایانه‌ها این مقدار محاسبه را صرف انجام دستورالعملهای پیچیده نمی‌کنند. بیشتر میلیونها دستورالعمل ساده را که توسط اشخاص باهوشی "برنامه نویسان" در کنار یکدیگر چیده شده‌اند را اجرا میکنند. برنامه نویسان خوب مجموعه‌هایی از دستورالعملها را توسعه می دهند تا یکسری از وظایف عمومی را انجام دهند(برای نمونه، رسم یک نقطه روی صفحه) و سپس آن مجموعه دستورالعملها را برای دیگر برنامه نویسان در دسترس قرار می دهند.(اگر مایلید "یک برنامه نویس خوب" باشید به این مطلب مراجعه نمایید.)
رایانه‌های امروزه، قادرند چندین برنامه را در آن واحد اجرا نمایند. از این قابلیت به عنوان چندکارگی (multitasking) نام برده می‌شود. در واقع، CPU یک رشته دستورالعملها را از یک برنامه اجرا می‌کند، سپس پس از یک مقطع ویژه زمانی دستورالعملهایی از یک برنامه دیگر را اجرا می‌کند. این فاصله زمانی اکثرا بعنوان یک برش زمانی (time slice) نام برده می‌شود. این ویژگی که CPU زمان اجرا را بین برنامه‌ها تقسیم می‌کند، این توهم را بوجود می آورد که رایانه همزمان مشغول اجرای چند برنامه است. این شبیه به چگونگی نمایش فریمهای یک فیلم است، که فریمها با سرعت بالا در حال حرکت هستند و به نظر می رسد که صفحه ثابتی تصاویر را نمایش می دهد. سیستم عامل همان برنامه‌ای است که این اشتراک زمانی را بین برنامه‌های دیگر تعیین می‌کند.
رایانه همیشه نیاز دارد تا برای بکارانداختنش حداقل یک برنامه روی آن در حال اجرا باشد. تحت عملکردهای عادی این برنامه همان سیستم عامل یا OS است. سیستم یا سامانه عامل تصمیم می‌گیرد که کدام برنامه اجرا شود، چه زمان، از کدام منابع (مثل حافظه، ورودی/خروجی و ...) استفاده شود. همچنین سیستم عامل یک لایه انتزاعی بین سخت افزار و برنامه‌های دیگر که می خواهند از سخت افزار استفاده کنند، می باشد، که این امکان را به برنامه نویسان می دهد تا بدون اینکه جزئیات ریز هر قطعه الکترونیکی از سخت افزار را بدانند بتوانند برای آن قطعه برنامه نویسی نمایند.