Basato sul precedente Albatros C.I, del quale mantenne velatura e carrello d'atterraggio, fu uno sviluppo realizzato adottando l'impostazione del britannicoAirco DH.2 al fine di incrementarne le prestazioni; avendo disatteso le aspettative in fase di collaudo, non venne avviato alla produzione. Per i modelli successivi l'azienda costruttrice preferì ritornare ad una configurazione più convenzionale.
Dopo che l'Albatros C.I era entrato in produzione dimostrando buone qualità di maneggevolezza, l'azienda tedesca decise di attuare un programma di sviluppo basato sulle informazioni ricevute dai piloti che erano riusciti ad entrare in contatto con i velivoli avversari caratterizzati dalla configurazione a motore posteriore ed elica spingente. Il progetto venne affidato ad Ernst Heinkel che decise di riutilizzare alcune parti del precedente C.I, modello con fusoliera convenzionale e gruppo motoelica posizionato all'apice anteriore, precisamente le ali ed il carrello fisso, abbinandola con una corta gondola che integrava le due postazioni, l'anteriore per l'osservatore/mitragliere ed il posteriore per il pilota. Posteriormente terminava in un'inusuale sezione di coda "a V" in tubi saldati, con il vertice posteriore occupato dal timone verticale sovrastato da un largo elemento orizzontale, che venne soprannominato Gitterschwanz.
Il prototipo, identificato con il codice militare nr. C 27/16, venne portato in volo nel corso del 1916 ma, presentato alla commissione esaminatrice dell'Idflieg, non ne ottenne l'approvazione ed il suo sviluppo non ebbe seguito.
L'Albatros C.II era un velivolo dall'aspetto non convenzionale ma che conservava le caratteristiche salienti dei velivoli pari ruolo dell'epoca: biplano, monomotore biposto con carrello fisso.
La fusoliera, a sezione rettangolare e ricoperta di tela verniciata, era caratterizzata da un'unica gondola raccordata anteriormente e che integrava due abitacoli aperti in tandem, l'anteriore destinato all'osservatore con mansioni anche di mitragliere ed il posteriore al pilota. Posteriormente integrava l'unità motrice e terminava in un originale impennaggio monoderiva dotato di un unico piano orizzontale posizionato all'apice di una struttura tubolare posteriore.
Il carrello d'atterraggio era fisso, molto semplice, montato su una struttura tubolare al di sotto della fusoliera, dotato di ruote di grande diametro collegate da un asse rigido ed integrato posteriormente con un pattino d'appoggio.